hadoop-2.6.0.tar.gz + spark-1.6.1-bin-hadoop2.6.tgz的集群搭建（單節點）（CentOS系統）

本文轉載自查看原文 2017-03-23 17:30 2247 Spark集群搭建（1、3和5節點）（含CentOS系統和Ubuntu系統）

福利 => 每天都推送

歡迎大家，關注微信掃碼並加入我的4個微信公眾號：大數據躺過的坑 Java從入門到架構師人工智能躺過的坑 Java全棧大聯盟

每天都有大量的學習視頻資料和精彩技術文章推送... 人生不易，唯有努力。

百家號：九月哥快訊快手號： jiuyuege

前言

　　本人嘔心瀝血所寫，經過好一段時間反復錘煉和整理修改。感謝所參考的博友們！同時，歡迎前來查閱賞臉的博友們收藏和轉載，附上本人的鏈接。http://www.cnblogs.com/zlslch/p/5847528.html

關於幾個疑問和幾處心得！

a.用NAT，還是橋接，還是only-host模式？

答： hostonly、橋接和NAT

b.用static的ip，還是dhcp的？

答：static

c.別認為快照和克隆不重要，小技巧，比別人靈活用，會很節省時間和大大減少錯誤。

d.重用起來腳本語言的編程，如paython或shell編程。

　對於用scp -r命令或deploy.conf（配置文件），deploy.sh（實現文件復制的shell腳本文件），runRemoteCdm.sh(在遠程節點上執行命令的shell腳本文件)。

e.重要Vmare Tools增強工具，或者，rz上傳、sz下載。

f.大多數人常用

Xmanager Enterprise *安裝步驟

用到的所需：

　　1、VMware-workstation-full-11.1.2.61471.1437365244.exe

　　2、CentOS-6.5-x86_64-bin-DVD1.iso

　　3、jdk-8u60-linux-x64.tar.gz

　　4、hadoop-2.6.0.tar.gz

　　5、scala-2.10.4.tgz

　　6、spark-1.6.1-bin-hadoop2.6.tgz

機器規划：

　　192.168.80.100---------------- SparkSignleNode

目錄規划：

　　1、下載目錄

　　　/usr/loca/ ---------------- 存放所有安裝軟件

2、新建目錄

3、安裝目錄

　　jdk-8u60-linux-x64.tar.gz -------------------------------------------------- /usr/local/jdk/jdk1.8.0_60

　　hadoop-2.6.0.tar.gz ---------------------------------------------------------- /usr/local/hadoop/hadoop-2.6.0

　　scala-2.10.4.tgz --------------------------------------------------------------- /usr/local/scala/scala-2.10.4

spark-1.6.1-bin-hadoop2.6.tgz ---------------------------------------------- /usr/local/spark/spark-1.6.1-bin-hadoop2.6

4、快照步驟

　　快照一：

　　　　剛安裝完畢，且能連上網

快照二：

　　　 root用戶的開啟、vim編輯器的安裝、ssh的安裝、靜態IP的設置、/etc/hostname和/etc/hosts和永久關閉防火牆

　　　 SSH安裝完之后的免密碼配置，放在后面
　　靜態IP是192.168.80.100
/etc/hostname是SparkSingleNode
/etc/hosts是
192.168.80.100 SparkSingleNode

快照三：

　　　　安裝jdk、安裝scala、配置SSH免密碼登錄、安裝python及ipython （這里，選擇跳過也可以，ubuntu系統自帶安裝了python）

　　　　新建spark用戶，（即用spark用戶，去安裝jdk、scala、配置SSH免密碼、安裝hadoop、安裝spark...）

　　快照四：

　　　　安裝hadoop（沒格式化）、安裝lrzsz、將自己寫好的替換掉默認的配置文件、建立好目錄

　　快照五：

　　　　安裝hadoop（格式化）成功、進程啟動正常

　　快照六：

　　　　spark的安裝和配置工作完成

　　快照七：

　　　　啟動hadoop、spark集群成功、查看50070、8088、8080、4040頁面

第一步：

　　　　安裝VMware-workstation虛擬機，我這里是VMware-workstation11版本。

　　詳細見 ->

VMware workstation 11 的下載　　　　　　

VMWare Workstation 11的安裝

VMware Workstation 11安裝之后的一些配置

　第二步：

　　　　安裝ubuntukylin-14.04-desktop系統（最好安裝英文系統）

　　　　詳細見 ->

CentOS 6.5的安裝詳解

CentOS 6.5安裝之后的網絡配置

CentOS 6.5靜態IP的設置（NAT和橋接都適用）　

CentOS 命令行界面與圖形界面切換

網卡eth0、eth1...ethn謎團

Centos 6.5下的OPENJDK卸載和SUN的JDK安裝、環境變量配置

第三步：VMware Tools增強工具安裝

　　　　詳細見 ->

VMware里Ubuntukylin-14.04-desktop的VMware Tools安裝圖文詳解

　　第四步：准備小修改（學會用快照和克隆，根據自身要求情況，合理位置快照）　

　　　　詳細見 ->　　　

CentOS常用命令、快照、克隆大揭秘

E：Package 'Vim' has no installation candidate問題解決

新建用戶組、用戶、用戶密碼、刪除用戶組、用戶（適合CentOS、Ubuntu）

　　　　1、root用戶的開啟（Ubuntu系統，安裝之后默認是沒有root用戶）

　　　　2、vim編輯器的安裝

　　　　3、ssh的安裝（SSH安裝完之后的免密碼配置，放在后面）

　　　　4、靜態IP的設置

CentOS 6.5安裝之后的網絡配置

5、/etc/hostname和/etc/hosts

root@sparksinglenode:~# cat /etc/hostname

sparksinglenode

root@sparksinglenode:~# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.80.100 sparksinglenode

# The following lines are desirable for IPv6 capable hosts

::1 ip6-localhost ip6-loopback

fe00::0 ip6-localnet

ff00::0 ip6-mcastprefix

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

　　6、永久關閉防火牆

　　　　　　　　一般，在搭建hadoop/spark集群時，最好是永久關閉防火牆，因為，防火牆會保護其進程間通信。

root@SparkSingleNode:~# sudo ufw status

Status: inactive

root@SparkSingleNode:~#

新建用戶組、用戶、用戶密碼、刪除用戶組、用戶（適合CentOS、Ubuntu）

　這個知識點，模糊了好久。！！！

　　生產中，習慣如下：

　　useradd，默認會將自身新建用戶，添加到同名的用戶組中。如，useradd zhouls，執行此命令后，默認就添加到同名的zhouls用戶組中。

　但是，在生產中，一般都不這么干。通常是，useradd -m -g 。否則，出現到時，用戶建立出來了，但出現家目錄沒有哦。慎重！！！（重要的話，說三次）

####################CentOS系統里##########################

CentOS系統里，root用戶下執行

第一步：groupadd 新建用戶組

groupadd hadoop 這是創建hadoop用戶組

第二步：useradd -m -g 已創建用戶組新建用戶

useradd -m -g hadoop hadoop 這是新建hadoop用戶和家目錄也創建，並增加到hadoop組中

第三步：passwd 已創建用戶

passwd hadoop hadoop用戶密碼

Changing password for user hadoop

New password ：

Retype new password:

###################################

安裝前的思路梳理：

　　***********************************************************************************

　　*　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*

　　* 編程語言 -> hadoop 集群 -> spark 集群　　　　　　　　　　　　　　　　　　　　　　　　　　 *

　　* 1、安裝jdk 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *

　　* 2、安裝scala　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *

　　* 3、配置SSH免密碼登錄（SparkSingleNode自身）

　　* 4、安裝python及ipython （這里，選擇跳過也可以，ubuntu系統自帶安裝了python）

　　* 5、安裝hadoop　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *

　　* 6、安裝spark　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*

　　* 7、啟動集群　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*

　　* 8、查看頁面　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*

　　* 9、成功（記得快照）　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　*

　　*******************************************************

一、安裝jdk

　　記得，這里先卸載CentOS6.5自帶的openjdk，具體怎么做，請見上述的博客。我已經寫了很清楚。

　　jdk-8u60-linux-x64.tar.gz -------------------------------------------------- /usr/local/jdk/jdk1.8.0_60

　　　　1、jdk-8u60-linux-x64.tar.gz的下載

　　　　下載，http://download.csdn.net/download/aqtata/9022063

　　　　2、jdk-8u60-linux-x64.tar.gz的上傳

[root@sparksinglenode local]# mkdir jdk
[root@sparksinglenode local]# chown -R spark:spark jdk

[root@sparksinglenode jdk]# yum -y install lrzsz

3、解壓jdk文件

[spark@sparksinglenode jdk]$ tar -zxvf jdk-8u60-linux-x64.tar.gz

　　4、刪除解壓包，留下解壓完成的文件目錄，並修改權限（這是最重要的！）

[spark@sparksinglenode jdk]$ rm jdk-8u60-linux-x64.tar.gz

　　5、修改環境變量　

　　vim ~./bash_profile 或 vim /etc/profile

　　配置在這個文件~/.bash_profile，或者也可以，配置在那個全局的文件里，也可以喲。/etc/profile。

　　這里，我vim /etc/profile

[spark@sparksinglenode jdk]$ su root
Password: 
[root@sparksinglenode jdk]# vim /etc/profile

#java
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

　　6、生效jdk環境變量

[root@sparksinglenode jdk]# source /etc/profile
[root@sparksinglenode jdk]# su spark
[spark@sparksinglenode jdk]$ java -version

二、安裝scala

　　 scala-2.10.5tgz --------------------------------------------------------------- /usr/local/scala/scala-2.10.5

　　1、scala的下載

　　http://www.scala-lang.org/files/archive/

　　或者

http://www.scala-lang.org/download/2.10.5.html

　　2、現在，新建/usr/loca/下的sacla目錄

　　3、scala-2.10.5.tgz 的上傳

[spark@sparksinglenode scala]$ rz

　　4、解壓scala文件

[spark@sparksinglenode scala]$ tar -zxvf scala-2.10.5.tgz

　　5、刪除解壓包，留下解壓完成的文件目錄，並修改權限（這是最重要的！！！）

[spark@sparksinglenode scala]$ rm scala-2.10.5.tgz

　　6、修改環境變量　

　　vim ~./bash_profile 或 vim /etc/profile

　　配置在這個文件~/.bash_profile，或者也可以，配置在那個全局的文件里，也可以喲。/etc/profile。

　　這里，我vim /etc/profile

[spark@sparksinglenode scala]$ su root
Password: 
[root@sparksinglenode scala]# vim /etc/profile

#scala
export SCALA_HOME=/usr/local/scala/scala-2.10.5
export PATH=$PATH:$SCALA_HOME/bin

　　7、生效scala環境變量

[root@sparksinglenode scala]# source /etc/profile
[root@sparksinglenode scala]# su spark
[spark@sparksinglenode scala]$ scala -version

三、配置免密碼登錄

　　1、配置SSH實現無密碼驗證配置，首先切換到剛創建的spark用戶下。

　　　　因為，我后續，是先搭建hadoop集群，在其基礎上，再搭建spark集群，目的，是在spark用戶下操作進行的。

　　所以，在這里，要梳理下的是，root和zhouls，都是管理員權限。在生產環境里，一般是不會動用這兩個管理員用戶的。

　　由於spark需要無密碼登錄作為worker的節點，而由於部署單節點的時候，當前節點既是master又是worker，所以此時需要生成無密碼登錄的ssh。方法如下：

[spark@sparksinglenode ~]$ pwd
/home/spark

2 、創建.ssh目錄，生成密鑰

　　mkdir .ssh

　　ssh-keygen -t rsa 注意，ssh與keygen之間是沒有空格的

[spark@sparksinglenode ~]$ mkdir .ssh
[spark@sparksinglenode ~]$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/spark/.ssh/id_rsa):  (回車）
Enter passphrase (empty for no passphrase):  (回車）
Enter same passphrase again:  (回車）
Your identification has been saved in /home/spark/.ssh/id_rsa.
Your public key has been saved in /home/spark/.ssh/id_rsa.pub.
The key fingerprint is:
38:12:c4:d8:f1:fc:74:96:2d:a1:0e:c2:83:b7:f1:54 spark@sparksinglenode
The key's randomart image is:
+--[ RSA 2048]----+
|   +o.  E .      |
|  .+oo . . +     |
|  . B = o = .    |
|   . O * o .     |
|    o + S        |
|     . .         |
|                 |
|                 |
|                 |
+-----------------+
[spark@sparksinglenode ~]$

　　3 、切換到.ssh目錄下,進行查看公鑰和私鑰

　　cd .ssh

[spark@sparksinglenode ~]$ cd .ssh
[spark@sparksinglenode .ssh]$ ls
id_rsa  id_rsa.pub
[spark@sparksinglenode .ssh]$

　　4、將公鑰復制到日志文件里。查看是否復制成功

　　cp id_rsa.pub authorized_keys

[spark@sparksinglenode .ssh]$ cp id_rsa.pub authorized_keys

　　5、查看日記文件具體內容

[spark@sparksinglenode .ssh]$ cat authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAtCbvAZr07dAiUG66PcyXFBZX+2wfyi9lv0Dv8X2EfVbXakDaRRGHGBQ/k3KTXMtmziijcuTtDJJoSuC7tZVp00l+jNVB5UPIBsAPTCidUXECLUUVNDFNmzzFWumAtiJd7yeQMCEZyUX7TQ00IaDG5hqzgneZRaek+sARPJnvvn+USKH1pJI3iPstbDhWVKqWg2UBmEkoAtZUmP4ZsiExwysRaFCyETVqPZ3qxMCe/yhhxaWtnl71lIHQJsYy15cUdxnaBWM/XJEEINRFplVAgR9wIkIBexYBGZpu8uLOT7oQiCgQ0CixgKAwEN7BaaTDMBue0ebwWsaByyzb964gyQ== spark@sparksinglenode

　　6、退回到/home/spark/，來賦予權限

　　cd ..

　　chmod 700 .ssh 將.ssh文件夾的權限賦予700

　　chmod 600 .ssh/* 將.ssh文件夾里面的文件（id_rsa、id_rsa.pub、authorized_keys）的權限賦予600

[spark@sparksinglenode ~]$ chmod 700 .ssh
[spark@sparksinglenode ~]$ chmod 600 .ssh/*

　　7、測試ssh無密碼訪問

[spark@sparksinglenode ~]$ ssh sparksinglenode
The authenticity of host 'sparksinglenode (192.168.80.100)' can't be established.
RSA key fingerprint is c9:66:77:a8:d3:a3:6a:03:29:94:0b:6b:2d:27:06:12.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'sparksinglenode,192.168.80.100' (RSA) to the list of known hosts.
Last login: Thu Mar 23 16:57:15 2017 from 192.168.80.1
[spark@sparksinglenode ~]$ exit;
logout
Connection to sparksinglenode closed.
[spark@sparksinglenode ~]$ ssh sparksinglenode
Last login: Fri Mar 24 01:37:13 2017 from sparksinglenode
[spark@sparksinglenode ~]$ exit;
logout
Connection to sparksinglenode closed.
[spark@sparksinglenode ~]$

四、安裝hadoop

　　　　hadoop-2.6.0.tar.gz ---------------------------------------------------------- /usr/local/hadoop/hadoop-2.6.0

　　1、hadoop的下載

http://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/

　　2、hadoop-2.6.0.tar.gz的上傳

total 48
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 bin
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 etc
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 games
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 include
drwxr-xr-x. 3 spark spark 4096 Mar 23 23:33 jdk
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 lib
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 lib64
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 libexec
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 sbin
drwxr-xr-x. 3 spark spark 4096 Mar 24 01:26 scala
drwxr-xr-x. 5 root  root  4096 Mar 22 17:40 share
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 src
[spark@sparksinglenode local]$ su root
Password: 
[root@sparksinglenode local]# mkdir hadoop
[root@sparksinglenode local]# chown -R spark:spark hadoop/
[root@sparksinglenode local]# ll
total 52
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 bin
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 etc
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 games
drwxr-xr-x. 2 spark spark 4096 Mar 24 01:38 hadoop
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 include
drwxr-xr-x. 3 spark spark 4096 Mar 23 23:33 jdk
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 lib
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 lib64
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 libexec
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 sbin
drwxr-xr-x. 3 spark spark 4096 Mar 24 01:26 scala
drwxr-xr-x. 5 root  root  4096 Mar 22 17:40 share
drwxr-xr-x. 2 root  root  4096 Sep 23  2011 src
[root@sparksinglenode local]#

　　3、解壓hadoop文件

[spark@sparksinglenode hadoop]$ tar -zxvf hadoop-2.6.0.tar.gz

　　4、刪除解壓包，留下解壓完成的文件目錄

　並修改所屬的用戶組和用戶（這是最重要的！）

　　5、修改環境變量　

　　　　vim ~./bash_profile 或 vim /etc/profile

　　　　配置在這個文件~/.bash_profile，或者也可以，配置在那個全局的文件里，也可以喲。/etc/profile。

　　　　這里，我vim /etc/profile

[root@sparksinglenode hadoop]# vim /etc/profile

#hadoop
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　6、生效hadoop環境變量

[root@sparksinglenode hadoop]# source /etc/profile
[root@sparksinglenode hadoop]# su spark
[spark@sparksinglenode hadoop]$ hadoop version
Hadoop 2.6.0
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r e3496499ecb8d220fba99dc5ed4c99c8f9e33bb1
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using /usr/local/hadoop/hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar
[spark@sparksinglenode hadoop]$

　　7、配置hadoop

[spark@sparksinglenode hadoop]$ cd hadoop-2.6.0/etc/hadoop/
[spark@sparksinglenode hadoop]$ vim core-site.xml

<configuration>
　　<property>
　　　　<name>fs.default.name</name>
　　　　<value>hdfs://sparksinglenode:9000</value>
　　</property>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>/usr/local/hadoop/hadoop-2.6.0/tmp</value>
　　</property>
　　<property>
　　　　<name>hadoop.proxyuser.hadoop.hosts</name>
　　　　<value>*</value>
　　</property>
　　<property>
　　　　<name>hadoop.proxyuser.hadoop.groups</name>
　　　　<value>*</value>
　　</property>
</configuration>

[spark@sparksinglenode hadoop]$ vim hdfs-site.xml

<configuration>
　　<property>
　　　　<name>dfs.permissions</name>
　　　　<value>false</value>
　　</property>
　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>1</value>
　　</property>
　　<property>
　　　　<name>dfs.namenode.name.dir</name>
　　　　<value>/usr/local/hadoop/hadoop-2.6.0/dfs/name</value>
　　</property>
　　<property>
　　　　<name>dfs.datanode.data.dir</name>
　　　　<value>/usr/local/hadoop/hadoop-2.6.0/dfs/data</value>
　　</property>
</configuration>

[spark@sparksinglenode hadoop]$ cp mapred-site.xml.template mapred-site.xml
[spark@sparksinglenode hadoop]$ vim mapred-site.xml

<configuration>
　　<property>
　　　　<name>mapreduce.framework.name</name>
　　　　<value>yarn</value>
　　</property>
</configuration>

[spark@sparksinglenode hadoop]$ vim yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
　　<property>
　　　　<name>yarn.nodemanager.aux-services</name>
　　　　<value>mapreduce_shuffle</value>
　　</property>
</configuration>

[spark@sparksinglenode hadoop]$ vim hadoop-env.sh

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60

[spark@sparksinglenode hadoop]$ cat slaves

sparksinglenode

　　8、新建配置文件里牽扯到目錄

[spark@sparksinglenode hadoop-2.6.0]$ pwd
/usr/local/hadoop/hadoop-2.6.0
[spark@sparksinglenode hadoop-2.6.0]$ mkdir -p /usr/local/hadoop/hadoop-2.6.0/dfs/name
[spark@sparksinglenode hadoop-2.6.0]$ mkdir -p /usr/local/hadoop/hadoop-2.6.0/dfs/data
[spark@sparksinglenode hadoop-2.6.0]$ mkdir -p /usr/local/hadoop/hadoop-2.6.0/tmp

　　9、hadoop的格式化

　　　　　在單節點(sparksinglenode)的hadoop的安裝目錄下，進行如下命令操作

　　　　./bin/hadoop namenode -format

[spark@sparksinglenode hadoop-2.6.0]$ pwd
/usr/local/hadoop/hadoop-2.6.0
[spark@sparksinglenode hadoop-2.6.0]$ ./bin/hadoop namenode -format

　　10、啟動hadoop

　　　　sbin/start-all.sh

[spark@sparksinglenode hadoop-2.6.0]$ sbin/start-all.sh

　　11、開啟hadoop的web ui界面，來驗證下。

http://sparksinglenode:50070/ 。如果出現50070端口無法訪問，則如下

hadoop 50070 無法訪問問題解決匯總

五、安裝spark

　　　　spark-1.6.1-bin-hadoop2.6.tgz ---------------------------------------------- /usr/loca/spark/spark-1.6.1-bin-hadoop2.6

　　　　1、spark的下載　　　

這個去官網。很簡單！

http://spark.apache.org/downloads.html

http://d3kbcqa49mib13.cloudfront.net/spark-1.6.1-bin-hadoop2.6.tgz

　　 2、spark-1.6.1-bin-hadoop2.6.tgz的上傳

[root@sparksinglenode local]# mkdir spark
[root@sparksinglenode local]# chown -R spark:spark spark/

　　3、解壓spark文件

[spark@sparksinglenode spark]$ tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz

　　4、刪除解壓包，留下解壓完成的文件目錄

　並修改所屬的用戶組和用戶（這是最重要的！）

　　5、修改環境變量　

　　　　vim ~./bash_profile 或 vim /etc/profile

　　　　配置在這個文件~/.bash_profile，或者也可以，配置在那個全局的文件里，也可以喲。/etc/profile。

　　　　這里，我vim /etc/profile

[spark@sparksinglenode spark]$ su root
Password: 
[root@sparksinglenode spark]# vim /etc/profile

#spark
export SPARK_HOME=/usr/local/spark/spark-1.6.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

　　6、生效spark環境變量

[root@sparksinglenode spark]# source /etc/profile

　　7、spark配置文件

　　其實，只要把spark的安裝包解壓好，就已經安裝好了最簡易的spark。因為，它自身帶有集群環境。

帶你認識spark安裝包的目錄結構

[spark@sparksinglenode conf]$ cp slaves.template slaves
[spark@sparksinglenode conf]$ vim slaves

　　進入之后，將localhost改為sparksinglenode

[spark@sparksinglenode conf]$ cp spark-env.sh.template spark-env.sh
[spark@sparksinglenode conf]$ vim spark-env.sh

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60
export SCALA_HOME=/usr/local/scala/scala-2.10.5
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.6.0/etc/hadoop
export SPARK_MASTER_IP=sparksinglenode
export SPARK_WORKER_MERMORY=2G

六、啟動集群

　　　　　　1、在haoop的安裝目錄下，啟動hadoop集群。

　　　　　　　　/usr/local/hadoop/hadoop-2.6.0下，執行./sbin/start-all.sh

　　　　　　或，在任何路徑下，$HADOOP_HOME/sbin/start-all.sh

　　　2、在spark的安裝目錄下，啟動spark集群。

　　　　 /usr/local/spark/spark-1.6.1-bin-hadoop2.6下，執行./sbin/start-all.sh

　　　　　或，在任何路徑下，執行 $SPARK_HOME/sbin/start-all.sh

　八、查看頁面

　　　　進入hadoop的hdfs的web頁面。訪問http://sparksinglenode:50070 （安裝之后，立即可以看到）

　　　　進入hadoop的yarn的web頁面。訪問http://sparksinglenode:8088 （安裝之后，立即可以看到）

　　　　進入spark的web頁面。訪問 http://sparksinglenode:8080 （安裝之后，立即可以看到）

　　　　進入spark的shell的web頁面。訪問http//:sparksinglenode:4040 （需開啟spark shell）

　　成功！

歡迎大家，加入我的4個微信公眾號：大數據躺過的坑 Java從入門到架構師人工智能躺過的坑 Java全棧大聯盟

同時，大家可以關注我的個人博客：

http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/ http://www.cnblogs.com/sunnyDream/

詳情請見：http://www.cnblogs.com/zlslch/p/7473861.html

　　人生苦短，我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神，匯聚於互聯網和個人學習工作的精華干貨知識，一切來於互聯網，反饋回互聯網。
　　目前研究領域：大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。語言涉及：Java、Scala、Python、Shell、Linux等。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。只要你一直關注和呆在群里，每天必須有收獲

對應本平台的討論和答疑QQ群：大數據和人工智能躺過的坑（總群）（161156071）

打開百度App，掃碼，精彩文章每天更新！歡迎關注我的百家號： 九月哥快訊

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 hadoop-2.6.0.tar.gz + spark-1.5.2-bin-hadoop2.6.tgz的集群搭建（單節點）（Ubuntu系統） Spark on YARN模式的安裝（spark-1.6.1-bin-hadoop2.6.tgz + hadoop-2.6.0.tar.gz）（master、slave1和slave2）（博主推薦） hadoop-2.6.0.tar.gz的集群搭建（3節點）（不含zookeeper集群安裝） hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3節點集群搭建(含zookeeper集群安裝） centos7 安裝Hadoop-2.6.0-cdh5.16.1.tar.gz Hadoop2.6.0在CentOS 7中的集群搭建 CDH版本大數據集群下搭建Hue（hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz）（博主推薦）基於hadoop2.6.0搭建5個節點的分布式集群第八章搭建hadoop2.2.0集群,Zookeeper集群和hbase-0.98.0-hadoop2-bin.tar.gz集群詳細講解Hadoop源碼閱讀工程（以hadoop-2.6.0-src.tar.gz和hadoop-2.6.0-cdh5.4.5-src.tar.gz為代表）