說明:我這里安裝的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安裝包:鏈接:http://pan.baidu.com/s/1c25hI4g 密碼:hbr1)
1.安裝vmmare,創建3台虛擬機名字為hadoop1,hadoop2,hadoop3,都是centos6.5操作系統,網絡選擇橋接模式如圖
2.創建完虛擬機后,啟動虛擬機,然后運行ifconfig發現eth0網卡沒有,這時不用急,去這個目錄下找到ifcfg-eth0文件,然后修改ONBOOT=yes,如圖
,然后重啟服務service network restart,然后再運行ifconfig發現eth0有了ip地址也有了,好ok,這時候你就可以用主機連接虛擬機操作了(個人建議用xshell工具好用)
3.安裝jdk,將jdk-8u11-linux-x64.tar上傳到虛擬機/home/hf(個人用戶的文件夾),然后解壓,然后將文件copy到/usr/java目錄下,如圖,接着配置環境變量在/etc/profile文件中添加如下幾行,如圖,可以忽略 $HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/zookeeper/bin:/usr/hbase/bin:這個,這個是后邊hadoop相關的環境變量,這里還用不到,然后運行source /etc/profile使環境變量生效,運行java -version出現java版本等信息表明jdk已經安裝好了
4.配置ssh免密碼登錄,首先修改/etc/hosts,修改為以下內容,注意ip要根據實際ip來
然后配置免密碼先在hadoop1上執行
一.ssh-keygen -t rsa
二.ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop2和ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop3
其余兩台機器類似
5.安裝hadoop,解壓hadoop安裝包,放到/usr/hadoop目錄下,如圖,然后配置hadoop相關文件。
首先配置/usr/hadoop/etc/hadoop/core.site.xml
<property> <name>fs.defaultFS</name>//namenode的地址 <value>hdfs://hadoop1:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/tmp</value> </property>
配置/usr/hadoop/etc/hadoop/hdfs.site.xml
<property> <name>dfs.namenode.name.dir</name> //namenode數據存放地址 <value>file:/home/hadoop/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> //datanode數據存放地址 <value>file:/home/hadoop/datanode</value> </property> <property> <name>dfs.replication</name> //副本 <value>2</value> </property>
配置/usr/hadoop/etc/hadoop/mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
配置/usr/hadoop/etc/hadoop/yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name> //yarn的界面
<value>hadoop1:8088</value>
</property>
配置/usr/hadoop/etc/hadoop/slaver,加入3台機器的hostname
hadoop2
hadoop3
hadoop1
配置/usr/hadoop/etc/hadoop/yarn-env.sh,找到相應行修改為JAVA=$JAVA_HOME/bin/java
然后/etc/profile修改一開始已經列出,這里就不列了,hadoop已經安裝好了
先運行hadoop namenode -format 格式化,然后用start-all.sh來啟動hadoop集群了,主節點有namenode,從節點有datanode表明正常
6.安裝zookeeper和hbase
先安裝zookeeper,先解壓到/usr/zookeeper下,然后配置/usr/zookeeper/conf/zoo.cfg文件,配置如下
tickTime=2000 dataDir=/var/log/zookeeper clientPort=2181 initLimit=5 syncLimit=2 server.1=hadoop1:2888:3888 server.2=hadoop2:2888:3888 server.3=hadoop3:2888:3888
在/var/log/zookeeper下創建myid文件寫入1或2或3,hadoop1機器的話寫1,hadoop2機器的話寫2,hadoop3機器的話寫3
分別啟動zk,命令./usr/zookeeper/bin/zkServer start,看下是否正常
安裝hbase,解壓hbase到/usr/hbase
配置/usr/hbase/conf/hbase-site.xml
<name>hbase.rootdir</name> <value>hdfs://hadoop1:9000/hbase</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>hadoop1,hadoop2,hadoop3</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/var/log/zookeeper</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value>
配置/usr/hbase/conf/hbase-env.xml,修改
export JAVA_HOME=/usr/java/jdk1.8.0_11/
export HBASE_MANAGES_ZK=false
配置/usr/hbase/conf/regionservers添加
hadoop1
hadoop2
hadoop3
就可以啟動hbase了,要先啟動hadoop和zk才能啟動hbase,命令start-hbase.sh,看各節點的進程,jps -l,主節點有hmaster,從節點有hregionserver,這樣表示正常
7.spark安裝
首新解壓spark到/usr/saprk,然后修改/usr/spark/conf/spark-env.sh文件,添加或覆蓋
export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop
配置slaves,添加
hadoop1
hadoop2
hadoop3
好了至此環境都搭建好了,首先起hadoop再zk再hbase。
(安裝包:鏈接:http://pan.baidu.com/s/1c25hI4g 密碼:hbr1)