最新hadoop+hbase+spark+zookeeper環境安裝(vmmare下)


說明:我這里安裝的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安裝包:鏈接:http://pan.baidu.com/s/1c25hI4g 密碼:hbr1)

1.安裝vmmare,創建3台虛擬機名字為hadoop1,hadoop2,hadoop3,都是centos6.5操作系統,網絡選擇橋接模式如圖

2.創建完虛擬機后,啟動虛擬機,然后運行ifconfig發現eth0網卡沒有,這時不用急,去這個目錄下找到ifcfg-eth0文件,然后修改ONBOOT=yes,如圖,然后重啟服務service network restart,然后再運行ifconfig發現eth0有了ip地址也有了,好ok,這時候你就可以用主機連接虛擬機操作了(個人建議用xshell工具好用)

3.安裝jdk,將jdk-8u11-linux-x64.tar上傳到虛擬機/home/hf(個人用戶的文件夾),然后解壓,然后將文件copy到/usr/java目錄下,如圖,接着配置環境變量在/etc/profile文件中添加如下幾行,如圖,可以忽略 $HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/zookeeper/bin:/usr/hbase/bin:這個,這個是后邊hadoop相關的環境變量,這里還用不到,然后運行source /etc/profile使環境變量生效,運行java -version出現java版本等信息表明jdk已經安裝好了

4.配置ssh免密碼登錄,首先修改/etc/hosts,修改為以下內容,注意ip要根據實際ip來

然后配置免密碼先在hadoop1上執行

一.ssh-keygen -t rsa

二.ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop2和ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop3

其余兩台機器類似

5.安裝hadoop,解壓hadoop安裝包,放到/usr/hadoop目錄下,如圖,然后配置hadoop相關文件。

 

 首先配置/usr/hadoop/etc/hadoop/core.site.xml

<property>
        <name>fs.defaultFS</name>//namenode的地址
        <value>hdfs://hadoop1:9000</value>
</property>

<property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/tmp</value>
</property>

配置/usr/hadoop/etc/hadoop/hdfs.site.xml

<property>
        <name>dfs.namenode.name.dir</name>               //namenode數據存放地址
        <value>file:/home/hadoop/namenode</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>               //datanode數據存放地址
        <value>file:/home/hadoop/datanode</value>
</property>
<property>
        <name>dfs.replication</name>                     //副本
        <value>2</value>
</property>

配置/usr/hadoop/etc/hadoop/mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

配置/usr/hadoop/etc/hadoop/yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>                  //yarn的界面
<value>hadoop1:8088</value>
</property>

配置/usr/hadoop/etc/hadoop/slaver,加入3台機器的hostname

hadoop2
hadoop3
hadoop1

配置/usr/hadoop/etc/hadoop/yarn-env.sh,找到相應行修改為JAVA=$JAVA_HOME/bin/java

然后/etc/profile修改一開始已經列出,這里就不列了,hadoop已經安裝好了

先運行hadoop namenode -format 格式化,然后用start-all.sh來啟動hadoop集群了,主節點有namenode,從節點有datanode表明正常

6.安裝zookeeper和hbase

先安裝zookeeper,先解壓到/usr/zookeeper下,然后配置/usr/zookeeper/conf/zoo.cfg文件,配置如下

tickTime=2000
dataDir=/var/log/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

在/var/log/zookeeper下創建myid文件寫入1或2或3,hadoop1機器的話寫1,hadoop2機器的話寫2,hadoop3機器的話寫3

分別啟動zk,命令./usr/zookeeper/bin/zkServer start,看下是否正常

 

安裝hbase,解壓hbase到/usr/hbase

配置/usr/hbase/conf/hbase-site.xml

<name>hbase.rootdir</name>
  <value>hdfs://hadoop1:9000/hbase</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>hadoop1,hadoop2,hadoop3</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/var/log/zookeeper</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>

配置/usr/hbase/conf/hbase-env.xml,修改

export JAVA_HOME=/usr/java/jdk1.8.0_11/

export HBASE_MANAGES_ZK=false

配置/usr/hbase/conf/regionservers添加

hadoop1

hadoop2

hadoop3

 

就可以啟動hbase了,要先啟動hadoop和zk才能啟動hbase,命令start-hbase.sh,看各節點的進程,jps -l,主節點有hmaster,從節點有hregionserver,這樣表示正常

 

7.spark安裝

首新解壓spark到/usr/saprk,然后修改/usr/spark/conf/spark-env.sh文件,添加或覆蓋

export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop

配置slaves,添加

hadoop1

hadoop2

hadoop3

 

好了至此環境都搭建好了,首先起hadoop再zk再hbase。

(安裝包:鏈接:http://pan.baidu.com/s/1c25hI4g 密碼:hbr1)

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM