搭建hadoop的HA集群模式(hadoop2.7.3+hive+spark)


參考:http://blog.51cto.com/12824426/2177663?source=drh

一、集群的規划

Zookeeper集群:
192.168.176.131 (bigdata112)
192.168.176.132 (bigdata113)
192.168.176.135 (bigdata114)

Hadoop集群:
192.168.176.131 (bigdata112) NameNode1 ResourceManager1 Journalnode
192.168.176.132 (bigdata113) NameNode2 ResourceManager2 Journalnode
192.168.176.135 (bigdata114) DataNode1 NodeManager1
192.168.176.136 (bigdata115) DataNode2 NodeManager2

二、准備工作

1、安裝JDK
2、配置環境變量
3、配置免密碼登錄
4、配置主機名

三、配置時間同步

配置ntp啟動項

chkconfig ntpd on

同步時間

ntpdate ntp.sjtu.edu.cn

啟動ntpd服務

/etc/init.d/ntpd start

驗證ntp服務已經運行

pgrep ntpd

初始同步

ntpdate -u ntp.sjtu.edu.cn

確認同步成功

ntpq -p

PS:可以一次性輸入以上命令

chkconfig ntpd on

ntpdate ntp.sjtu.edu.cn

/etc/init.d/ntpd start

pgrep ntpd

ntpdate -u ntp.sjtu.edu.cn

ntpq -p

四、配置Zookeeper(在192.168.176.131安裝)

在主節點(bigdata112)上配置ZooKeeper

(*)配置/training/zookeeper-3.4.6/conf/zoo.cfg文件

dataDir=/training/zookeeper-3.4.6/tmp

server.1=bigdata112:2888:3888 server.2=bigdata113:2888:3888 server.3=bigdata114:2888:3888

(*)在/training/zookeeper-3.4.6/tmp目錄下創建一個myid的空文件
echo 1 > /training/zookeeper-3.4.6/tmp/myid

(*)將配置好的zookeeper拷貝到其他節點,同時修改各自的myid文件

        scp -r /training/zookeeper-3.4.6/ bigdata113:/training scp -r /training/zookeeper-3.4.6/ bigdata114:/training

(*)分別修改113和114上/training/zookeeper-3.4.6/tmp/myid為2和3

 ~/有空再做修改吧0.0


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM