使用yum安裝CDH Hadoop集群——局域網集群
原文鏈接:http://blog.chinaunix.net/uid-33797-id-4912855.html,更詳細過程參考原文。
簡單描述:
在局域網集群內部使用本地yum源搭建CDH集群,並進行相關配置。
簡要步驟:
1.配置本地yum倉庫,集群本地yum源
2.修改節點hosts信息
3.配置ssh無秘鑰登錄
4.安裝和配置HDFS
5.安裝和配置yum
6.安裝和配置zookeeper
詳細步驟:
1.配置本地yum倉庫,本地yum源
本地yum倉庫主要是將已經有的yum源文件進行共享,是的集群中每一個節點都能訪問到,一本可以通過http服務器,ftp服務器,NFS掛載方式進行共享
注:只要能共享並且其他節點能夠訪問到就可以,形式不限。
1>集群可以上網,本地yum源配置詳細過程自行百度_參考http://www.cnblogs.com/nidey/p/6200685.html
2>如果不能夠上網,可以直接進入到/etc/yum.repos.d/目錄,刪除或者備份原有的.repo文件(CentOS 默認安裝yum,沒有的自行安裝)
然后創建自己的xxx.repo文件,進行簡單配置
編輯xxx.repo文件,輸入:(簡單配置,需要詳細配置的自行百度,各個元素含義自行百度)
1 [cloudera-cdh5] 2 # Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64 3 name=Cloudera's Distribution for Hadoop, Version 5 4 baseurl=http://xx.xx.xx.xx/cdh/5/ 5 gpgcheck = 0
3>執行 yum clean all
4>直接使用
2.配置節點hosts信息——使用DNS可以略過這一步
2.1 修改hostname
使用hostname 指令查看各個節點名稱是否與規划一致
如果不一致:
修改/etc/sysconfig/network中hostname=master
其他節點修改成相對應的名稱
2.2 檢查hostname和ip和規划上一致無誤
2.3 修改hosts -> 如果使用DNS,可以不配置,這里配置好也是一種好的習慣
修改/etc/hosts ,添加以下內容
192.168.240.162 master
192.168.240.163 slave1
192.168.240.167 slave2
192.168.240.161 slave3
2.4 檢查各個節點通過hostname是否能相互ping通
3.配置ssh 無秘鑰登錄
——>方便切換節點進行配置,master節點直接ssh到其他節點
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
ssh-copy-id -i ip
4.安裝和配置hdfs —— 安裝配置zookeeper參考原文:http://blog.chinaunix.net/uid-33797-id-4912855.html,比較詳細或者查看官網http://www.cloudera.com/documentation/enterprise/latest/topics/introduction.html更佳。