使用yum安裝CDH Hadoop集群


使用yum安裝CDH Hadoop集群——局域網集群

原文鏈接:http://blog.chinaunix.net/uid-33797-id-4912855.html,更詳細過程參考原文。

簡單描述:

  在局域網集群內部使用本地yum源搭建CDH集群,並進行相關配置。

簡要步驟:

  1.配置本地yum倉庫,集群本地yum源

  2.修改節點hosts信息

  3.配置ssh無秘鑰登錄

  4.安裝和配置HDFS

  5.安裝和配置yum

  6.安裝和配置zookeeper

詳細步驟:

  1.配置本地yum倉庫,本地yum源

    本地yum倉庫主要是將已經有的yum源文件進行共享,是的集群中每一個節點都能訪問到,一本可以通過http服務器,ftp服務器,NFS掛載方式進行共享

    注:只要能共享並且其他節點能夠訪問到就可以,形式不限。

    1>集群可以上網,本地yum源配置詳細過程自行百度_參考http://www.cnblogs.com/nidey/p/6200685.html

    2>如果不能夠上網,可以直接進入到/etc/yum.repos.d/目錄,刪除或者備份原有的.repo文件(CentOS 默認安裝yum,沒有的自行安裝)

      然后創建自己的xxx.repo文件,進行簡單配置

      編輯xxx.repo文件,輸入:(簡單配置,需要詳細配置的自行百度,各個元素含義自行百度)    

1 [cloudera-cdh5]
2 # Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
3 name=Cloudera's Distribution for Hadoop, Version 5
4 baseurl=http://xx.xx.xx.xx/cdh/5/
5 gpgcheck = 0

    3>執行 yum clean all

    4>直接使用

  2.配置節點hosts信息——使用DNS可以略過這一步

    2.1 修改hostname

      使用hostname 指令查看各個節點名稱是否與規划一致

      如果不一致:

      修改/etc/sysconfig/network中hostname=master

      其他節點修改成相對應的名稱

    2.2 檢查hostname和ip和規划上一致無誤

    2.3 修改hosts  -> 如果使用DNS,可以不配置,這里配置好也是一種好的習慣

      修改/etc/hosts ,添加以下內容

      192.168.240.162 master

      192.168.240.163 slave1

      192.168.240.167 slave2

      192.168.240.161 slave3

    2.4 檢查各個節點通過hostname是否能相互ping通  

  3.配置ssh 無秘鑰登錄

    ——>方便切換節點進行配置,master節點直接ssh到其他節點

    ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa

ssh-copy-id -i ip  

  4.安裝和配置hdfs —— 安裝配置zookeeper參考原文:http://blog.chinaunix.net/uid-33797-id-4912855.html,比較詳細或者查看官網http://www.cloudera.com/documentation/enterprise/latest/topics/introduction.html更佳。 

  


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM