CDH 離線安裝 CM

CDH支持Yum包，Tar包，RPM包，Cloudera Manager(CM)四種安裝方式

Cloudera Manager(CM) 用於CDH集群管理，可進行節點安裝，配置，服務管理等，提供Web窗口界面以提高Hadoop配置可見度，從而降低集群參數設置的復雜度。

 

****Cloudera Manager安裝(全部使用普通用戶hadoop的sudo權限實現)

0.0,使用root添加hadoop用戶並附加sudo權限

    adduser hadoop

    echo hadoop | passwd --stdin hadoop

    chmod u+w /etc/sudoers

    添加：hadoop ALL=(root) NOPASSWD:ALL

deployer ALL=(root) NOPASSWD:ALL

    chmod u-w /etc/sudoers

0,關閉防火牆和selinux，及配置信任關系

    service iptables status

    service iptables stop

    chkconfig --list|grep iptables

    chkconfig iptables off

    vim /etc/sysconfig/selinux

    SELINUX=disabled

1,配置主機名

    vim /etc/hosts

        192.168.1.101    cdh1

        192.168.1.102    cdh2

        192.168.1.103    cdh3

2,配置hadoop用戶SSH免密碼登錄

    (1)ssh-keygen -t rsa

        (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys  或  (2)ssh-copy-id cdh1     驗證 : ssh cdh1

        (3)兩兩節點之間的SSH免密碼登陸

           ssh-copy-id -i  cdh2-*      #scp ~/.ssh/authorized_keys   cdh2:/hadoop/.ssh/ 

3,卸載jdk

    rpm -qa|grep java

    rpm -qa|grep jdk

    rpm -e ** --nodeps

4,設置本地Yum源

    4.1查看httpd是否安裝並啟動
        rpm -qa|grep httpd    若沒安裝 : sudo yum install -y httpd
        service httpd status    
        sudo service httpd start 通過 http://192.168.1.101/ 進行驗證 
        設置開機啟動 sudo chkconfig httpd on
    4.2.1下載cm安裝包與軟件包到 /opt 目錄下(cm,cdh所有默認安裝均在/opt下,可以將/opt更改為hadoop用戶 sudo chown -R hadoop:hadoop /opt/ )
        cm installer : http://archive.cloudera.com/cm5/installer/    
        cm repo-as-tarball : http://archive.cloudera.com/cm5/repo-as-tarball/ 
    4.2.2解壓 repo-as-tarball 到 /var/www/html/ 目錄下
        tar xzvf ./cm5.7.0-centos6.tar.gz -C /var/www/html/
        驗證查看    http://192.168.1.101/cm/    5.7.0安裝包在/cm目錄下
    4.2.3設置與官網相同目錄結構(http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/)
        在 /var/www/html/ 下遞歸創建 cm5/redhat/6/x86_64 目錄    sudo mkdir -p cm5/redhat/6/x86_64
                將 cm 文件夾mv到 cm5/redhat/6/x86_64 目錄下    sudo mv cm cm5/redhat/6/x86_64/
                驗證查看    http://192.168.1.101/cm5/redhat/6/x86_64/cm/ (查看與官網目錄結構相同)
    4.2.3配置Yum源映射http://192.168.1.101/cm5/redhat/6/x86_64/cm/目錄
                1.切換到 /etc/yum.repos.d 目錄    cd /etc/yum.repos.d/

                2.創建repo文件寫入配置    sudo vim cloudera-manager.repo              

1. [cloudera-manager]
2. name=cloudera-manager
3. baseurl=http://cdh1/cm5/redhat/6/x86_64/cm/5/
4. enabled = 1
5. gpgcheck = 0

5,安裝installer執行文件 (!notice: 1,CRT不能亂碼 2,可用內存必須要>4G 3,必須使用root用戶)

    5.1給予權限：chmod u+x cloudera-manager-installer.bin

    5.2一路下一步：

。

 

等到安裝完成，可以觀察日志查看安裝狀態： /var/log/cloudera-manager-installer/*.log

 

等待一段時間訪問 http://192.168.1.101:7180 或 http://cdh1:7180 進行訪問，初始用戶名/密碼 : admin/admin

cm日志文件目錄 : /var/log/cloudera-scm-server/*.log 后期可通過日志進行

 

 

****通過Cloudera Manager實現CDH安裝(比較簡單，完全圖形化操作)

1,主機檢索步驟略

2,部署CDH使用的parcels包

    2.1下載CDH安裝包 http://archive.cloudera.com/cdh5/parcels/ (!下載的CDH安裝包一定要和CM包匹配，切下載與系統匹配的文件！)

    2.2上傳至指定目錄 cd /var/www/html;sudo mkdir parcels

    2.3修改 sudo mv CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha

    2.4查看驗證 http://192.168.1.101/parcels/ 

    進入集群安裝頁面

 

點擊更多選項，配置 遠程 Parcel 存儲庫 URL

刪除其他外網全程下載，配置本地下載庫(查看http://cdh1/parcels/可以訪問 )

 

 

選擇自定義存儲庫(確保CM自定義存儲庫可以訪問)

 

選擇安裝JDK，繼續

 

不啟用單用戶模式，繼續

選擇其他用戶 hadoop，輸入密碼，繼續

等待安裝，完成繼續(時間取決於機器性能及各節點間網絡傳輸速度)

安裝完成，繼續

排除警告：echo 0 > /proc/sys/vm/swappiness;echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

繼續進入添加部署服務頁面

選擇要添加的服務即可。安裝mysql用來存儲hive與cmmetadata

安裝MySQL

通過 yum -y install mysql-server 安裝mysql服務器,chkconfig mysqld on 設置開機啟動並 service mysqld start 啟動mysql服務，並根據提示設置root的初試密碼： mysqladmin -u root password 'root' 

mysql -uroot -proot  進入mysql命令行，創建以下數據庫：

1. #hive
2. create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
3. #activity monitor
4. create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
5. #授權root用戶在主節點擁有所有數據庫的訪問權限
6. grant all privileges on *.* to 'root'@'%' identified by 'root' with grant option;
7. grant all privileges on *.* to 'root'@'cdh1' identified by 'root' with grant option;

8. flush privileges;

若使用默認數據庫，記下用戶名密碼

最后，部署，配置根據項目中實際需求進行配置使用