碼上快樂

相關內容    簡體    繁體

CDH5.7.2離線部署筆記

本文轉載自   查看原文   2016-08-04 19:20   2038    CDH
1、部署基本信息說明：
1.1、主機信息
操作系統：選擇CentOS6.7 x86-64版本
MEM：64GB，CPU: E5-2630 v3 @ 2.40GHz, DISK:2TB*4(數據節點存儲，操作系統除外）
主機信息：
主機名               IP
dcnn1          10.20.20.1
dcnn2          10.20.20.2
dcdn01        10.20.20.3
dcdn02        10.20.20.4
dcdn03        10.20.20.5
1.2、CDH版本信息
ClouderaManager：cm5.7.2
CDH：cdh5.7.2版本
 
2、部署步驟
2.1 
下載安裝包
2.2 賬號分配
建立安裝用戶bigdata，用戶配置sudo無密碼登錄權限，后面都以bigdata用戶操作,也可以直接用root用戶操作
部署管理平台的主機打通到其它主機的ssh免登陸（部署用戶，bigdata或者root），這里用bigdata
 
2.3 主機名設置：
每台主機的/etc/hosts增加所有主機信息，並用hostname命令更改相應主機名
10.20.20.1  dcnn1
10.20.20.2  dcnn2
10.20.20.3  dcdn01
10.20.20.4  dcdn02
10.20.20.5  dcdn03
 
2.4網絡配置（每台主機）
以dcnn1位例
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=dcnn1
通過 service network restart重啟網絡服務，生效
 
2.5關閉IPtables和SELINUX （每台主機）
sudo chkconfig iptables off
sudo /etc/init.d/iptables stop
關閉SELINUX（實際安裝過程中發現沒有關閉也是可以的，不知道會不會有問題，還需進一步進行驗證）:
setenforce 0 （臨時生效）
修改：/etc/selinux/configx下的 SELINUX=disabled（重啟后永久生效）
 
2.6開啟NTP服務
這里因為是和外網隔離的，配置自己的ntpd服務器，ntp服務未安裝，請自行安裝，一般linux系統會默認安裝ntpd服務，但沒有啟動，沒有的可以自行安裝
配置ntp server：
 
1）打開ntp服務配置文件/etc/ntp.conf
2）增加內容
     //忽略ntp要求封包
     restrict default nomodify notrap
     restrict 10.20.20.1 mask 255.255.255.0 nomodify
     server 10.20.20.1
     
    //表示NTP主服務器是與自身的系統時鍾同步
     server 127.127.1.0
     //同步上層服務器的stratum 大小不能超過或等於16
     fudge 127.127.1.0 stratum 10
3）啟動
     啟動服務：sudo service ntpd start
     重啟生效：sudo chkconfig ntpd on
 
配置ntp  client：
1）打開ntp服務配置文件/etc/ntp.conf
2）增加內容
     server 10.20.20.1
3）啟動
     啟動服務：sudo service ntpd start
     重啟生效：sudo chkconfig ntpd on
 注：ntp服務的配置，生效需要一段時間，我自己測試大概5分鍾左右，剛重啟ntp服務，檢查狀態並不一定正常。
 
2.7安裝JDK

 

我們使用建議版本1.8.0_60
因為CDH需要oracle的java（所有節點）
CentOS自帶OpenJdk，不過運行CDH5需要使用Oracle的JDK，需要Java 7以上的支持。 
先卸載自帶的OpenJdk，使用 rpm -qa | grep java查詢java相關的包，使用 rpm -e --nodeps 包名卸載之。
安裝： rpm -ivh jdk-8u60-linux-x64.rpm
由於是rpm包並不需要我們來配置環境變量，我們只需要配置一個全局的JAVA_HOME變量即可，執行命令：
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment
 
2.8 安裝MySQL（安裝CentOS6.7自帶版本5.1.7）
mysql數據庫服務端：
sudo rpm -hvi mysql-5.1.73-5.el6_6.x86_64.rpm
sudo rpm -hvi perl-DBD-MySQL-4.013-3.el6.x86_64.rpm
sudo rpm -hvi mysql-server-5.1.73-5.el6_6.x86_64.rpm
chkconfig mysqld on設置開機啟動，並 service mysqld start啟動mysql服務，
並根據提示設置root的初試密碼：
      mysqladmin -u root password 'bigdata'
              mysqladmin -u root -h dcnn1 password 'bigdata'
 
mysql數據庫客戶端：
sudo rpm -hvi mysql-5.1.73-5.el6_6.x86_64.rpm
 
創建數據庫和設置mysql數據庫訪問權限：
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
UPDATE user SET password=PASSWORD('hive') WHERE user='hive';
#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
UPDATE user SET password=PASSWORD('amon') WHERE user='amon';
#oozie
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
UPDATE user SET password=PASSWORD('oozie') WHERE user='oozie';
#report
create database report DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
UPDATE user SET password=PASSWORD('report') WHERE user='report';
 
FLUSH PRIVILEGES;
#設置root授權訪問以上所有的數據庫：
grant all privileges on *.* to 'root'@'dcnn1' identified by 'bigdata' with grant option;
flush privileges;
#授權用戶在服務端擁有數據庫的訪問權限
grant all privileges on *.* to 'oozie'@'dcnn1 ' identified by 'oozie' with grant option;
grant all privileges on *.* to 'hive'@'dcnn1' identified by 'hive' with grant option;
grant all privileges on *.* to 'amon'@'dcnn1 ' identified by 'amon' with grant option;
grant all privileges on *.* to 'report'@'dcnn1 ' identified by 'report' with grant option;
flush privileges;
#授權root用戶在客戶端擁有數據庫的訪問權限
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'hive' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%' IDENTIFIED BY 'oozie' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'amon'@'%' IDENTIFIED BY 'amon' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'report'@'%' IDENTIFIED BY 'report' WITH GRANT OPTION;
flush privileges;
 
2.9安裝cm
cm和namenode復用了，機器太少了
1）將下載的cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz上傳至dcnn1目錄/opt下（該目錄為Cloudera manager的默認目錄）
2）tar xvfz cloudera-manager*.tar.gz，解壓后生成兩個目錄cloudera和cm-5.7.2
    
3)所有節點創建用戶cloudera-scm
sudo useradd --system --home=/opt/cm-5.7.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
 
4）為Cloudera Manager 5建立數據庫
     首先需要去MySql的官網下載JDBC驅動mysql-connector-java-5.1.38.tar.gz（可以下載最新的版本），下載地址： http://dev.mysql.com/downloads/connector/j/ ，解壓后找到mysql-connector-java-5.1.38-bin.jar放到/opt/cm-5.7.2/share/cmf/lib/中： cp mysql-connector-java-5.1.38-bin.jar /opt/cm-5.7.2/share/cmf/lib/
/opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cm -h dcnn1 -uroot -pbigdata --scm-host dcnn1 scm scm scm
 
遇到問題：未解決，但不影響后面得部署
 AVA_HOME=/usr/java/jdk1.8.0_60
Verifying that we can write to /opt/cm-5.7.2/etc/cloudera-scm-server
log4j:ERROR Could not find value for key log4j.appender.A
log4j:ERROR Could not instantiate appender named "A".
Creating SCM configuration file in /opt/cm-5.7.2/etc/cloudera-scm-server
Executing:  /usr/java/jdk1.8.0_60/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cm-5.7.2/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cm-5.7.2/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
log4j:ERROR Could not find value for key log4j.appender.A
log4j:ERROR Could not instantiate appender named "A".
 
 
agent配置
1）修改/opt/cm-5.7.2/etc/cloudera-scm-agent/config.ini中的server_host， server_host為主節點的主機名
 
2）同步Agent到其他節點
sudo scp -r /opt/cm-5.7.2 root@dcnn2:/opt/;
sudo scp -r /opt/cm-5.7.2 root@dcdn01:/opt/;
sudo scp -r /opt/cm-5.7.2 root@dcdn02:/opt/;
sudo scp -r /opt/cm-5.7.2 root@dcdn03:/opt/;
 
2.10啟動服務
通過sudo /opt/cm-5.7.2/etc/init.d/cloudera-scm-server start 啟動服務端
通過sudo /opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start 啟動agent端
我們啟動的其實是個service腳本，需要停止服務將以上的start參數改為stop就可以了，重啟是restart。
 
2.11 通過cm部署CDH
1）登錄http://10.20.20.1:7180
2)根據向導就可以一步一步進行了，比較簡單。
 
3 遇到問題
1、hive和oozie啟動失敗
缺少JDBC驅動，因為我的mysql裝在遠端，這里要訪問的時候要通過JDBC驅動。因此將mysql-connector-java-5.1.22-bin.jar添加到hive和oozie的lib：
sudo cp mysql-connector-java-5.1.38-bin.jar /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hive/lib
sudo cp mysql-connector-java-5.1.38-bin.jar /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/oozie/libext
 
2、安裝后hive在查詢時失敗，原因是權限問題
org.apache.hadoop.security.AccessControlException: Permission denied: user=bigdata, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
最簡單的處理辦法是：服務范圍勾選去掉。

 


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 CDH5.7.2-Hadoop集群CentOS7下的搭建(離線安裝) CDH6離線安裝 cdh5.10.2離線安裝 Docker部署CDH集群 CentOS7安裝CDH 第十一章：離線升級CDH版本 CDH 5.16.1 離線安裝 Spark 2.3 CDH5.12.1 安裝部署 離線部署yum依賴 Docker離線部署Redis Zabbix單機部署(離線)
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM