cdh5.10.2離線安裝
安裝包：
下載cm-5.10.2到/usr/local/soft/下
http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz
下載cdh-5.4.3到/usr/local/soft/下
http://archive-primary.cloudera.com/cdh5/parcels/5.4.3/
CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel
CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha
manifest.json
下載mysql
Mysql-connector-java-5.1.34
配置/etc/hosts
vim /etc/hosts
192.168.1.201 hx1
192.168.1.202 hx2
192.168.1.203 hx3
192.168.1.204 hx4
192.168.1.205 hx5
關閉防火牆
service iptables stop
chkconfig iptables off
service iptables status
關閉selinux
vim /etc/selinux/config
#SELINUX=enforcing
SELINUX=disabled
集群時間同步：同步時間每天的00:01，同步日志存放在/opt/systime.log
Vim systime.sh
#!/bin/sh
Cur=’date +%H:%M:%S’
Echo “sync time starting : $Cur”
for i in {1..5}; do echo s1-hx${i}; ssh hx${i} “source /opt/profile; date –s $ Cur”;done;
Echo “sync time starting : $Cur”
在/etc/目錄下使用：crontab –e
輸入 ：1 0 * * * /etc/systime.sh >>/opt/systime.log （1 0 * * *中間有空格）
安裝jdk7
cd /usr/local/soft/
tar -zxvf jdk-7u65-linux-x64.tar.gz
vim /etc/profile
export JAVA_HOME=/usr/local/soft/jdk1.7.0_65
export PATH=.:$JAVA_HOME/bin:$PATH
安裝mysql
rpm -qa | grep -i mysql
rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
yum install mysql-server
service mysqld start
chkconfig mysqld on
mysql -uroot –p 此時mysql無密碼
set password=password('123456'); 設置密碼
flush privileges; 生效
exit 退出
mysql -uroot -p123456 登錄
如下數據庫只在s1節點上 ：
創建集群監控數據庫
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
創建hive數據庫
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
創建hue數據庫（cloudera提供的在瀏覽器上使用HDFS文件瀏覽、hiveSQL、Solr、Impala、Spark、Pig、Oozie、HBase操作、MapReduce、Sqoop2、ZooKeeper、MySQL、Oracle、Postgresql）
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
開啟遠程登錄權限：
在hx1節點上登陸mysql授權mysql對所有庫下的表授權，允許任何用戶遠程訪問
mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
Query OK, 0 rows affected (0.02 sec)
刷新權限使mysql權限生效
mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)
mysql> use mysql;
Database changed
mysql> select host,user,password from user;
+--------------+------+-------------------------------------------+
| host | user | password |
+--------------+------+-------------------------------------------+
| localhost | root | *A731AEBFB621E354CD41BAF207D884A609E81F5E |
| % | root | *A731AEBFB621E354CD41BAF207D884A609E81F5E | 表示成功
+--------------+------+-------------------------------------------+
2 rows in set (0.00 sec)
如果還是提示遠程登錄有問題 可暫時關閉遠程登錄表跳過權限驗證，啟動mysql時不啟動授權表：
mysqld_safe --skip-grant-tables &
配置免密碼登陸，每個節點都需要
ssh-keygen -t rsa（三次回車）
ll /usr/local/soft/
cloudera-manager-el6-cm5.4.3_x86_64.tar.gz
ll /usr/local/soft/
CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel
CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha
manifest.json
重命名：（mv CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha1 CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha）
安裝cloudera-manager-5.4.3
解壓cm-5.10.2到/opt下
tar -zxvf /usr/local/soft/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/
創建scm用戶（在每個節點上都要）
useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
vim /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
設置server_host=s1 （每個節點）
cp /usr/local/soft/mysql-connector-java-5.1.34-bin.jar /opt/cm-5.10.2/share/cmf/lib/
創建cm數據庫
/opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
#復制CDH到/opt/cloudera/parcel-repo/下（只在s1上復制，其他節點不需要）
CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel
CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha
manifest.json
復制到s2~s6節點
for i in {2..6}; do echo hx${i}; scp -r /opt/c* root@hx${i}:/opt/; done; (中途不可停止，否則刪除已拷貝節點文件重新執行)
啟動cm server（s1上）
/opt/cm-5.10.2/etc/init.d/cloudera-scm-server start(start|stop|status)
啟動cm agent（s1~s6上）
/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start(start|stop|status)
使用s1:7180中開始配置集群，如下：
登錄CDH平台賬號admin密碼admin
選擇需要安裝的版本
繼續
初次安裝需要在 新主機里面搜索主機 例如 hx[1-5] 然后選中所有主機
如圖：使用parcel（點擊更多選項取消點網絡連接地址）選擇CDH版本安裝（如有其它的parcel 可放置clodera/parcel/parcel-repo/下 [包括：.parcel、.parcel.sha、manifest.json] 文件）
等待各節點下載-分配-解壓-激活（如果出現各節點配置失敗 提示 主機狀態不良，可進行如下操作：
cloudera-scm-agent stop
cloudera-scm-server
搜索 uuid文件 ：find / -name uuid 進入對應的目錄一般為 /opt/cm-5-10-2/lib/cloudera-scm-agent
刪除目錄下的 uuid 、response.avro 、cm_guid（每個節點都需要清除）
）
此地的檢查可以忽略
查看主機安裝信息，可將具體的版本記錄以備后期開發參照
更改swappiness: echo 10 > /proc/sys/vm/swappiness
如果有提示 透明大頁面壓縮根據提示操作即可
選擇需要安裝的組件 對組件進行相應的分配:
根據前期創建的是數據庫填寫對應的數據庫主機地址-庫類型-庫名-用戶-密碼
忽略繼續
根據安裝進度查看相應的日志：解決相應的問題
同上
安裝完成：
安裝過程中的問題：
CentOS下MySQL無法正常啟動錯誤
一、非正常關機/退出MySQL時報錯：/var/lib/mysql/mysql.sock
刪除或重命名：rm -r /var/lib/mysql/mysql.sock或mv /var/lib/mysql/mysql.sock /var/lib/mysql/mysql.sock.err
重啟MySQL：service mysqld restart即可解決。
二、告警提示：客戶端生成需要激活以下其他parcel :[kafka]
這是安裝包里面沒有相應的安裝包，或者是manifest.json 沒有對應的hash密鑰
查看cloudera/parcel-repo/manifest.json是否存在對應組件，如果沒有就自行下載組件
KAFKA-2.1.0-1.2.10.po.115-e16.parcel、
KAFKA-2.1.0-1.2.10.po.115-e16.parcel.parcel.sha、
manifest.json 將文件內對應版本的hash密鑰拷貝到cloudera/parcel-repo/manifest.json下
啟動cm服務，檢查更新parcel，分配並激活percel包，注意此處一定要激活才能使用
三、hdfs:運行狀態問題 NameNode 運行狀態 NameNode 檢查點狀態 爆紅
查看日志 可以看到 提示 Can’t open /opt/cm-5.10.2/run/choudera-scm/agent/process/141-hdfs-NAMENODE/config.zip:權限不夠以及proc.json 權限不夠。
賦權限：chmod 777 config.zip proc.json 即可
四、告警提示：permission denied : user=root ,access =write , inode=”user”:hdfs:supergroup:drwxr-xr-x
查看hdfs目錄權限：hadoop fs –ls /
更改權限 sduo –u hdfs hadoop fs –chmod -R 777 /user /tmp
五Hadoop0.20.203.0在關機重啟后，namenode啟動報錯(org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /dfs/name is in an inconsistent state: storage directory does not exist or
is not accessible.）
錯誤原因是因為namenode 的是數據丟失
可以格式化namenode :Hadoop namenode –format（慎用）
六 flume 提示 java.lang.OutOfMemoryError: Java heap space
查看ps –ef |grep flume-ng是fo否有/usr/jdk/bin/java -Xmx20m -Dflume.root.logger=INFO
如果有-Xmx20m 查找一下flume-ng文件
Find / -name flume-ng (查看此文件的位置) 在文中找到 JAVA_OPTS修改為
JAVA_OPTS=“-Xmx1024m”
·