CDH5.13.3安裝手冊


 

 Server端需要打開端口 7180 7182

選址正確的版本,cdh版本不要高於cm版本

 

CM下載地址

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz

CDH下載地址

http://archive.cloudera.com/cdh5/parcels/5.13.3/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel

http://archive.cloudera.com/cdh5/parcels/5.13.3/CDH-5.13.3-1.cdh5.13.3.p0.2-el7.parcel.sha1

http://archive.cloudera.com/cdh5/parcels/5.13.3/manifest.json

 

 

 

安裝JAVA環境

 

 

 

關閉防火牆以及selinux

 

配置NTP服務(雲主機一般不用管 除非配置單獨的ntp)

 

設置swap空間

Cloudera建議將交換空間設置為0,過多的交換空間會引起GC耗時的激增,所以還是關閉的為好。)

執行命令 (所有節點)

echo "vm.swappiness = 0" >> /etc/sysctl.conf

執行命令 (所有節點)

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

 

安裝mysql

安裝文件下載目錄:/opt/software/mysql

數據庫保存位置:/opt/software/mysql/datamysql

日志保存位置:/opt/software/mysql/logmysql

Mysql 下載 https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.25-el7-x86_64.tar

解壓縮到/usr/local/ 目錄下

tar -xf mysql-5.7.25-el7-x86_64.tar  /usr/local/

cd /usr/local

tar -zxvf ./mysql-5.7.25-el7-x86_64.tar.gz

 mv ./mysql-5.7.25-el7-x86_64 ./mysql

7.2 創建mysql用戶用戶組及目錄

Groupadd mysql

 useradd -r -s /sbin/nologin -g mysql mysql -d /usr/local/mysql

該用戶禁止shell登錄,同時修改用戶目錄權限

 cd /usr/local/mysql

 chown -R mysql

 chgrp -R mysql .

chown -R mysql:mysql /opt/software/mysql/datamysql 

chown -R mysql:mysql /opt/software/mysql/logmysql

7.3 初始化MYSQL

 /usr/local/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/opt/software/mysql/datamysql

 有報錯

 

這是因為缺少安裝包libaio和libaio-devel導致的不用緊張yum來幫忙

 yum install libaio*

再次報錯

 

這是卻少numactl這個時候如果是Centos

yum -y install numactl

就可以解決這個問題了

 

 

安裝成功 初始 密碼:r/TYl;FqW2Ll

 

再次執行

 /usr/local/mysql/bin/mysql_ssl_rsa_setup  --datadir=/opt/software/mysql/datamysql

有報錯先跳過

修改/etc/my.cnf

[client]

port = 3306

socket = /usr/local/mysql/mysql.sock


[mysql]

no-auto-rehash

default-character-set=utf8

[mysqld]

socket = /usr/local/mysql/mysql.sock

basedir = /usr/local/mysql

max_allowed_packet = 64M

datadir = /data/mysql

explicit_defaults_for_timestamp = true

skip-ssl

secure-file-priv = NULL

lower_case_table_names = 1

back_log = 300

max_connections = 3000

max_connect_errors = 100

table_open_cache = 4096

external-locking = FALSE

max_allowed_packet = 64M

sort_buffer_size = 32M

join_buffer_size = 32M

thread_cache_size = 16

query_cache_size = 128M

query_cache_limit = 4M

thread_stack = 512K

transaction_isolation = REPEATABLE-READ

tmp_table_size = 128M

max_heap_table_size = 128M

character-set-server=utf8

long_query_time = 6

slow_query_log_file=/opt/software/mysql/logmysql/slow.log


[mysqld_safe]

open-files-limit = 8192

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

 

拷貝修改啟動文件

cp /usr/local/mysql/support-files/mysql.server  /etc/init.d/mysql

修改

7.4 運行mysql

啟動mysql /etc/init.d/mysql restart

有報錯可以看

/opt/software/mysql/datamysql/presto4.err

 

/usr/local/mysql/bin/mysql --user=root -p

r/TYl;FqW2Ll

 

7.5

依次輸入以下命令:

mysql> set password=password(‘N$nIpms1’);  --修改密碼

mysql>grant all privileges on *.* to 'root'@'%' identified by 'N$nIpms1';--允許遠程訪問

mysql> flush privileges;--刷新授權表

創建CM用的數據庫:

--hive數據庫 

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci ;

--集群監控數據庫

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci ;

--hue數據庫

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

-- oozie數據庫

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;


7.5 配置文檔以便啟動

Vim /etc/profile

export PATH=/usr/local/mysql/bin:$PATH

 

Source /etc/profile

 systemctl  enable  mysql

 

chmod 755 /etc/init.d/mysql

 

 

 安裝Cloudera Manager Server和 Agent

cd /opt/cdh

tar -zxvf cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz

 

這里開始我們的cm需要與mysql進行交互,所以首先需要去MySql的官網下載JDBC驅動,http://dev.mysql.com/downloads/connector/j/,解壓后找到mysql-connector-java-5.1.**-bin.jar,放到/opt/cm-5.12.1/share/cmf/lib/中,不多贅述。

 

  mv ./mysql-connector-java-5.1.40-bin.jar  /opt/cdh/cm-5.13.3/share/cmf/lib/



8.2 在主節點初始化CM5的數據庫:

/opt/cdh/cm-5.13.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p’N$nIpms1’ --scm-host localhost scm scm scm

 

有報錯 注意引號是中文的引號還是英文的

 

修改文件/opt/cdh/cm-5.13.3/etc/cloudera-scm-agent/config.ini

 

Serverserver也要做免密

 

Cd /opt/cdh

Tar -zcvf cm-5.13.3.gz cm-5.13.3 (這里注意 一定要先考過到其他主機才能啟動,因為啟動(agent)會生成一個uuid,如果先啟動再來拷貝就會出現 界面安裝的時候只能識別到一台主機,並且這個主機的IP hostname一直在變化的情況,因為三台主機公用一個UUID造成的,不過不小心先啟動了agent  需要的目錄里面cd /opt/cm-5.13.3/lib/cloudera-scm-agent  刪除這下面的所有然后重啟)

把包文件包拷貝到其他兩台機器

Scp ./cm-5.13.3.gz presto2:/opt/cdh

Scp ./cm-5.13.3.gz presto3:/opt/cdh

解壓

然后新增用戶

useradd --system --home=/opt/cdh/cm-5.13.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

修改文件屬性

chown -R  cloudera-scm:cloudera-scm /opt/cdh/

 

 

 

8.3 准備Parcels,用以安裝CDH5

將我們提前下載好的Parcels文件上傳到主節點的/opt/cdh/cloudera/parcel-repo/目錄中(如果沒有parcel-repo需要手動創建,這里不需要分發到所有節點)。

 

注意!!最后一定要將CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1,重命名為CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha,去掉末尾的1,否則系統會重新下載CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel文件,也就不是純離線安裝了。

Cd /opt/cdh

cp ./CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel* /opt/cdh/cloudera/parcel-repo/

cp ./manifest.json  /opt/cdh/cloudera/parcel-repo/

Cd /opt/cdh/cloudera/parcel-repo/

mv CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel

 

8.4啟動服務端客戶端

通過/opt/cdh/cm-5.13.3/etc/init.d/cloudera-scm-server start啟動服務端。

通過/opt/cdh/cm-5.13.3/etc/init.d/cloudera-scm-agent start啟動Agent服務(所有Agent節點)。

以上我們是通過腳本來啟動的,所以需要停止服務的時候,只需要把以上的start參數改為stop就可以啦。

service服務啟動需要幾分鍾,取決於服務器的性能,此時我們可以使用

netstat -apn|grep 7180

 

 

啟動成功但是又2個報錯

mkdir /var/lib/cloudera-scm-server

chown -R cloudera-scm.cloudera-scm /var/lib/cloudera-scm-server

重啟

 

正常

 

啟動agent

/opt/cdh/cm-5.13.3/etc/init.d/cloudera-scm-agent start

有報錯

 

打開7180 7182端口

 

8.5 頁面配置

 

賬號密碼默認為admin

 

 

 

 

如果前面配置正確,這里應該有三台設備

 

 

 

 

 

 

 

對於圖上的報錯,是因為沒有把parcels文件放在默認的目錄下

點擊更多選項

 

還是不行,直接重啟server搞定(貌似必須重啟)

 

 

 

 

集群安裝

 

 

 

 

 

 

 

安裝HIVE有報錯

 

 wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip

unzip mysql-connector-java-5.1.46.zip

 

Cp ./mysql-connector-java-5.1.46.jar  /opt/cloudera/parcels/CDH-5.13.3-1.cdh5.13.3.p0.2/lib/hive/lib

注意一定還要拷貝到/usr/share/hive/mysql-connector-java.jar 下面,需要改名(去掉版本后綴)

Cp ./mysql-connector-java-5.1.46.jar  /usr/share/hive/mysql-connector-java.jar

 

Oozie也報錯

 

Cp mysql-connector-java.jar  /var/log/oozie  這里位置不同。要注意

 

 

 

 

Hue報錯

ImportError: libxslt.so.1: cannot open shared object file: No such file or directory

 

 

 

yum install libxslt

 

 

 

頁面發現 報錯

'No portmap or rpcbind service is running on this host. Please start portmap or rpcbind service before attempting to start the NFS Gateway role on this host.'

 

 

 

 yum install rpcbind.x86_64

啟動

systemctl start rpcbind

 

集群配置

 

 

報錯:如果出現 服務通信正常 但是主機異常

不良 : 該主機已與 Cloudera Manager Server 建立聯系。 該主機未與 Host Monitor 建立聯系。

很有可能是hosts 有某個主機沒有配置對,centos6.x的主機需要配置、/etc/sysconfig/network

 

另外推薦一個6.1.0的安裝博客  https://blog.51cto.com/wzlinux/2321433

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM