參考:
yum方式擴容:
https://www.cnblogs.com/yinzhengjie/articles/11104776.html
二進制包方式擴容:
https://www.cnblogs.com/yinzhengjie/articles/11102924.html
CDH5.12擴容
https://blog.51cto.com/flyfish225/2118098
1/ 加入host前准備
a. 在CM服務器上:
改hostname, 並加到/etc/hostname:
hostname xx
>/etc/hostname
echo "xx" >/etc/hostname
cat /etc/hostname
改cm的/etc/hosts, 推到每個hosts
可用ansible-playbook hosts_copy.yml #腳本在CDH6.2擴容ansible腳本/hosts_copy.yml,注意改腳本中hosts的范圍
---
- hosts: client
tasks:
- name: copy /etc/hosts to client hosts
copy:
src: "/etc/hosts"
dest: "/etc/hosts"
force: yes
backup: yes
從CM到新節點的免密
b. 節點服務器:
優化: ucloud的話只做透明大頁就可以了 , 腳本在CDH6.2擴容ansible腳本big_page1.yml
https://www.cnblogs.com/hongfeng2019/p/11271915.html
ansible newclient -m shell -a "echo never > /sys/kernel/mm/transparent_hugepage/defrag"
ansible newclient -m shell -a "echo never > /sys/kernel/mm/transparent_hugepage/enabled"
如果用的ufile還需要傳ufile配置文件,腳本在CDH6.2擴容ansible腳本ufile_config.yml
#這個在加完節點以后做
還需要傳ufile的jar包,腳本在CDH6.2擴容ansible腳本ufile_jar.yml
#如果網絡環境好的話,這步可以略過,CDH6.2支持在線安裝JDK和agent
安裝配置和CM一樣的JDK環境
安裝agent並啟用
2/ 查看數據庫原有節點
use scm;
show tables;
SELECT * FROM HOSTS;
mysql> select * from HOSTS;
+---------+-------------------------+--------------------------------------+----------------------------+----------------+----------+--------+---------------------+-------------------+--------------------+------------+-----------+----------------------+-------------+-------------------+----------------+
| HOST_ID | OPTIMISTIC_LOCK_VERSION | HOST_IDENTIFIER | NAME | IP_ADDRESS | RACK_ID | STATUS | CONFIG_CONTAINER_ID | MAINTENANCE_COUNT | DECOMMISSION_COUNT | CLUSTER_ID | NUM_CORES | TOTAL_PHYS_MEM_BYTES | PUBLIC_NAME | PUBLIC_IP_ADDRESS | CLOUD_PROVIDER |
+---------+-------------------------+--------------------------------------+----------------------------+----------------+----------+--------+---------------------+-------------------+--------------------+------------+-----------+----------------------+-------------+-------------------+----------------+
| 1 | 7 | 3f195fb0-1188-4269-b03a-256bf5e38cd8 | zhep-opay-temp-1.novalocal | 195.189.142.89 | /default | NA | 1 | 0 | 0 | 1 | 8 | 67387305984 | NULL | NULL | NULL |
| 2 | 7 | aaf4c239-43a2-4c29-b1ad-6003f2c2df41 | zhep-opay-temp-2.novalocal | 195.189.142.83 | /default | NA | 1 | 0 | 0 | 1 | 8 | 33566556160 | NULL | NULL | NULL |
| 3 | 7 | d3883094-032f-4d25-80a2-9253cf9f39e4 | zhep-opay-temp-3.novalocal | 195.189.142.86 | /default | NA | 1 | 0 | 0 | 1 | 8 | 33566556160 | NULL | NULL | NULL |
| 4 | 7 | 237a4360-b29f-4058-9ec0-ba1cded874bf | zhep-opay-temp-4.novalocal | 195.189.142.88 | /default | NA | 1 | 0 | 0 | 1 | 8 | 33566547968 | NULL
3/ 在CM管理界面上點擊主機:
點添加主機
選擇你要加的集群:
由於做了免密,上面會掃描出要新添加的主機:
選安裝JDK和JDK認證
#JDK如果裝了,可以跳過,最好選由CM安裝
上傳SSH私鑰:
#自動安裝agent#
#Install Parcels里如果有自己的yum, 填自己的地址,沒有用公網的
主機檢測可能要1分鍾
#主機模板選無,完成后再去CM添加
#也可建一個base-role的,選一些基礎的角色
最后點完成
恭喜您,在cm界面已看到新加的節點:
完成后,調整主機模板:注意Balancer角色一個集群有一個就行了。JobHistory Server只有一個。JournalNode有三個了也可以不用
節點添加下面基本角色就可以了:
選擇主機,應用上面編輯好的主機模板:
#如果用ufile的還需要在新節點配jar包:
https://www.cnblogs.com/hongfeng2019/p/11284616.html
遇到的坑:
CDH上新節點hive服務裝不上,但節點上hive命令行正常
mkdir -p /etc/hive/auxlib
tailf cloudera-scm-server.log 看報錯也沒有什么有用的信息,只是說hive服務失敗
沒有目錄,在節點上建立一個,重啟成功
mkdir -p /etc/hive/auxlib