CDH6.2擴容


參考:

yum方式擴容:

https://www.cnblogs.com/yinzhengjie/articles/11104776.html

二進制包方式擴容:

https://www.cnblogs.com/yinzhengjie/articles/11102924.html

CDH5.12擴容

https://blog.51cto.com/flyfish225/2118098

 

1/ 加入host前准備

a. 在CM服務器上:

改hostname, 並加到/etc/hostname:

hostname  xx

>/etc/hostname

echo "xx"  >/etc/hostname

 cat /etc/hostname

 

改cm的/etc/hosts, 推到每個hosts

可用ansible-playbook  hosts_copy.yml     #腳本在CDH6.2擴容ansible腳本/hosts_copy.yml,注意改腳本中hosts的范圍

---
- hosts: client
  tasks:
    - name: copy /etc/hosts to client hosts
      copy:
        src: "/etc/hosts"
        dest: "/etc/hosts"
        force: yes
        backup: yes

從CM到新節點的免密

 

b. 節點服務器:

優化: ucloud的話只做透明大頁就可以了 , 腳本在CDH6.2擴容ansible腳本big_page1.yml

https://www.cnblogs.com/hongfeng2019/p/11271915.html

ansible newclient -m shell -a "echo never > /sys/kernel/mm/transparent_hugepage/defrag"
 ansible newclient -m shell -a "echo never > /sys/kernel/mm/transparent_hugepage/enabled"

如果用的ufile還需要傳ufile配置文件,腳本在CDH6.2擴容ansible腳本ufile_config.yml

 

#這個在加完節點以后做

還需要傳ufile的jar包,腳本在CDH6.2擴容ansible腳本ufile_jar.yml

 

#如果網絡環境好的話,這步可以略過,CDH6.2支持在線安裝JDK和agent

安裝配置和CM一樣的JDK環境

安裝agent並啟用

 

2/ 查看數據庫原有節點

use scm;

show tables;

SELECT * FROM HOSTS;

mysql> select * from HOSTS;

+---------+-------------------------+--------------------------------------+----------------------------+----------------+----------+--------+---------------------+-------------------+--------------------+------------+-----------+----------------------+-------------+-------------------+----------------+

| HOST_ID | OPTIMISTIC_LOCK_VERSION | HOST_IDENTIFIER                      | NAME                       | IP_ADDRESS     | RACK_ID  | STATUS | CONFIG_CONTAINER_ID | MAINTENANCE_COUNT | DECOMMISSION_COUNT | CLUSTER_ID | NUM_CORES | TOTAL_PHYS_MEM_BYTES | PUBLIC_NAME | PUBLIC_IP_ADDRESS | CLOUD_PROVIDER |

+---------+-------------------------+--------------------------------------+----------------------------+----------------+----------+--------+---------------------+-------------------+--------------------+------------+-----------+----------------------+-------------+-------------------+----------------+

|       1 |                       7 | 3f195fb0-1188-4269-b03a-256bf5e38cd8 | zhep-opay-temp-1.novalocal | 195.189.142.89 | /default | NA     |                   1 |                 0 |                  0 |          1 |         8 |          67387305984 | NULL        | NULL              | NULL           |

|       2 |                       7 | aaf4c239-43a2-4c29-b1ad-6003f2c2df41 | zhep-opay-temp-2.novalocal | 195.189.142.83 | /default | NA     |                   1 |                 0 |                  0 |          1 |         8 |          33566556160 | NULL        | NULL              | NULL           |

|       3 |                       7 | d3883094-032f-4d25-80a2-9253cf9f39e4 | zhep-opay-temp-3.novalocal | 195.189.142.86 | /default | NA     |                   1 |                 0 |                  0 |          1 |         8 |          33566556160 | NULL        | NULL              | NULL           |

|       4 |                       7 | 237a4360-b29f-4058-9ec0-ba1cded874bf | zhep-opay-temp-4.novalocal | 195.189.142.88 | /default | NA     |                   1 |                 0 |                  0 |          1 |         8 |          33566547968 | NULL    

 

3/ 在CM管理界面上點擊主機:

點添加主機

 

選擇你要加的集群:

 

 由於做了免密,上面會掃描出要新添加的主機:

 

選安裝JDK和JDK認證

 

 

#JDK如果裝了,可以跳過,最好選由CM安裝

上傳SSH私鑰:

 

#自動安裝agent#

#Install Parcels里如果有自己的yum, 填自己的地址,沒有用公網的

主機檢測可能要1分鍾

#主機模板選無,完成后再去CM添加

#也可建一個base-role的,選一些基礎的角色

 

 最后點完成

恭喜您,在cm界面已看到新加的節點:

 

完成后,調整主機模板:注意Balancer角色一個集群有一個就行了。JobHistory Server只有一個。JournalNode有三個了也可以不用

節點添加下面基本角色就可以了:

 

 

 

 

 選擇主機,應用上面編輯好的主機模板:

 

#如果用ufile的還需要在新節點配jar包:

https://www.cnblogs.com/hongfeng2019/p/11284616.html

 

 

遇到的坑:

CDH上新節點hive服務裝不上,但節點上hive命令行正常

mkdir -p /etc/hive/auxlib

tailf cloudera-scm-server.log  看報錯也沒有什么有用的信息,只是說hive服務失敗

沒有目錄,在節點上建立一個,重啟成功

mkdir -p /etc/hive/auxlib

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM