騰訊藍鯨平台部署[5.1.29版本]

環境規划

服務器	用途	說明
172.21.152.107	node1	node1
172.21.152.108	node2	node2
172.21.152.109	node3	node3

配置域名: chenleilei.net

騰訊藍鯨平台部署

1. 環境准備

#1. 基礎優化
cat << EOF >> /etc/security/limits.conf
root soft nofile 102400
root hard nofile 102400
EOF

ulimit -SHn 655360
#報錯執行，不報錯不執行yum remove mysql-devel -y &&  yum install mysql-devel -y

#2. yum源優化
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos7_base.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.cloud.tencent.com/repo/epel-7.repo
yum clean all
echo "* * * * * ntpdate ntp.aliyun.com" >>/var/spool/cron/root 
systemctl restart crond.service

#3. 解析 
cat >/etc/hosts<<eof
::1         localhost   localhost.localdomain   localhost6      localhost6.localdomain6
127.0.0.1   localhost   localhost.localdomain   localhost4      localhost4.localdomain4
139.196.219.132 chenleilei.net
139.196.219.132 docs.chenleilei.net
139.196.219.132 o.chenleilei.net
139.196.219.132 t.chenleilei.net
139.196.219.132 cmdb.chenleilei.net job.chenleilei.net paas.chenleilei.net
eof


[nginx那台服務器作為對外訪問，所以 ]
172.21.152.107 nginx,appt,rabbitmq,kafka,zk,es,consul,fta
172.21.152.108 mongodb,appo,docs,kafka,zk,es,mysql,beanstalk,consul
172.21.152.109 paas,cmdb,job,gse,license,kafka,zk,es,redis,consul,influxdb,bkdata

##查看當前安裝了哪些
cat /data/bkce/.bk_install.step



###內存不足解決方案：
虛擬內存代替[會拖慢速度]：
dd if=/dev/zero of=/swapfile bs=1M count=10240
mkswap /swapfile
swapon /swapfile
echo 80 > /proc/sys/vm/swappiness
free -m

安裝包下載

mkdir /data/src -p
wget https://bkopen-1252002024.file.myqcloud.com/ce/38f7796/bkce_src-5.1.29.tar.gz
tar -xvf /data/bkce_src-5.1.29.tar.gz -C /data/

證書配置，環境檢查

1. 先獲取mac地址[ gse 服務器查看mac]  gse服務器 gse服務器 gse服務器 gse服務器
cat /sys/class/net/eth0/address
52:54:00:26:13:ce  <---- mac地址，注意，這個mac地址如果在集群部署，就必須是gse服務器所在的mac地址[巨坑]

2. 去騰訊雲粘貼mac地址 生成並下載證書
https://bk.tencent.com/download_ssl/

3. 解壓證書
把下載好的證書文件上傳到 /data 目錄
mkdir -p /data/src/cert/
tar -xvf /data/ssl_certificates.tar.gz -C /data/src/cert/

4. 避坑
 #yum remove mysql-devel -y && yum install mysql-devel -y
 
5. 避免http代理環境
# 檢查 http_proxy https_proxy 變量是否設置，若為空可以跳過后面的操作。
echo "$http_proxy" "$https_proxy"

6. 去除resolv.conf文件鎖
chattr -i /etc/resolv.conf

7. /etc/resolv.conf 文件第一條需要改為 本地
[root@node3 ~]# cat /etc/resolv.conf 
nameserver 127.0.0.1
options timeout:2 attempts:3 rotate single-request-reopen
; generated by /usr/sbin/dhclient-script
nameserver 100.100.2.136
nameserver 100.100.2.138

8. 免密配置
#免密[集群內所有機器需要完成免密配置]：
cd ~
ssh-keygen -f ~/.ssh/id_rsa -N ''
ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.21.152.107
ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.21.152.108
ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.21.152.109

9. 域名修改
[root@node1 ~]# cd /data/install/
[root@node1 install]# vim globals.env 
export BK_DOMAIN="chenleilei.net"          # 藍鯨根域名(不含主機名)
export PAAS_FQDN="paas.$BK_DOMAIN"       # PAAS 完整域名
export CMDB_FQDN="cmdb.$BK_DOMAIN"       # CMDB 完整域名
export JOB_FQDN="job.$BK_DOMAIN"         # JOB 完整域名

# 產品信息含義
#   PAAS    集成平台
#   CMDB    配置平台
#   JOB     作業平台
#   GSE     管控平台
#   BKDATA  數據平台


修改藍鯨配置參數:
vim /data/install/globals.env
修改  export BK_DOMAIN="bk.com"
改為  export BK_DOMAIN="chenleilei.net"

修改 [PAAS_ADMIN_PASS]對應密碼為  admin
export PAAS_ADMIN_PASS='admin'

10. 拷貝部署文件
cp /data/install/install.config.3ip.sample /data/install/install.config
改為：
[bkce-basic]
172.21.152.107 nginx,rabbitmq,kafka(config),zk(config),es,appt,fta,consul,bkdata(databus)
172.21.152.108 mongodb,appo,kafka(config),zk(config),es,mysql,consul,bkdata(dataapi),beanstalk
172.21.152.109 paas,cmdb,job,gse,license,kafka(config),zk(config),es,redis,influxdb,consul,bkdata(monitor)




10. 依賴源修改
vim /data/src/.pip/pip.conf
修改為以下：
[global]
index-url = http://mirrors.cloud.tencent.com/pypi/simple
trusted-host = mirrors.cloud.tencent.com

11. 檢查環境
cd /data/install
bash precheck.sh
[root@node1 install]# bash precheck.sh     # 注意mac地址問題，mac地址必須是gse服務器，cat /data/install/install.config 查看服務器規划
<<check_ssh_nopass>> has been checked successfully... SKIP
<<check_password>> has been checked successfully... SKIP
start <<check_cert_mac>> ... [OK]
start <<check_get_lan_ip>> ... [OK]
start <<check_install_config>> ... [OK]
start <<check_selinux>> ... [OK]
start <<check_umask>> ... [OK]
start <<check_rabbitmq_version>> ... [OK]
start <<check_http_proxy>> ... [OK]
start <<check_open_files_limit>> ... [OK]
start <<check_domain>> ... [OK]
start <<check_rsync>> ... [OK]
start <<check_service_dir>> ... [OK]
start <<check_networkmanager>> ... [OK]
start <<check_firewalld>> ... [OK]

安裝藍鯨

cd /data/install


#安裝pass平台
[root@node1 install]# ./bk_install paas


# 安裝配置平台及其依賴服務，該步驟完成后，可以打開配置平台，看到藍鯨業務及示例業務。
./bk_install cmdb

## 部署正式環境及測試環境
# 該步驟完成后可以在開發者中心的服務器信息和第三方服務信息中看到已經成功激活的服務器
# 同時也可以進行 SaaS 應用(除藍鯨監控和日志檢索)的上傳部署
./bk_install app_mgr

# 該步驟完成后，可以打開作業平台，並執行作業。同時在配置平台中可以看到藍鯨的模塊下加入了主機。
# 安裝作業平台及其依賴組件，並在安裝藍鯨的服務器上裝好 gse_agent 供驗證。
./bk_install job


# 安裝藍鯨數據平台基礎模塊及其依賴服務。安裝該模塊后，可以開始安裝使用 SaaS 應用: 藍鯨監控和日志檢索
    ./bk_install bkdata

# 安裝故障自愈的后台模塊及依賴其服務
# 安裝該模塊后，可以開始安裝使用 SaaS 應用: 故障自愈
./bk_install fta

# 重裝 gse_agent 並注冊正確的集群模塊到配置平台
# 執行完該操作后，可以在配置平台中看到主機按照 install.config 中的配置分布到對應拓撲下
./bk_install gse_agent

#部署官方 SaaS 到正式環境(通過命令行從 /data/src/official_saas/ 目錄自動部署 SaaS )
# 執行完該操作后，可以在藍鯨工作台看到並使用所有官方 SaaS
./bkcec install saas-o



如果沒有問題 這就部署完畢了可以打開頁面查看了
打開頁面檢查：
http://cmdb.chenleilei.net:10080/#/index

域名修改[端口修改]

在阿里雲部署過程中是不允許未備案域名進行80訪問，可以通過修改端口來實現
修改默認端口：
vim /data/install/ports.env
找到 export DEFAULT_HTTP_PORT=80
改為 export DEFAULT_HTTP_PORT=10080

#同步配置
 ./bkcec sync common


#執行nginx的安裝配置
./bkcec install nginx 1


#重啟nginx
./bkcec stop nginx
./bkcec start nginx


#檢查端口：
[root@node1 install]# netstat -lntup|grep nginx
tcp        0      0 0.0.0.0:10080           0.0.0.0:*               LISTEN      20731/nginx: master 

問題集合

1. 公網中無法訪問，需要修改端口
  1.1 修改默認端口：
  vim /data/install/ports.env
  找到 export DEFAULT_HTTP_PORT=80
  改為 export DEFAULT_HTTP_PORT=10080
  1.2 同步配置
   ./bkcec sync common
   #執行nginx的安裝配置
  ./bkcec install nginx 1
  1.3 重啟nginx
  ./bkcec stop nginx
  ./bkcec start nginx

2. ./bk_install cmdb parse cc response error 報錯：
[172.21.152.109]20201027-155659 81   parse cc response error
[172.21.152.109]20201027-155659 153   migrate failed for gse(server)
[172.21.152.107]20201027-155659 179   Abort
解決辦法：
  1.1 查看組件是否正常：
  ./bkcec status cmdb

 1.2 重新初始化cmdb
  ./bkcec initdata cmdb

預覽：

虛擬機部署內存不足解決方案

虛擬內存代替[會拖慢速度]：
dd if=/dev/zero of=/swapfile bs=1M count=8192
mkswap /swapfile
swapon /swapfile
echo 80 > /proc/sys/vm/swappiness
free -m

添加節點主機監控

確保已經做了ssh互信,否則無法添加