CMDB和運維自動化

2018-05-05

1. IT運維的分類
2. 傳統運維痛點
3. 自動化運維平台的特性
4. 資產管理系統（CMDB）
   1. CMDB包含的功能
   2. CMDB實現的四種方式

---

IT運維的分類

IT運維，指的是對已經搭建好的網絡，軟件，硬件進行維護。運維領域也是細分的，有硬件運維和軟件運維

• 硬件運維主要包括對基礎設施的運維，比如機房的設備，主機的硬盤，內存這些物理設備的維護
• 軟件運維主要包括系統運維和應用運維，系統運維主要包括對OS，數據庫，中間件的監控和維護，這些系統介於設備和應用之間，應用運維主要是對線上業務系統的運維

這里討論的主要是軟件運維的自動化，包括系統運維和應用運維的自動化

傳統運維痛點

• 日常工作繁瑣

日常運維工作是比較繁瑣的，研發同學會經常需要到服務器上查日志，重啟應用，或者是說今天上線某個產品，需要部署下環境。這些瑣事是傳統運維的大部分工作

• 應用運行環境不統一

在部署某應用后，應用不能訪問，就會聽到開發人員說，在我的環境運行很好的，怎么部署到測試環境后，就不能用了，因為各類環境的類庫不統一
還有一種極端情況，運維人員習慣不同，可能憑自己的習慣來安裝部署軟件，每種服務器上運行軟件的目錄不統一

• 運維及部署效率低下

  想想運維人員需要登陸到服務器上執行命令，部署程序，不僅效率很低，並且非常容易出現人為的錯誤，一旦手工出錯，追溯問題將會非常不容易

• 無用報警信息過多

  經常會收到很多報警信息，多數是無用的報警信息，造成運維人員經常屏蔽報警信
  另外如果應用的訪問速度出了問題，總是需要從系統、網絡、應用、數據庫等一步步的查找原因

• 資產管理和應用管理混亂

  資產管理，服務管理經常記錄在excel、文本文件或者wiki中，不便於管理，老員工因為比較熟，不注重這些文檔的維護，只有靠每次有新員工入職時，資產才能夠更正一次

自動化運維平台的特性

針對傳統運維的痛點，我們可以知道自動化運維需要支持哪些功能

運維自動化最重要的就是標准化一切

• OS的選擇統一化，同一個項目使用同樣的OS系統部署其所需要的各類軟件
• 軟件安裝標准化，例如JAVA虛擬機，php，nginx，mysql等各類應用需要的軟件版本，安裝目錄，數據存放目錄，日志存放目錄等
• 應用包目錄統一標准化，及應用命名標准化
• 啟動腳本統一目錄和名字，需要變化的部分通過參數傳遞
• 配置文件標准化，需要變化的部分通過參數傳遞
• 日志輸出，日志目錄，日志名字標准化
• 應用生成的數據要實現統一的目錄存放
• 主機/虛擬機命名標准化，虛擬機管理使用標准化模板
• 使用docker比較容易實現軟件運行環境的標准化

資產管理系統（CMDB）

CMDB是所有運維工具的數據基礎

CMDB包含的功能

1. 用戶管理，記錄測試，開發，運維人員的用戶表
2. 業務線管理，需要記錄業務的詳情
3. 項目管理，指定此項目用屬於哪條業務線，以及項目詳情
4. 應用管理，指定此應用的開發人員，屬於哪個項目，和代碼地址，部署目錄，部署集群，依賴的應用，軟件等信息
5. 主機管理，包括雲主機，物理機，主機屬於哪個集群，運行着哪些軟件，主機管理員，連接哪些網絡設備，雲主機的資源池，存儲等相關信息
6. 主機變更管理，主機的一些信息變更，例如管理員，所屬集群等信息更改，連接的網絡變更等
7. 網絡設備管理，主要記錄網絡設備的詳細信息，及網絡設備連接的上級設備
8. IP管理，IP屬於哪個主機，哪個網段, 是否被占用等

CMDB實現的四種方式

• Agent實現方式

Agent方式，可以將服務器上面的Agent程序作定時任務，定時將資產信息提交到指定API錄入數據庫

其本質上就是在各個服務器上執行subprocess.getoutput()命令，然后將每台機器上執行的結果，返回給主機API，然后主機API收到這些數據之后，放入到數據庫中，最終通過web界面展現給用戶

優點：速度快
缺點：需要為每台服務器部署一個Agent程序

---

• ssh實現方式 （基於Paramiko模塊）

中控機通過Paramiko（py模塊）登錄到各個服務器上，然后執行命令的方式去獲取各個服務器上的信息

優點：無Agent 缺點：速度慢

如果在服務器較少的情況下，可應用此方法

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

import paramiko   # 創建SSH對象 ssh = paramiko.SSHClient() # 允許連接不在know_hosts文件中的主機 ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) # 連接服務器 ssh.connect(hostname= 'c1.salt.com', port= 22, username= 'root', password= '123')   # 執行命令 stdin, stdout, stderr = ssh.exec_command( 'df') # 獲取命令結果 result = stdout.read()   # 關閉連接 ssh.close()

---

• saltstack方式

此方案本質上和第二種方案大致是差不多的流程，中控機發送命令給服務器執行。服務器將結果放入另一個隊列中，中控機獲取將服務信息發送到API進而錄入數據庫。

優點：快，開發成本低 缺點：依賴於第三方工具

salstack的安裝和配置

1.安裝和配置

點擊顯/隱

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

master端： """ 1. 安裝salt-master yum install salt-master 2. 修改配置文件：/etc/salt/master interface: 0.0.0.0 # 表示Master的IP 3. 啟動 service salt-master start """   slave端： """ 1. 安裝salt-minion yum install salt-minion   2. 修改配置文件 /etc/salt/minion master: 10.211.55.4 # master的地址 或 master: - 10.211.55.4 - 10.211.55.5 random_master: True   id: c2.salt.com # 客戶端在salt-master中顯示的唯一ID 3. 啟動 service salt-minion start """

2.授權

1 2 3 4 5 6

""" salt-key -L # 查看已授權和未授權的slave salt-key -a salve_id # 接受指定id的salve salt-key -r salve_id # 拒絕指定id的salve salt-key -d salve_id # 刪除指定id的salve   """ 如果經過以上配置，在授權時仍查看不到其他主機，可能有以下原因： 1、minion主機名和配置文件主機名不一致 　　命令：hostname  >/etc/salt/minion_id    2、master主機或minion主機selinux未永久關閉 　　命令：vim /etc/sysconfig/selinux 　　# 查看 SELINUX=disabled  這個參數是否為disabled 　　# 如果不是，設置為disabled 3、master主機或minion主機防火牆未關閉 　　命令：systemctl disable firewalld.service   # 開機不啟動防火牆

3.執行命令

在master服務器上對salve進行遠程操作

1	salt 'c2.salt.com' cmd.run 'ifconfig'

基於API的方式

1 2 3

import salt.client local = salt.client.LocalClient() result = local.cmd( 'c2.salt.com', 'cmd.run', [ 'ifconfig'])

參考安裝：
http://www.cnblogs.com/tim1blog/p/9987313.html
https://www.jianshu.com/p/84de3e012753

• Puppet（ruby語言開發）（了解）

每隔30分鍾，通過RPC消息隊列將執行的結果返回給用戶

AES介紹

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

from Crypto.Cipher import AES def encrypt(message): key = b'dfdsdfsasdfdsdfs' cipher = AES.new(key, AES.MODE_CBC, key) ba_data = bytearray(message,encoding= 'utf-8') v1 = len(ba_data) v2 = v1 % 16 if v2 == 0: v3 = 16 else: v3 = 16 - v2 for i in range(v3): ba_data.append(v3) final_data = ba_data.decode( 'utf-8') msg = cipher.encrypt(final_data) # 要加密的字符串，必須是16個字節或16個字節的倍數 return msg   # ############################## 解密 ############################## def decrypt(msg): from Crypto.Cipher import AES key = b'dfdsdfsasdfdsdfs' cipher = AES.new(key, AES.MODE_CBC, key) result = cipher.decrypt(msg) # result = b'\xe8\xa6\x81\xe5\x8a\xa0\xe5\xaf\x86\xe5\x8a\xa0\xe5\xaf\x86\xe5\x8a\xa0sdfsd\t\t\t\t\t\t\t\t\t' data = result[ 0:-result[ -1]] return str(data,encoding= 'utf-8')   msg = encrypt( '你好好愛好愛好sss')   res = decrypt(msg)   print(res)

字符串格式化函數

1 2 3 4 5

String.prototype.format = function(args){ return this.replace( /\{(\w+)\}/g, function(s, i){ return args[i]; }); };