centos7 部署 open-falcon 0.2.1

本文轉載自查看原文 2019-04-29 00:04 1267 監控系統/ Linux/ Centos/ Open-Falcon

===============================================

2019/4/28_第1次修改 ccb_warlock

更新說明：

2019/4/29：調整防火牆的配置內容

===============================================

距離上次整理open-falcon的部署手冊（https://www.cnblogs.com/straycats/p/7199209.html）已經一年多了，當時才剛接觸linux，很多東西整理的並不是很合理（比如一些操作的描述），一些部署的內容也不是很嚴謹（比如如何實現開機自啟）。

正好最近在做監控系統的選型，open-falcon又被我拿出來作為試驗的目標。介於后來0.2.1與0.2.0的一些部署上的差異，我決定重新針對0.2.1整理一份部署手冊，供路人一起參考。

由於新文檔變更了之前文檔的一些部署路徑及配置內容，建議基礎能力還不是很強的同學可以忽略我17年整理的0.2.0版本的部署手冊，直接看這份手冊。

部署一套系統之前，首先關注整個架構，這里直接把官方的圖盜過來。

一、環境准備

操作系統：centos 7.6（www.centos.org下載的包是CentOS-7-x86_64-Minimal-1810.iso）

虛擬機IP：192.168.12.55

1.1 配置防火牆

# 為了方便可以選擇直接關閉防火牆

systemctl stop firewalld
systemctl disable firewalld

當然如果你需要開啟防火牆，那么開放幾個業務上需要開放的端口。

服務模塊	功能	端口
hbs	連接所有agent的心跳服務	6030
transfer	接收agent發送的監控數據	8433
dashboard	頁面	8081

# 開放端口6030、8433、8081，允許任意IP訪問

firewall-cmd --add-port=6030/tcp --permanent
firewall-cmd --add-port=8433/tcp --permanent
firewall-cmd --add-port=8081/tcp --permanent

# 重新加載防火牆配置

firewall-cmd --reload

1.2 安裝wget、vim

yum install -y wget vim

1.3 安裝git

yum install -y git

安裝結束后，確認是否滿足官方要求的Git >= 1.7.5

git version

1.4 安裝golang

# 通過fedora的epel倉庫來安裝golang

yum install -y epel-release
yum install -y golang

安裝結束后，確認是否滿足官方要求的Go >= 1.6

go version

1.5 安裝redis

# 通過fedora的epel倉庫來安裝redis

yum install -y epel-release
yum install -y redis

# 啟動、開機啟動redis

systemctl start redis
systemctl enable redis

1.6 安裝mysql 5.6

# 獲取repo源

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

# 安裝該rpm包

rpm -ivh mysql-community-release-el7-5.noarch.rpm

# 安裝mysql

yum install -y mysql-server

# 啟動mysql

systemctl start mysql

PS.通過這種方式的mysql是默認開機啟動的。

1.7 設置臨時變量（臨時生效的變量，換一個會話（shell終端）這個變量就沒有了）

export GOROOT=/usr/lib/golang
export GOPATH=/opt/git

1.8 從github上拉取后端（open-falcon）的源碼

# 創建存放源碼文件的目錄

mkdir -p $GOPATH/src/github.com/open-falcon

# 進入該目錄

cd $GOPATH/src/github.com/open-falcon

# 拉取源碼

git clone https://github.com/open-falcon/falcon-plus.git

PS.通過git clone經常龜速，所以可以通過本地獲取源碼后，將源碼文件上傳到/opt/git/src/github.com/open-falcon/falcon-plus目錄下。

1.9 初始化數據庫

# 進入目錄

cd $GOPATH/src/github.com/open-falcon/falcon-plus/scripts/mysql/db_schema

# 執行5個腳本初始化數據庫

mysql -h 127.0.0.1 -u root -p < 1_uic-db-schema.sql
mysql -h 127.0.0.1 -u root -p < 2_portal-db-schema.sql
mysql -h 127.0.0.1 -u root -p < 3_dashboard-db-schema.sql
mysql -h 127.0.0.1 -u root -p < 4_graph-db-schema.sql
mysql -h 127.0.0.1 -u root -p < 5_alarms-db-schema.sql

PS.在運行“mysql -h..................”時會提示“Enter password”，如果mysql的root沒有設置密碼，回車即可。

1.10 編譯后端的源碼並打包

# 進入目錄

cd $GOPATH/src/github.com/open-falcon/falcon-plus

# 編譯所有模塊

make all

PS.17年部署0.2.0時還需要手動獲取rrdtool工具包，現在（19年）的版本（0.2.1）試下來已經不用了.

# 打包

make pack

打包完成后，/opt/git/src/github.com/open-falcon/falcon-plus/目錄下多了剛才打的壓縮包“open-falcon-v0.2.1.tar.gz”（因為整理手冊的時候版本已經到了0.2.1）。

PS.官方也有提供編譯好的二進制包（https://book.open-falcon.org/zh_0_2/quick_install/prepare.html），如果編譯過程不順利可以直接下載。

二、部署后端

v0.2后端分為下面幾個服務模塊：

模塊	功能
alarm	alarm模塊是處理報警event的，judge產生的報警event寫入redis，alarm從redis讀取處理，並進行不同渠道的發送。
agent	agent用於采集機器負載監控指標，比如cpu.idle、load.1min、disk.io.util等等，每隔60秒push給Transfer。agent與Transfer建立了長連接，數據發送速度比較快，agent提供了一個http接口/v1/push用於接收用戶手工push的一些數據，然后通過長連接迅速轉發給Transfer
aggregator	集群聚合模塊。聚合某集群下的所有機器的某個指標的值，提供一種集群視角的監控體驗。
api	api模塊提供統一的restAPI操作接口。比如：api組件接收查詢請求，根據一致性哈希算法去相應的graph實例查詢不同metric的數據，然后匯總拿到的數據，最后統一返回給用戶。
gateway	沒有遇到機房分區問題，可以忽略此模塊。
graph	graph是存儲繪圖數據的組件。graph組件接收transfer組件推送上來的監控數據，同時處理api組件的查詢請求、返回繪圖數據。
hbs	HBS(Heartbeat Server)心跳服務器，公司所有agent都會連到HBS，每分鍾發一次心跳請求。
judge	用於告警判斷，agent將數據push給Transfer，Transfer不但會轉發給Graph組件來繪圖，還會轉發給Judge用於判斷是否觸發告警。
nodata	nodata用於檢測監控數據的上報異常。nodata和實時報警judge模塊協同工作，過程為: 配置了nodata的采集項超時未上報數據，nodata生成一條默認的模擬數據；用戶配置相應的報警策略，收到mock數據就產生報警。采集項上報異常檢測，作為judge模塊的一個必要補充，能夠使judge的實時報警功能更加可靠、完善。
task	task是監控系統一個必要的輔助模塊。定時任務，實現了如下幾個功能：index更新（包括圖表索引的全量更新和垃圾索引清理）、falcon服務組件的自身狀態數據采集（采集了transfer、graph、task這三個服務的內部狀態數據）、falcon自檢控任務
transfer	數據轉發服務。它接收agent上報的數據，然后按照哈希規則進行數據分片、並將分片后的數據分別push給graph&judge等組件。

2.1 設置臨時變量

# 設置后端工作目錄的環境變量（臨時生效的變量，換一個會話（shell終端）這個變量就沒有了）

export BACKSPACE=/opt/open-falcon/back

2.2 創建目錄

# 創建后端工作目錄

mkdir -p $BACKSPACE

2.3 解壓包

# 進入目錄

cd $GOPATH/src/github.com/open-falcon/falcon-plus

# 將“1.9 編譯源碼並打包”中的“open-falcon-v0.2.1.tar.gz”解壓到后端工作目錄(BACKSPACE)下。

tar -xzvf open-falcon-v0.2.1.tar.gz -C $BACKSPACE

2.4 修改配置文件cfg.json

如果需要每個模塊正常啟動，需要將下面每個模塊的cfg.json的數據庫信息進行修改。

根據本教程的配置，需要修改模塊如下：

模塊	配置文件所在路徑
aggregator	/opt/open-falcon/back/aggregator/config/cfg.json
graph	/opt/open-falcon/back/graph/config/cfg.json
hbs	/opt/open-falcon/back/hbs/config/cfg.json
nodata	/opt/open-falcon/back/nodata/config/cfg.json
api	/opt/open-falcon/back/api/config/cfg.json
alarm	/opt/open-falcon/back/alarm/config/cfg.json