OpenFalcon-SuitAgent
項目地址:github
版本說明
本系統版本划分如下
- alpha:內部測試版(不建議使用於生產環境)
- beta:公開測試版(不建議使用於生產環境)
- final:最終正式版(可用於生產環境)
當前版本請查看pom.xml信息。
使用之前
- 此系統是和OpenFalcon監控系統一起使用,是為了更方便的進行運維監控。若不了解,可以先點擊鏈接去OpenFalcon的官方社區進行了解。
- 目前此系統僅支持類Unix系統下使用,不支持Windows系統
什么是SuitAgent
這是一個獲取各種系統的監控數據的Agent。
其中內置了OpenFalcon的社區組件:FalconAgent
,因所有的監控數據都必須要上報到FalconAgent
,所以為了部署方便和管理,SuitAgent
集成了FalconAgent
,若agent.falcon.push.url
配置為本地地址,則啟動時會同時啟動自帶的FalconAgent
,關閉時也會同時關閉FalconAgent
。
為什么有這個項目
OpenFalcon監控系統,是由一系列的組件構成。對於操作系統的監控,官方有FalconAgent,但是對於其他系統的監控,
都是使用腳本或者其他方式進行單獨采集,然后將數據上報給FalconAgent系統。
公司為了運維監控的方便和自動化,便有了這個項目,將系統的采集,集中在一個系統中,並且盡可能的采集便捷。
SuitAgent特點
- 自動探測部署機上的服務,自動監控
- 監控配置動態生效,無需重啟
- 能夠動態發現部署機上新啟動的服務
- 支持
Mock
接口功能,有自動化運維的公司,可利用此特性進行監控自動化開發 - 監控服務全部插件化實現,可自定義開發自己需求的監控服務的插件,只需要開發采集邏輯和插件運行配置。
SuitAgent
可自動發現插件,並根據配置自動運行,無需關心插件的啟動。
目前支持的監控服務
- Docker(包括Docker內的應用存活情況監控)
- ElasticSearch
- Http
- Logstash
- Mysql
- 交換機
- Ntp
- Oracle
- Ping
- Standalone Jar(Java通過java -jar xxx.jar運行的服務)
- Tcp
- Tomcat
- Zookeeper
SuitAgent編譯
構建工具:maven
Java版本:jdk 1.8
選擇對應的版本進行編譯:
- linux-64 : mvn clean package -Plinux-64 -Dmaven.test.skip=true
- linux64-noJar : mvn clean package -Plinux64-noJar -Dmaven.test.skip=true
- osx-noJar : mvn clean package -Posx-noJar -Dmaven.test.skip=true
編譯后,在target目錄下可看到編譯后的壓縮包,解壓縮,改改配置,即可使用
或者直接下載編譯后的文件,地址:
https://yunpan.cn/cMTHpgsQ3e5DV (提取碼:9f74)
版本說明:
- linux-64 : linux-64位自帶Jre運行環境。不需要目標系統安裝java
- osx-noJar : 蘋果系統。需要安裝java環境
- linux64-noJar : linux-64位系統。需要目標系統安裝個java環境
修改相關配置后,直接啟動SuitAgent
即可
建議:推薦編譯使用,因目前SuitAgent
尚在完善中,代碼和配置難免會有所變動。網盤中的文件不能保證隨時都是最新的。
SuitAgent配置
- FalconAgent配置文件(配置官方社區的FalconAgent)
- {SuitAgentHome}/conf/falcon/agent.cfg.json
- SuitAgent配置文件
- {SuitAgentHome}/conf/agent.properties
- 監控服務授權配置
- {SuitAgentHome}/conf/authorization.properties
- 監控服務插件配置
- {SuitAgentHome}/conf/plugin目錄下
SuitAgent相關命令
- 啟動:
./bin/agent.sh start
(使用root用戶)- 啟動日志查看
- 可通過
tail -f conf/console.log
觀察SuitAgent
的運行情況
- 可通過
- 啟動日志查看
- 關閉:
./bin/agent.sh stop
- 狀態:
/bin/agent.sh status
SuitAgent日志
- SuitAgent運行中的日志分為四種:
1、console(debug)
2、info
3、warn
4、error
每種日志均自動控制日志大小,每到5MB就自動進行日志分割,最多有10個同類文件。既所有的日志文件,最多只會達到200MB,無需擔心日志文件過於龐大。
監控數據上報
公有的Tag
跟OpenFalcon官方社區的思想一致,FalconAgent采集的系統監控信息(如內存,CPU等等一百多種)沒有任何tag信息
其他的業務系統的監控,都會打上tag。`SuitAgent`采集的系統,基本都是業務系統(非Linux操作系統監控信息),所以都會有對應的Tag
-
tag來區分服務
例如:
service
={value} :(內建)服務產品名,如tomcatservice.type
={value} :(內建)監控服務類型,如jmx,databaseagentSignName
={value} :(內建)agent提供的標識字符串,如 allUnVariability(代表該服務SuitAgent啟動時就不存在),標識服務的占用端口號,服務名等。metrics.type
={value} :(內建)監控值類型,如availability,jmxObjectConf,jmxObjectInBuild,httpUrlConf,sqlConf,sqlInBuild,snmpConnomInBuild,snmpPluginInBuild -
可用性(
availability
)會自動打上標簽:metrics.type
=availability,service
={value} -
若某個服務有自定義的endPoint(如SNMP V3),則會加上
customerEndPoint=true
的tag -
Tomcat
監控值會打上dir={dirName}
的tag,方便同一個物理機啟動多個tomcat時,更好的識別具體的tomcat
SuitAgent Plugin 說明
SuitAgent所有的監控服務都是插件式開發集成
如何自定義插件開發
SuitAgent
支持的插件一共以下幾種:
- JDBC的監控服務,實現
com.yiji.falcon.agent.plugins.JDBCPlugin
接口 - JMX的監控服務,實現
com.yiji.falcon.agent.plugins.JMXPlugin
接口 - SNMP V3的監控服務,實現
com.yiji.falcon.agent.plugins.SNMPV3Plugin
接口 - 探測監控服務,實現
com.yiji.falcon.agent.plugins.DetectPlugin
接口
若要開發自己的監控服務,想好自己的監控服務是哪種類型,參照SuitAgent
目前已實現的插件結構,
在包com.yiji.falcon.agent.plugins.plugin
下建立自己的插件目錄,將插件類放在該目錄中,
然后根據規則,在src/main/resources_ext/conf/plugin/
目錄下建立自己的插件配置文件即可。
SuitAgent目前集成的監控服務
JMX監控服務
特殊的metrics說明
- 若SuitAgent在啟動時,需要進行監控的服務(對應的work配置為true的)未啟動,則將會上報一個名為`allUnVariability`的metrics監控指標,值為`0`。tag中有metrics的詳情(參考tag命名),代表為該服務全部不可用
JMX監控屬性組成
JMX監控的屬性,由以下三部分組成
-
SuitAgent內置的JMX監控屬性
- `HeapMemoryUsedRatio` - 堆內存使用比例 - `HeapMemoryCommitted` - 堆內存已提交的大小 - `NonHeapMemoryCommitted` - 非堆內存已提交的大小 - `HeapMemoryFree` - 堆內存空閑空間大小 - `HeapMemoryMax` - 堆內存最大的空間大小 - `HeapMemoryUsed` - 堆內存已使用的空間大小 - `NonHeapMemoryUsed` - 非堆內存已使用的空間大小
-
JMX 公共的監控屬性自定義配置
- 定義於
conf/jmx/common.properties
文件
- 定義於
-
自定義的監控屬性
- 每個插件自定義的屬於自身的監控屬性
Java應用的停機處理說明
正常情況下,若Java應用停機,則它的JMX連接將會不可用,此時,SuitAgent
將會上報該應用不可用的監控報告,並且,在每一次重新獲取監控值時,都會嘗試重新連接此應用。
若該應用是被下線了,就是廢棄了,那么豈不是會永遠上報不可用狀態?所以,SuitAgent
有一個處理機制,在SuitAgent
啟動時,它會記錄每一個Java應用的應用路徑,如果該應用被發現停機了,它會檢查該路徑還是否存在有效,如果路徑無效,SuitAgent
將會清除此下線應用的監控信息,就不會上報不可用了。
目前支持的監控組件
- zookeeper
- tomcat
- elasticSearch
- logstash
- standaloneJar(單獨Jar包運行的應用,如SpringBoot)
JDBC監控的服務
目前支持的監控組件
- Oracle
- Mysql
SNMP監控服務
公共的metrics列表
每個接口的Metrics:
- {ifName}.if.HCInBroadcastPkts
- {ifName}.if.HCInMulticastPkts
- {ifName}.if.HCInOctets
- {ifName}.if.HCInUcastPkts
- {ifName}.if.HCOutBroadcastPkts
- {ifName}.if.HCOutMulticastPkts
- {ifName}.if.getIfHCOutUcastPkts
- {ifName}.if.HCOutOctets
- {ifName}.if.OperStatus : (接口狀態,1 up, 2 down, 3 testing, 4 unknown, 5 dormant, 6 notPresent, 7 lowerLayerDown)
ping
Metrics:
- pingAvgTime : Ping延時(正常返回延時,超時返回 -1)
交換機(SNMP V3)
說明
監控的設備采集信息和采集邏輯主要參考了Falcon社區的swcollector項目,因swcollector不支持SNMP V3協議。
https://github.com/gaochao1/swcollector
采集的私有metric列表
- 公共的metrics數據
- CPU利用率
- 內存利用率
內存和CPU的目前測試的支持設備
- Cisco IOS(Version 12)
- Cisco NX-OS(Version 6)
- Cisco IOS XR(Version 5)
- Cisco IOS XE(Version 15)
- Cisco ASA (Version 9)
- Ruijie 10G Routing Switch
- Huawei VRP(Version 8)
- Huawei VRP(Version 5.20)
- Huawei VRP(Version 5.120)
- Huawei VRP(Version 5.130)
- Huawei VRP(Version 5.70)
- Juniper JUNOS(Version 10)
- H3C(Version 5)
- H3C(Version 5.20)
- H3C(Version 7)
探測監控服務
-
HTTP監控
監控Metrics:
- availability - response.code : 響應狀態碼 - response.time : 響應時間 毫秒
-
Ping監控
監控Metrics
- availability - pingAvgTime : ping的平均延時(當前為每次ping5次,取絕對值) - pingSuccessRatio : ping的成功次數占比,如ping了`5次`,只成功返回`4次`,則為`0.8`
-
TCP(Socket)監控
監控Metrics :
- availability - response.time : 響應時間 毫秒
-
Yiji NTP 監控
監控Metrics
- availability - `0`:NTP監控失敗(如ntpdate命令執行失敗) - `1`:NTP監控成功 - ntpOffset : ntpdate命令解析的offset值
-
Docker 監控
監控Metrics
- availability - `0`:Docker daemon 探測失敗 - `1`:Docker daemon 探測成功 - availability-container - 說明:在SuitAgent第一次運行Docker插件時,會將第一次檢測到的容器名稱保存到內存緩存中,在以后的每一次監控時,會上報內存緩存中的容器的可用性狀態 - `0`:容器已停止運行 - `1`:容器正在運行 - availability.container.app - 說明:在SuitAgent第一次運行Docker插件時,會將第一次檢測到的容器內的進程情況進行緩存到內存中,在以后的每一次監控時,會重新獲取容器內的進程情況,若與第一次一致,則為可用 - `0`:容器內應用運行不正常 - `1`:容器內應用正常運行 - `-1`:容器內的應用狀態數據獲取失敗 - has_cpu : 是否有CPU使用權限 - total.cpu.usage.rate : CPU總使用率百分比 - user.cpu.usage.rate : CPU用戶級別使用率百分比 - system.cpu.usage.rate : CPU系統級別使用率百分比 - has_memory : 是否有內存使用權限 - mem.size.usage : 當前已使用的內存大小(單位兆) - mem.size.cache : 當前已緩存的內存大小(單位兆) - mem.usage.rate : 內存已使用與容器總內存百分比 - mem.cache.rate : 內存緩存與容器總內存的百分比 - has_network : 是否有網絡使用權限 - net.if.in.bytes : 網絡IO流入字節數 - net.if.in.packets : 網絡IO流入包數 - net.if.in.dropped : 網絡IO流入丟棄數 - net.if.in.errors : 網絡IO流入出錯數 - net.if.out.bytes : 網絡IO流出字節數 - net.if.out.packets : 網絡IO流出包數 - net.if.out.dropped : 網絡IO流出丟棄數 - net.if.out.errors : 網絡IO流出出錯數
自動發現功能說明
-
zookeeper
無需配置,可自動發現
-
tomcat
無需配置,可自動發現
-
elasticSearch
無需配置,可自動發現
-
logstash
無需配置,可自動發現
-
standalone應用(java -jar 方式的Jar包運行)
需要配置
conf/plugin/standaloneJarPlugin.properties
配置文件的jmxServerName
或jmxServerDir
,
然后SuitAgent會自動發現已配置的standalone應用 -
Oracle
需要配置
conf/authorization.properties
配置中的Oracle連接信息,然后會根據配置的連接信息,進行自動發現Oracle應用,並監控 -
Mysql
需要配置
conf/authorization.properties
配置中的Mysql連接信息,然后會根據配置的連接信息,進行自動發現Mysql應用,並監控 -
SNMP V3 交換機
需要配置
conf/authorization.properties
配置中的交換機的SNMP V3的連接信息,然后會根據配置的連接信息,進行自動發現交換機並監控。 -
HTTP監控
只要配置了被探測的地址,就會觸發監控服務
-
Ping監控
只要配置了被探測的地址,就會觸發監控服務
-
TCP監控
只要配置了被探測的地址,就會觸發監控服務
-
NTP監控
只要配置了NTP服務器地址,就會觸發監控服務
-
Docker監控
無需配置地址,自動探測本機的
Docker
服務:若發現有命令/usr/bin/docker
存在,就會啟動Docker
監控插件。並自動連接本機的cAdvisor
服務或啟動內置的vAdvisor
服務
SuitAgent 動態配置
SuitAgent
支持部分配置的動態生效,支持的范圍見如下說明
authorization.properties
文件的改動
- 若對應插件未啟動,則文件修改后,將在SuitAgent下一次的自動服務發現時生效。
- 若對應的插件已啟動,因系統不會重復啟動相同的監控服務,故雖然插件配置會生效,但是不會重新啟動服務
plugin
目錄下的插件配置文件的改動
- 若改動的是未啟動的監控服務配置(如
StandaloneJarPlugin
插件的standaloneJarPlugin.properties
文件,添加了一個服務名。或更改了插件啟動類型等),將在SuitAgent
下一次的自動服務發現時生效 - 若改動的是插件的監控配置(如
Tomcat
插件的tomcatPlugin.properties
文件的服務器監控參數配置),下一次監控掃描就能夠生效。 - 若改動的是插件的自定義配置文件,它的改動將不會觸發插件的配置更新事件,不過可以利用改動它的插件配置文件,觸發配置更新。
注意
- 已啟動的插件服務,不會因為配置文件的改動而停止服務
- 插件啟動時的配置項(如插件的
step
,pluginActivateType
等)被改動時,若插件已啟動,雖然改動的配置插件會實時更新,但由於服務已啟動,這些屬性已經在啟動時固定,所以將不會因為改動而生效
SuitAgent mock 接口
接口說明
SuitAgent
提供可用性(availability
)的mock
服務。
mock
服務具有有效性,有效性時長,通過配置 agent.properties
文件的 agent.mock.valid.time
配置項
有效的mock
,將會讓mock
的目標服務即使已經停止運行,也會上報一個可用的監控數據,並且帶上 mock=true
的 tag
若mock
的時間超時,既無效,則會上報目標服務不可用的監控數據,並且帶上 mock=timeout-{time}
的 tag
。其中{time}
是停機時間
接口使用
-
http://ip:port/mock/list
- 查看
SuitAgent
當前所有的mock配置,返回json格式的數據,示例:
- 查看
{
"jmx": {
"service": "tomcat",
"isTimeout": false,
"shutdownTime": 0
}
}
-
http://ip:port/mock/add/
serviceType
/service
- 添加一個mock配置
-
http://ip:port/mock/remove/
serviceType
/service
- 刪除一個mock配置
參數說明
-
serviceType
: 對應於監控值tag
中的service.type
屬性 -
service
: 對應於監控值tag
中的service
或agentSignName
屬性