Tsar介紹
Tsar是淘寶的一個用來收集服務器系統和應用信息的采集報告工具,如收集服務器的系統信息(cpu,mem等),以及應用數據(nginx、swift等),收集到的數據存儲在服務器磁盤上,可以隨時查詢歷史信息,也可以將數據發送到nagios報警。
Tsar能夠比較方便的增加模塊,只需要按照tsar的要求編寫數據的采集函數和展現函數,就可以把自定義的模塊加入到tsar中。
Tsar安裝
Tsar目前托管在github上,下載編譯安裝步驟:
$git clone git://github.com/kongjian/tsar.git $cd tsar $make $make install
安裝后:
- 定時任務配置:
/etc/cron.d/tsar
,負責每分鍾調用tsar執行采集任務; - 日志文件輪轉配置:
/etc/logrotate.d/tsar
,每個月會把tsar的本地存儲進行輪轉; - Tsar配置文件路徑:
/etc/tsar/tsar.conf
,tsar的采集模塊和輸出的具體配置; - 模塊路徑:
/usr/local/tsar/modules
,各個模塊的動態庫so文件;
Tsar配置
Tsar剛安裝完,還沒有歷史數據,想要check是否正常,執行tsar -l,查看是否有實時信息輸出:
Tsar的配置主要都在/etc/tsar/tsar.conf
中,常用的有:
- 增加一個模塊,添加
mod_<yourmodname> on
到配置文件中 - 打開或者關閉一個模塊,修改
mod_<yourmodname> on/off
output_stdio_mod
能夠配置執行tsar時的輸出模塊output_file_path
采集到的數據默認保存到的文件(如果修改的話需要對應修改輪轉的配置/etc/logrotate.d/tsar
)output_interface
指定tsar的數據輸出目的,默認file保存本地,nagios/db輸出到監控中心/數據庫中,這兩個功能還需要結合其它配置,具體見后面
Tsar使用
- 查看歷史數據,tsar
- -l/--list 查看可用的模塊列表
- -l/--live 查看實時數據,tsar -l --cpu
- -i/--interval 指定間隔,歷史,tsar -i 1 --cpu
- --modname 指定模塊,tsar --cpu
- -s/--spec 指定字段,tsar --cpu -s sys,util
- -d/--date 指定日期,YYYYMMDD或者n代表n天前
- -C/--check 查看最后一次的采集數據
- -d/--detail 能夠指定查看主要字段還是模塊的所有字段
- -h/--help 幫助功能
高級功能
- 輸出到nagios
配置: 首先配置output_interface file,nagios
,增加nagios輸出
然后配置nagios服務器和端口,以及發送的間隔時間
####The IP address or the host running the NSCA daemon server_addr nagios.server.com ####The port on which the daemon is running - default is 5667 server_port 8086 ####The cycle of send alert to nagios cycle_time 300
由於是nagios的被動監控模式,需要指定nsca的位置和配置文件位置
####nsca client program send_nsca_cmd /usr/bin/send_nsca send_nsca_conf /home/a/conf/amon/send_nsca.conf
接下來指定哪些模塊和字段需要進行監控,一共四個閥值對應nagios中的不同報警級別
####tsar mod alert config file ####threshold [hostname.]servicename.key;w-min;w-max;c-min;cmax; threshold cpu.util;50;60;70;80;
- 輸出到Mysql
配置: 首先配置output_interface file,db
,增加db輸出
然后配置哪些模塊數據需要輸出
output_db_mod mod_cpu,mod_mem,mod_traffic,mod_load,mod_tcp,mod_udpmod_io
然后配置sql語句發送的目的地址和端口
output_db_addr console2:56677
目的地址在該端口監聽tcp數據,並且把數據入庫即可,可以參照 tsar2db。
模塊開發
Tsar的一個比較好的功能是能夠增加自己的采集,這時候需要編寫模塊代碼,編譯成so文件即可。
首先安裝tsardevel,剛才安裝時,如果執行make tsardevel
,就會把模塊開發的基本文件安裝到系統 然后執行tsardevel ,就能在當前模塊生成一個模塊目錄:
[kongjian@v132172.sqa.cm4 tsar]$ tsardevel test build:make install:make install uninstall:make uninstall [kongjian@v132172.sqa.cm4 tsar]$ ls test Makefile mod_test.c mod_test.conf
按照要求修改mod_test.c中的read_test_stats,set_test_record 完成后make;make install就完成新模塊的配置文件和so的設置,執行tsar --test就能查看效果。
另外也可以通過配置文件對自定義模塊傳遞參數,方法是修改配置文件中的mod_test on myparameter
然后在mod_test.c中的read_test_stats函數中,通過parameter參數就可以獲得剛才配置文件中的內容。
[root@server-mysql tsar]# tsar -l -i 1 Time ---cpu-- ---mem-- ---tcp-- -----traffic---- --sda--- ---load- Time util util retran bytin bytout util load1 03/07/16-20:31:07 1.46 62.33 0.00 60.00 266.00 16.80 0.00 03/07/16-20:31:08 0.99 62.33 0.00 60.00 186.00 0.00 0.00 03/07/16-20:31:09 0.50 62.33 0.00 60.00 186.00 0.00 0.00 03/07/16-20:31:10 0.99 62.33 0.00 60.00 186.00 0.00 0.00 03/07/16-20:31:11 0.50 62.33 0.00 60.00 186.00 0.00 0.00 03/07/16-20:31:12 0.99 62.33 0.00 60.00 186.00 0.00 0.00 03/07/16-20:31:13 0.99 62.33 0.00 60.00 186.00 0.00 0.00 ^C [root@server-mysql tsar]# tsar -io -i 1 Time ---cpu-- ---mem-- ---tcp-- -----traffic---- --sda--- ---load- Time util util retran bytin bytout util load1 03/07/16-20:31 0.99 62.14 0.00 92.00 70.00 1.72 0.00 MAX 0.99 62.14 0.00 92.00 70.00 1.72 0.00 MEAN 0.99 62.14 0.00 92.00 70.00 1.72 0.00 MIN 0.99 62.14 0.00 92.00 70.00 1.72 0.00 [root@server-mysql tsar]# tsar -i 1 Time ---cpu-- ---mem-- ---tcp-- -----traffic---- --sda--- ---load- Time util util retran bytin bytout util load1 03/07/16-20:31 0.99 62.14 0.00 92.00 70.00 1.72 0.00 MAX 0.99 62.14 0.00 92.00 70.00 1.72 0.00 MEAN 0.99 62.14 0.00 92.00 70.00 1.72 0.00 MIN 0.99 62.14 0.00 92.00 70.00 1.72 0.00 [root@server-mysql tsar]# tsar -l --io -i 1 Time ------------------------------------------sda------------------------------------------- Time rrqms wrqms rs ws rsecs wsecs rqsize qusize await svctm util 03/07/16-20:32:47 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:32:48 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:32:49 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:32:51 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:32:52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:32:53 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:32:54 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:32:55 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:32:56 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:32:57 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 ^C [root@server-mysql tsar]# tsar -l --tcp -i 1 Time -------------------------------tcp------------------------------ Time active pasive iseg outseg EstRes AtmpFa CurrEs retran 03/07/16-20:33:03 0.00 0.00 1.00 1.00 0.00 0.00 3.00 0.00 03/07/16-20:33:04 0.00 0.00 1.00 1.00 0.00 0.00 3.00 0.00 03/07/16-20:33:05 0.00 0.00 1.00 1.00 0.00 0.00 3.00 0.00 03/07/16-20:33:06 0.00 0.00 1.00 1.00 0.00 0.00 3.00 0.00 03/07/16-20:33:07 0.00 0.00 1.00 1.00 0.00 0.00 3.00 0.00 03/07/16-20:33:08 0.00 0.00 1.00 1.00 0.00 0.00 3.00 0.00 ^C [root@server-mysql tsar]# tsar -l --mem -i 1 Time -----------------------mem---------------------- Time free used buff cach total util 03/07/16-20:33:23 106.0M 830.0M 134.2M 262.7M 1.3G 62.27 03/07/16-20:33:24 106.0M 830.0M 134.2M 262.7M 1.3G 62.27 03/07/16-20:33:25 106.0M 830.0M 134.2M 262.7M 1.3G 62.27 03/07/16-20:33:26 106.0M 830.0M 134.2M 262.7M 1.3G 62.27 03/07/16-20:33:27 106.0M 830.0M 134.2M 262.7M 1.3G 62.27 03/07/16-20:33:28 106.0M 830.0M 134.2M 262.7M 1.3G 62.27 ^C [root@server-mysql tsar]# tsar -l --tcpx -i 1 Time -----------------------------------------------------------tcpx--------------------------------------------------------- Time recvq sendq est twait fwait1 fwait2 lisq lising lisove cnest ndrop edrop rdrop pdrop kdrop 03/07/16-20:33:52 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:33:53 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:33:54 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:33:55 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:33:56 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:33:57 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:33:58 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:33:59 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:34:00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 ^C [root@server-mysql tsar]# tsar -l --pcsw -i 1 Time -------pcsw----- Time cswch proc 03/07/16-20:34:17 181.00 0.00 03/07/16-20:34:18 95.00 0.00 03/07/16-20:34:19 181.00 0.00 03/07/16-20:34:20 98.00 1.00 03/07/16-20:34:21 168.00 0.00 03/07/16-20:34:22 93.00 0.00 03/07/16-20:34:23 161.00 0.00 ^C [root@server-mysql tsar]# tsar -l --pcsw --io -i 1 Time ------------------------------------------sda------------------------------------------- -------pcsw----- Time rrqms wrqms rs ws rsecs wsecs rqsize qusize await svctm util cswch proc 03/07/16-20:34:30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 103.00 1.00 03/07/16-20:34:31 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 173.00 0.00 03/07/16-20:34:32 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 93.00 0.00 03/07/16-20:34:33 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 169.00 0.00 03/07/16-20:34:34 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 86.00 0.00 ^C [root@server-mysql tsar]# tsar -l --cpu -i 1 Time -----------------------cpu---------------------- Time user sys wait hirq sirq util 03/07/16-20:35:00 0.00 0.50 0.00 0.00 0.00 0.50 03/07/16-20:35:01 1.50 3.00 0.00 0.00 0.00 4.50 03/07/16-20:35:02 1.03 7.22 0.52 0.00 0.00 8.25 03/07/16-20:35:03 0.00 0.50 0.00 0.00 0.00 0.50 03/07/16-20:35:04 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:35:05 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:35:06 0.00 0.00 0.00 0.00 0.00 0.00 03/07/16-20:35:07 0.00 0.50 0.00 0.00 0.00 0.50 03/07/16-20:35:08 0.00 0.00 8.50 0.00 0.00 0.00