python3 rrdtool 使用

源自 python自動化運維:技術與最佳實踐 並做略微修改

 

安裝 

yum install python-rrdtool
yum install rrdtool-devel

#因為采集用了psutil模塊，所以安裝
pip3 install psutil

pip3 install rrdtool

 

常用方法，就隨便從網上down了些，具體最好去看一下相關的源碼，方便理解

1. Create方法

create filename [--start|-b start time] [--step|-s step] [DS:ds-name:DST:heartbeat:min:max] [RRA:CF:xff:steps:rows]方法，創建一個后綴為rrd的rrdtool數據庫，參數說明如下：

filename創建的rrdtool數據庫文件名，默認后綴為.rrd；

--start指定rrdtool第一條記錄的起始時間，必須是timestamp的格式；

--step指定rrdtool每隔多長時間就收到一個值，默認為5分鍾；

DS用於定義數據源，用於存放腳本的結果的變量；

DST用於定義數據源類型，rrdtool支持COUNTER（遞增類型）、DERIVE（可遞增可遞減類型）、ABSOLUTE（假定前一個時間間隔的值為0，再計算平均值）、GUAGE（收到值后直接存入RRA）、COMPUTE（定義一個表達式，引用DS並自動計算出某個值）5種，比如網卡流量屬於計數器型，應該選擇COUNTER；

RRA用於指定數據如何存放，我們可以把一個RRA看成一個表，保存不同間隔的統計結果數據，為CF做數據合並提供依據，定義格式為：[RRA:CF:xff:steps:rows]；

CF統計合並數據，支持AVERAGE（平均值）、MAX（最大值）、MIN（最小值）、LAST（最新值）4種方式。

2. update方法

update filename [--template|-t ds-name[:ds-name]...] N|timestamp:value[:value...] [timestamp:value[:value...] ...] 方法，存儲一個新值到rrdtool數據庫，updatev和update類似，區別是每次插入后會返回一個狀態碼，以便了解是否成功（updatev用0表示成功，–1表示失敗）。參數說明如下：

filename指定存儲數據到的目標rrd文件名；

-t ds-name[:ds-name]指定需要更新的DS名稱；

N|Timestamp表示數據采集的時間戳，N表示當前時間戳；

value[:value...]更新的數據值，多個DS則多個值。

3. graph方法

graph filename [-s|--start seconds] [-e|--end seconds] [-x|--x-grid x-axis grid and label] [-y|--y-grid y-axis grid and label] [--alt-y-grid] [--alt-y-mrtg] [--alt-autoscale] [--alt-autoscale-max] [--units-exponent] value [-v|--vertical-label text] [-w|--width pixels] [-h|--height pixels] [-i|--interlaced] [-f|--imginfo formatstring] [-a|--imgformat GIF|PNG|GD] [-B|--background value] [-O|--overlay value] [-U|--unit value] [-z|--lazy] [-o|--logarithmic] [-u|--upper-limit value] [-l|--lower-limit value] [-g|--no-legend] [-r|--rigid] [--step value] [-b|--base value] [-c|--color COLORTAG#rrggbb] [-t|--title title] [DEF:vname=rrd:ds-name:CF] [CDEF:vname=rpn-expression] [PRINT:vname:CF:format] [GPRINT:vname:CF:format] [COMMENT:text] [HRULE:value#rrggbb[:legend]] [VRULE:time#rrggbb[:legend]] [LINE{1|2|3}:vname[#rrggbb [:legend]]] [AREA:vname[#rrggbb[:legend]]] [STACK:vname[#rrggbb[:legend]]]方法，根據指定的rrdtool數據庫進行繪圖，關鍵參數說明如下：

filename指定輸出圖像的文件名，默認是PNG格式；

--start指定起始時間；

--end指定結束時間；

--x-grid控制X軸網格線刻度、標簽的位置；

--y-grid控制Y軸網格線刻度、標簽的位置；

--vertical-label指定Y軸的說明文字；

--width pixels指定圖表寬度（像素）；

--height pixels指定圖表高度（像素）；

--imgformat指定圖像格式（GIF|PNG|GD）；

--background指定圖像背景顏色，支持#rrggbb表示法；

--upper-limit指定Y軸數據值上限；

--lower-limit指定Y軸數據值下限；

--no-legend取消圖表下方的圖例；

--rigid嚴格按照upper-limit與lower-limit來繪制；

--title圖表頂部的標題；

DEF:vname=rrd:ds-name:CF指定繪圖用到的數據源；

CDEF:vname=rpn-expression合並多個值；

GPRINT:vname:CF:format圖表的下方輸出最大值、最小值、平均值等；

COMMENT:text指定圖表中輸出的一些字符串；

HRULE:value#rrggbb用於在圖表上面繪制水平線；

VRULE:time#rrggbb用於在圖表上面繪制垂直線；

LINE{1|2|3}:vname使用線條來繪制數據圖表，{1|2|3}表示線條的粗細；

AREA:vname使用面積圖來繪制數據圖表。

4. fetch方法 
fetch filename CF [--resolution|-r resolution] [--start|-s start] [--end|-e end]方法，根據指定的rrdtool數據庫進行查詢，關鍵參數說明如下：

filename指定要查詢的rrd文件名；

CF包括AVERAGE、MAX、MIN、LAST，要求必須是建庫時RRA中定義的類型，否則會報錯；

--start --end指定查詢記錄的開始與結束時間，選項的值必是 timestamp 的格式,默認可省略。

獲取當前時間的時間戳：date +%s

 

示例：

實現網卡流量圖表繪制

流程：

　　A、用create方法創建rrd數據庫

　　B、用update方法更新rrd庫內的數據（定時任務去采集並寫入數據）

　　C、查詢數據，繪制圖表graph

 

代碼實現：

/root/create.py

參數指定了一個rrd文件、更新頻率setp、起始時間--start、數據源DS、數據源類型DST、數據周期定義RRA等

import rrdtool
import time

cur_time = str(int(time.time()))  # 獲取當前Linux時間戳作為rrd起始時間
# 數據寫頻率--step為300秒(即5分鍾一個數據點)
rrd = rrdtool.create('/root/xls/Flow.rrd', '--step', '300', '--start', cur_time,
　　　　　　　　　　　　 #定義數據源ens32_in(入流量)、ens32_out(出流量)；類型都為COUNTER(遞增)；600秒為心跳值,其含義是600秒沒有收到值，則會用UNKNOWN代替；0為最小值；最大值用U代替，表示不確定 'DS:ens32_in:COUNTER:600:0:U',　　'DS:ens32_out:COUNTER:600:0:U',
                     #RRA定義格式為[RRA:CF:xff:steps:rows]，CF定義了AVERAGE、MAX、MIN三種數據合並方式
　　　　　　　　　　　　 #xff定義為0.5，表示一個CDP中的PDP值如超過一半值為UNKNOWN，則該CDP的值就被標為UNKNOWN
　　　　　　　　　　　　 #下列前4個RRA的定義說明如下，其他定義與AVERAGE方式相似，區別是存最大值與最小值
　　　　　　　　　　　　 'RRA:AVERAGE:0.5:1:600',
                     'RRA:AVERAGE:0.5:6:700',
                     'RRA:AVERAGE:0.5:24:775',
                     'RRA:AVERAGE:0.5:288:797',
　　　　　　　　　　　　　
                     'RRA:MAX:0.5:1:600',　　　　　　# 每隔5分鍾(1*300秒)存一次數據的最大值,存600筆，即2.08天 'RRA:MAX:0.5:6:700',　　　　　　# 每隔30分鍾(6*300秒)存一次數據的最大值,存700筆，即14.58天（2周） 'RRA:MAX:0.5:24:775',　　　　　 # 每隔2小時(24*300秒)存一次數據的最大值,存775筆，即64.58天（2個月） 'RRA:MAX:0.5:444:797',　　　　　# 每隔24小時(288*300秒)存一次數據的最大值,存797筆，即797天(2年) 'RRA:MIN:0.5:1:600',
                     'RRA:MIN:0.5:6:700',
                     'RRA:MIN:0.5:24:775',
                     'RRA:MIN:0.5:444:797')
if rrd:
    print (rrdtool.error())

 

/root/update.py

采用updatev方法更新rrd數據庫，參數指定了當前的Linux時間戳，以及指定eth1_in、eth1_out值（當前網卡的出入流量），網卡流量我們通過psutil模塊來獲取，如psutil.network_io_counters()[1]為入流量

#!/usr/bin/env python
#-*-coding:utf-8 -*-

import rrdtool
import time
import psutil

total_input_traffic = psutil.net_io_counters()[1]  # 獲取網卡入流量,這里跟書上的不一樣，看源碼發現方法為net,而不是network
total_output_traffic = psutil.net_io_counters()[0]  # 獲取網卡出流量
starttime = int(time.time())  # 獲取當前Linux時間戳
# 將獲取到的三個數據作為updatev的參數，返回{'return_value': 0L}則說明更新成功，反之失敗
update = rrdtool.updatev('/root/xls/Flow.rrd',
                         '%s:%s:%s' % (str(starttime), str(total_input_traffic), str(total_output_traffic)))

print (update)

 

將腳本放到計划任務中

*/5 * * * * /usr/local/bin/python3 /root/update.py > /dev/null 2>&1 

 

創建圖表

采用graph方法繪制圖表，此示例中關鍵參數使用了--x-grid定義X軸網格刻度；DEF指定數據源；使用CDEF合並數據；HRULE繪制水平線（告警線）；GPRINT輸出最大值、最小值、平均值等

#!/usr/bin/env python
#-*-coding:utf-8 -*-

import rrdtool
import time

# 定義圖表上方大標題
title = "Server network  traffic flow (" + time.strftime('%Y-%m-%d', time.localtime(time.time())) + ")"
# 重點解釋"--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H"參數的作用（從左往右進行分解）
"MINUTE:12"  # 表示控制每隔12分鍾放置一根次要格線
"HOUR:1"  # 表示控制每隔1小時放置一根主要格線
"HOUR:1"  # 表示控制1個小時輸出一個label標簽
"0:%H"  # 0表示數字對齊格線，%H表示標簽以小時顯示
rrdtool.graph("/root/Flow.png", "--start", "-1d", "--vertical-label=Bytes/s",
              "--x-grid", "MINUTE:12:HOUR:1:HOUR:1:0:%H",
              "--width", "650", "--height", "230", "--title", title,
              "DEF:inoctets=/root/xls/Flow.rrd:ens32_in:AVERAGE",  # 指定網卡入流量數據源DS及CF
              "DEF:outoctets=/root/xls/Flow.rrd:ens32_out:AVERAGE",  # 指定網卡出流量數據源DS及CF
              "CDEF:total=inoctets,outoctets,+",  # 通過CDEF合並網卡出入流量，得出總流量total

              "LINE1:total#FF8833:Total traffic",  # 以線條方式繪制總流量
              "AREA:inoctets#00FF00:In traffic",  # 以面積方式繪制入流量
              "LINE1:outoctets#0000FF:Out traffic",  # 以線條方式繪制出流量
              "HRULE:6144#FF0000:Alarm value\\r",  # 繪制水平線，作為告警線，閾值為6.1k
              "CDEF:inbits=inoctets,8,*",  # 將入流量換算成bit，即*8，計算結果給inbits
              "CDEF:outbits=outoctets,8,*",  # 將出流量換算成bit，即*8，計算結果給outbits
              "COMMENT:\\r",  # 在網格下方輸出一個換行符
              "COMMENT:\\r",
              "GPRINT:inbits:AVERAGE:Avg In traffic\: %6.2lf %Sbps",  # 繪制入流量平均值
              "COMMENT:   ",
              "GPRINT:inbits:MAX:Max In traffic\: %6.2lf %Sbps",  # 繪制入流量最大值
              "COMMENT:  ",
              "GPRINT:inbits:MIN:MIN In traffic\: %6.2lf %Sbps\\r",  # 繪制入流量最小值
              "COMMENT: ",
              "GPRINT:outbits:AVERAGE:Avg Out traffic\: %6.2lf %Sbps",  # 繪制出流量平均值
              "COMMENT: ",
              "GPRINT:outbits:MAX:Max Out traffic\: %6.2lf %Sbps",  # 繪制出流量最大值
              "COMMENT: ",
              "GPRINT:outbits:MIN:MIN Out traffic\: %6.2lf %Sbps\\r")  # 繪制出流量最小值

 

生成圖形