Python與rrdtool的結合模塊

      rrdtool（round robin database）工具為環狀數據庫的存儲格式，round robin是一種處理定量數據以及當前元素指針的技術。rrdtool主要用來跟蹤對象的變化情況，生成這些變化的走勢圖，比如業務的訪問流量、系統性能、磁盤利用率等趨勢圖，很多流行監控平台都使用到rrdtool，比較有名的為Cacti、Ganglia、Monitorix等。更多rrdtool介紹見官網http://oss.oetiker.ch/rrdtool/。rrdtool是一個復雜的工具，涉及較多參數概念，本節主要通過Python的rrdtool模塊對rrdtool的幾個常用方法進行封裝，包括create、fetch、graph、info、update等方法，本節對rrdtool的基本知識不展開說明，重點放在Python rrdtool模塊的常用方法使用介紹上。

rrdtool模塊的安裝方法如下：
 

3.2.1　rrdtool模塊常用方法說明

下面介紹rrdtool模塊常用的幾個方法，包括create（創建rrd）、update（更新rrd）、graph（繪圖）、fetch（查詢rrd）等。

1. Create方法

create filename [--start|-b start time] [--step|-s step] [DS:ds-name:DST:heartbeat:min:max] [RRA:CF:xff:steps:rows]方法，創建一個后綴為rrd的rrdtool數據庫，參數說明如下：

filename創建的rrdtool數據庫文件名，默認后綴為.rrd；

--start指定rrdtool第一條記錄的起始時間，必須是timestamp的格式；

--step指定rrdtool每隔多長時間就收到一個值，默認為5分鍾；

DS用於定義數據源，用於存放腳本的結果的變量；

DST用於定義數據源類型，rrdtool支持COUNTER（遞增類型）、DERIVE（可遞增可遞減類型）、ABSOLUTE（假定前一個時間間隔的值為0，再計算平均值）、GUAGE（收到值后直接存入RRA）、COMPUTE（定義一個表達式，引用DS並自動計算出某個值）5種，比如網卡流量屬於計數器型，應該選擇COUNTER；

RRA用於指定數據如何存放，我們可以把一個RRA看成一個表，保存不同間隔的統計結果數據，為CF做數據合並提供依據，定義格式為：[RRA:CF:xff:steps:rows]；

CF統計合並數據，支持AVERAGE（平均值）、MAX（最大值）、MIN（最小值）、LAST（最新值）4種方式。

2. update方法

update filename [--template|-t ds-name[:ds-name]...] N|timestamp:value[:value...] [timestamp:value[:value...] ...] 方法，存儲一個新值到rrdtool數據庫，updatev和update類似，區別是每次插入后會返回一個狀態碼，以便了解是否成功（updatev用0表示成功，–1表示失敗）。參數說明如下：

filename指定存儲數據到的目標rrd文件名；

-t ds-name[:ds-name]指定需要更新的DS名稱；

N|Timestamp表示數據采集的時間戳，N表示當前時間戳；

value[:value...]更新的數據值，多個DS則多個值。

3. graph方法

graph filename [-s|--start seconds] [-e|--end seconds] [-x|--x-grid x-axis grid and label] [-y|--y-grid y-axis grid and label] [--alt-y-grid] [--alt-y-mrtg] [--alt-autoscale] [--alt-autoscale-max] [--units-exponent] value [-v|--vertical-label text] [-w|--width pixels] [-h|--height pixels] [-i|--interlaced] [-f|--imginfo formatstring] [-a|--imgformat GIF|PNG|GD] [-B|--background value] [-O|--overlay value] [-U|--unit value] [-z|--lazy] [-o|--logarithmic] [-u|--upper-limit value] [-l|--lower-limit value] [-g|--no-legend] [-r|--rigid] [--step value] [-b|--base value] [-c|--color COLORTAG#rrggbb] [-t|--title title] [DEF:vname=rrd:ds-name:CF] [CDEF:vname=rpn-expression] [PRINT:vname:CF:format] [GPRINT:vname:CF:format] [COMMENT:text] [HRULE:value#rrggbb[:legend]] [VRULE:time#rrggbb[:legend]] [LINE{1|2|3}:vname[#rrggbb [:legend]]] [AREA:vname[#rrggbb[:legend]]] [STACK:vname[#rrggbb[:legend]]]方法，根據指定的rrdtool數據庫進行繪圖，關鍵參數說明如下：

filename指定輸出圖像的文件名，默認是PNG格式；

--start指定起始時間；

--end指定結束時間；

--x-grid控制X軸網格線刻度、標簽的位置；

--y-grid控制Y軸網格線刻度、標簽的位置；

--vertical-label指定Y軸的說明文字；

--width pixels指定圖表寬度（像素）；

--height pixels指定圖表高度（像素）；

--imgformat指定圖像格式（GIF|PNG|GD）；

--background指定圖像背景顏色，支持#rrggbb表示法；

--upper-limit指定Y軸數據值上限；

--lower-limit指定Y軸數據值下限；

--no-legend取消圖表下方的圖例；

--rigid嚴格按照upper-limit與lower-limit來繪制；

--title圖表頂部的標題；

DEF:vname=rrd:ds-name:CF指定繪圖用到的數據源；

CDEF:vname=rpn-expression合並多個值；

GPRINT:vname:CF:format圖表的下方輸出最大值、最小值、平均值等；

COMMENT:text指定圖表中輸出的一些字符串；

HRULE:value#rrggbb用於在圖表上面繪制水平線；

VRULE:time#rrggbb用於在圖表上面繪制垂直線；

LINE{1|2|3}:vname使用線條來繪制數據圖表，{1|2|3}表示線條的粗細；

AREA:vname使用面積圖來繪制數據圖表。

4. fetch方法

fetch filename CF [--resolution|-r resolution] [--start|-s start] [--end|-e end]方法，根據指定的rrdtool數據庫進行查詢，關鍵參數說明如下：

filename指定要查詢的rrd文件名；

CF包括AVERAGE、MAX、MIN、LAST，要求必須是建庫時RRA中定義的類型，否則會報錯；

--start --end指定查詢記錄的開始與結束時間，選項的值必是 timestamp 的格式,默認可省略。

獲取當前時間的時間戳：date +%s

3.2.2　實踐：實現網卡流量圖表繪制

      在日常運營工作當中，觀察數據的變化趨勢有利於了解我們的服務質量，比如在系統監控方面，網絡流量趨勢圖直接展現了當前網絡的吞吐。 CPU、內存、磁盤空間利用率趨勢則反映了服務器運行健康狀態。通過這些數據圖表管理員可以提前做好應急預案，對可能存在的風險點做好防范。本次實踐通過rrdtool模塊實現服務器網卡流量趨勢圖的繪制，即先通過create方法創建一個rrd數據庫，再通過update方法實現數據的寫入，最后可以通過graph方法實現圖表的繪制，以及提供last、first、info、fetch方法的查詢。圖3-12為rrd創建到輸出圖表的過程。

第一步　采用create方法創建rrd數據庫，參數指定了一個rrd文件、更新頻率setp、起始時間--start、數據源DS、數據源類型DST、數據周期定義RRA等，詳細源碼如下：

【/root/xls/create.py】

# -*- coding: utf-8 -*-  
#!/usr/bin/python  
import rrdtool  
import time  
 
cur_time=str(int(time.time()))    #獲取當前Linux時間戳作為rrd起始時間  
#數據寫頻率--step為300秒(即5分鍾一個數據點)  
rrd=rrdtool.create('Flow.rrd','--step','300','--start',cur_time,  
#定義數據源eth1_in(入流量)、eth1_out(出流量)；類型都為COUNTER(遞增)；600秒為心跳值，  
#其含義是600秒沒有收到值，則會用UNKNOWN代替；0為最小值；最大值用U代替，表示不確定  
  'DS:eth1_in:COUNTER:600:0:U',  
  'DS:eth1_out:COUNTER:600:0:U',  
 
  #RRA定義格式為[RRA:CF:xff:steps:rows]，CF定義了AVERAGE、MAX、MIN三種數據合並方式  
  #xff定義為0.5，表示一個CDP中的PDP值如超過一半值為UNKNOWN，則該CDP的值就被標為UNKNOWN  
  #下列前4個RRA的定義說明如下，其他定義與AVERAGE方式相似，區別是存最大值與最小值  
  # 每隔5分鍾(1*300秒)存一次數據的平均值,存600筆，即2.08天  
  # 每隔30分鍾(6*300秒)存一次數據的平均值,存700筆，即14.58天（2周）  
  # 每隔2小時(24*300秒)存一次數據的平均值,存775筆，即64.58天（2個月）  
  # 每隔24小時(288*300秒)存一次數據的平均值,存797筆，即797天(2年)  
  'RRA:AVERAGE:0.5:1:600',  
  'RRA:AVERAGE:0.5:6:700',  
  'RRA:AVERAGE:0.5:24:775',  
  'RRA:AVERAGE:0.5:288:797',  
  'RRA:MAX:0.5:1:600',  
  'RRA:MAX:0.5:6:700',  
  'RRA:MAX:0.5:24:775',  
  'RRA:MAX:0.5:444:797',  
  'RRA:MIN:0.5:1:600',  
  'RRA:MIN:0.5:6:700',  
  'RRA:MIN:0.5:24:775',  
  'RRA:MIN:0.5:444:797')  
if rrd:  
    print rrdtool.error()

 

第二步　采用updatev方法更新rrd數據庫，參數指定了當前的Linux時間戳，以及指定eth1_in、eth1_out值（當前網卡的出入流量），網卡流量我們通過psutil模塊來獲取，如psutil.network_io_counters()[1]為入流量，關於psutil模塊的介紹見第1.1。詳細源碼如下：

【/root/xls/update.py】

# -*- coding: utf-8 -*-  
#!/usr/bin/python  
import rrdtool  
import time,psutil  
 
total_input_traffic = psutil.network_io_counters()[1]    #獲取網卡入流量  
total_output_traffic = psutil.network_io_counters()[0]    #獲取網卡出流量  
starttime=int(time.time())    #獲取當前Linux時間戳  
#將獲取到的三個數據作為updatev的參數，返回{'return_value': 0L}則說明更新成功，反之失敗  
update=rrdtool.updatev('/root/xls/Flow.rrd','%s:%s:%s' % (str(starttime),str(total_input_traffic),str(total_output_traffic)))  
print update

將代碼加入crontab，並配置5分鍾作為采集頻率，crontab配置如下：

   */5 * * * * /usr/bin/python /root/xls/update.py > /dev/null 2>&1 

 

第三步　采用graph方法繪制圖表，此示例中關鍵參數使用了--x-grid定義X軸網格刻度；DEF指定數據源；使用CDEF合並數據；HRULE繪制水平線（告警線）；GPRINT輸出最大值、最小值、平均值等。詳細源碼如下：

【/root/xls/graph.py】

# -*- coding: utf-8 -*-  
#!/usr/bin/python  
import rrdtool  
import time  
#定義圖表上方大標題  
title="Server network  traffic flow ("+time.strftime('%Y-%m-%d',time.localtime(time.time()))+")"  
#重點解釋"--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H"參數的作用（從左往右進行分解）  
"MINUTE:12" #表示控制每隔12分鍾放置一根次要格線  
"HOUR:1"  #表示控制每隔1小時放置一根主要格線  
"HOUR:1" # 表示控制1個小時輸出一個label標簽  
"0:%H"  #0表示數字對齊格線，%H表示標簽以小時顯示  
rrdtool.graph( "Flow.png", "--start", "-1d","--vertical-label=Bytes/s",
"--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H",
 "--width","650","--height","230","--title",title,  
 "DEF:inoctets=Flow.rrd:eth1_in:AVERAGE",    #指定網卡入流量數據源DS及CF  
 "DEF:outoctets=Flow.rrd:eth1_out:AVERAGE",    #指定網卡出流量數據源DS及CF  
 "CDEF:total=inoctets,outoctets,+",    #通過CDEF合並網卡出入流量，得出總流量total  
 
19 "LINE1:total#FF8833:Total traffic",    #以線條方式繪制總流量  
 "AREA:inoctets#00FF00:In traffic",    #以面積方式繪制入流量  
 "LINE1:outoctets#0000FF:Out traffic",    #以線條方式繪制出流量  
 "HRULE:6144#FF0000:Alarm value\\r",    #繪制水平線，作為告警線，閾值為6.1k  
 "CDEF:inbits=inoctets,8,*",    #將入流量換算成bit，即*8，計算結果給inbits  
 "CDEF:outbits=outoctets,8,*",    #將出流量換算成bit，即*8，計算結果給outbits  
25 "COMMENT:\\r",                    #在網格下方輸出一個換行符  
 "COMMENT:\\r",  
 "GPRINT:inbits:AVERAGE:Avg In traffic\: %6.2lf %Sbps",    #繪制入流量平均值  
 "COMMENT:   ",  
 "GPRINT:inbits:MAX:Max In traffic\: %6.2lf %Sbps",    #繪制入流量最大值  
 "COMMENT:  ",  
 "GPRINT:inbits:MIN:MIN In traffic\: %6.2lf %Sbps\\r",    #繪制入流量最小值  
 "COMMENT: ",  
 "GPRINT:outbits:AVERAGE:Avg Out traffic\: %6.2lf %Sbps",    #繪制出流量平均值  
 "COMMENT: ",  
 "GPRINT:outbits:MAX:Max Out traffic\: %6.2lf %Sbps",    #繪制出流量最大值  
 "COMMENT: ",  
 "GPRINT:outbits:MIN:MIN Out traffic\: %6.2lf %Sbps\\r")    #繪制出流量最小值

以上代碼將生成一個Flow.png文件，如圖3-13所示。

查看rrd文件內容有利於觀察數據的結構、更新等情況，rrdtool提供幾個常用命令：

info查看rrd文件的結構信息，如rrdtool info Flow.rrd；

first查看rrd文件第一個數據的更新時間，如rrdtool first Flow.rrd；

last查看rrd文件最近一次更新的時間，如rrdtool last Flow.rrd；

fetch根據指定時間、CF查詢rrd文件，如rrdtool fetch Flow.rrd AVERAGE （必須為大寫）

 

3.2.1rrdtool參數說明參考http://bbs.chinaunix.net/thread-2150417-1-1.html和http://oss.oetiker.ch/rrdtool/doc/index.en.html。
 

 

參考資料：http://my.oschina.net/u/1458120/blog/208857 里面有關於時間戳的相關信息。