時序列數據庫武斗大會之 OpenTSDB 篇

在前面的《時序列數據庫武斗大會之 TSDB 名錄 Part 1》和《時序列數據庫武斗大會之TSDB名錄 Part 2》中，我們介紹了一些常見的TSDB，並在《時間序列數據庫武斗大會之 KairosDB 篇》深入了解了KairosDB。本文將詳細介紹TSDB中的OpenTSDB。

OpenTSDB ，可以認為是一個時系列數據（庫），它基於HBase存儲數據，充分發揮了HBase的分布式列存儲特性，支持數百萬每秒的讀寫，它的特點就是容易擴展，靈活的tag機制。

架構簡介

這里我們簡單看一下它的架構，如下圖所示：

其最主要的部件就是TSD了，這是接收數據並存儲到HBase處理的核心所在。而帶有C（collector）標志的Server，則是數據采集源，將數據發給 TSD服務。

安裝 OpenTSDB

為了安裝 OpenTSDB ，都需要以下條件和軟件：

• Linux操作系統
• JRE 1.6 or later
• HBase 0.92 or later
• 安裝GnuPlot

如果你還想使用自帶的界面，則需要安裝GnuPlot 4.2及以后版本，以及gd和gd-devel等。這里我們選擇了GnuPlot 5.0.1的版本。

根據情況執行（沒有就裝），安裝所需軟件

$ sudo yum install -y gd gd-devel libpng libpng-devel

之后安裝GnuPlot：

$ tar zxvf gnuplot-5.0.1.tar.gz $ cd gnuplot-5.0.1 $ ./configure $ make $ sudo make install

安裝HBase

首先，確保設置了JAVA_HOME：

$ echo $JAVA_HOME /usr

這個不多說了，非常簡單，只需要按照 https://hbase.apache.org/book.html#quickstart 這里所說，下載、解壓、修改配置文件、啟動即可。

這時候，再設置HBASE_HOME：

$ echo $HBASE_HOME /opt/hbase-1.0.1.1

之后便可啟動hbase：

$ /opt/hbase-1.0.1.1/bin/start-hbase.sh starting master, logging to /opt/hbase-1.0.1.1/logs/hbase-vagrant-master-localhost.localdomain.out 

安裝 OpenTSDB

這個也很簡單，如果build失敗，那肯定是缺少Make或者Autotools等東西，用包管理器安裝即可。

$ git clone git://github.com/OpenTSDB/opentsdb.git $ cd opentsdb $ ./build.sh

創建表OpenTSDB所需要的表結構：

$ env COMPRESSION=NONE ./src/create_table.sh 2016-01-08 06:17:58,045 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable HBase Shell; enter ‘help‘ for list of supported commands. Type “exit” to leave the HBase Shell Version 1.0.1.1, re1dbf4df30d214fca14908df71d038081577ea46, Sun May 17 12:34:26 PDT 2015 create ‘tsdb-uid’, {NAME => ‘id’, COMPRESSION => ‘NONE’, BLOOMFILTER => ‘ROW’}, {NAME => ‘name’, COMPRESSION => ‘NONE’, BLOOMFILTER => ‘ROW’} 0 row(s) in 1.3180 seconds Hbase::Table – tsdb-uid create ‘tsdb’, {NAME => ‘t’, VERSIONS => 1, COMPRESSION => ‘NONE’, BLOOMFILTER => ‘ROW’} 0 row(s) in 0.2400 seconds Hbase::Table – tsdb create ‘tsdb-tree’, {NAME => ‘t’, VERSIONS => 1, COMPRESSION => ‘NONE’, BLOOMFILTER => ‘ROW’} 0 row(s) in 0.2160 seconds Hbase::Table – tsdb-tree create ‘tsdb-meta’, {NAME => ‘name’, COMPRESSION => ‘NONE’, BLOOMFILTER => ‘ROW’} 0 row(s) in 0.4480 seconds Hbase::Table – tsdb-meta 

在habse shell里，可以看到表已經創建成功。

> list TABLE tsdb tsdb-meta tsdb-tree tsdb-uid 4 row(s) in 0.0160 seconds 

表創建之后，即可啟動tsd服務，只需要運行如下命令：

$ build/tsdb tsd

如果看到輸出：

2016-01-09 05:51:10,875 INFO [main] TSDMain: Ready to serve on /0.0.0.0:4242 

即可認為啟動成功。

保存數據到OpenTSDB

在安裝並啟動所有服務之后，我們就來嘗試發送1條數據吧。

最簡單的保存數據方式就是使用telnet。

$ telnet localhost 4242 put sys.cpu.user 1436333416 23 host=web01 user=10001 

這時，從 OpenTSDB 自帶界面都可以看到這些數據。 由於sys.cpu.sys的數據只有一條，所以 OpenTSDB 只能看到一個點。

下圖為 OpenTSDB 自帶的查詢界面，訪問http://localhost:4242即可。

OpenTSDB中的數據存儲結構

我們來看看 OpenTSDB 的重要概念uid，先從HBase中存儲的數據開始吧，我們來看一下它都有哪些表，以及這些表都是干什么的。

tsdb：存儲數據點

hbase(main):003:0> scan 'tsdb'  
ROW                           COLUMN+CELL  
 \x00\x00\x01U\x9C\xAEP\x00\x column=t:q\x80, timestamp=1436350142588, value=\x17 00\x01\x00\x00\x01\x00\x00\x 02\x00\x00\x02 1 row(s) in 0.2800 seconds 

可以看出，該表只有一條數據，我們先不管rowid，只來看看列，只有一列，值為0x17，即十進制23，即該metric的值。

左面的row key則是 OpenTSDB 的特點之一，其規則為：

metric + timestamp + tagk1 + tagv1… + tagkN + tagvN  

以上屬性值均為對應名稱的uid。

我們上面添加的metric為：

sys.cpu.user 1436333416 23 host=web01 user=10001 

一共涉及到5個uid，即名為sys.cpu.user的metric，以及host和user兩個tagk及其值web01和10001。

上面數據的row key為：

\x00\x00\x01U\x9C\xAEP\x00\x00\x01\x00\x00\x01\x00\x00\x02\x00\x00\x02

具體這個row key是怎么算出來的，我們來看看tsdb-uid表。

tsdb-uid：存儲name和uid的映射關系

下面tsdb-uid表的數據，各行之間人為加了空行，為方便顯示。

tsdb-uid用來保存名字和UID（metric，tagk，tagv）之間互相映射的關系，都是成組出現的，即給定一個name和uid，會保存（name,uid）和（uid,name）兩條記錄。

我們一共看到了8行數據。

前面我們在tsdb表中已經看到，metric數據的row key為\x00\x00\x01U\x9C\xAEP\x00\x00\x01\x00\x00\x01\x00\x00\x02\x00\x00\x02，我們將其分解下，用+號連起來（從name到uid的映射為最后5行）：

 \x00\x00\x01 + U + \x9C\xAE + P + \x00\x00\x01 + \x00\x00\x01 + \x00\x00\x02 + \x00\x00\x02 sys.cpu.user 1436333416 host = web01 user = 10001 

可以看出，這和我們前面說到的row key的構成方式是吻合的。

需要着重說明的是時間戳的存儲方式

雖然我們指定的時間是以秒為單位的，但是，row key中用到的卻是以一小時為單位的，即：1436333416 – 1436333416 % 3600 = 1436331600。

1436331600轉換為16進制，即0x55 0x9c 0xae 0x50，而0x55即大寫字母U，0x50為大寫字母P，這就是4個字節的時間戳存儲方式。相信下面這張圖能幫助各位更好理解這個意思，即一小時只有一個row key，每秒鍾的數據都會存為一列，大大提高查詢的速度。

反過來，從uid到name也一樣，比如找uid為\x00\x00\x02的tagk，我們從上面結果可以看到，該row key（\x00\x00\x02）有4列，而column=name:tagk的value就是user，非常簡單直觀。

重要：我們看到，上面的metric也好，tagk或者tagv也好，uid只有3個字節，這是 OpenTSDB 的默認配置，三個字節，應該能表示1600多萬的不同數據，這對metric名或者tagk來說足夠長了，對tagv來說就不一定了，比如tagv是ip地址的話，或者電話號碼，那么這個字段就不夠長了，這時可以通過修改源代碼來重新編譯 OpenTSDB 就可以了，同時要注意的是，重編以后，老數據就不能直接使用了，需要導出后重新導入。

tsdb-meta：元數據表

我們再看下第三個表tsdb-meta，這是用來存儲時間序列索引和元數據的表。這也是一個可選特性，默認是不開啟的，可以通過配置文件來啟用該特性，這里不做特殊介紹了。

tsdb-tree：樹形表

第4個表是tsdb-tree，用來以樹狀層次關系來表示metric的結構，只有在配置文件開啟該特性后，才會使用此表，這里我們不介紹了，可以自己嘗試。

通過HTTP接口保存數據

保存數據除了我們前面用到的telnet方式，也可以選擇HTTP API或者批量導入工具“` import（http://opentsdb.net/docs/build/html/user_guide/cli/import.html ）

假設我們有如下數據，保存為文件mysql.json：

[ { "metric": "mysql.innodb.rowlocktime", "timestamp": 1435716527, "value": 1234, "tags": { "host": "web01", "dc": "beijing" } }, { "metric": "mysql.innodb.rowlocktime", "timestamp": 1435716529, "value": 2345, "tags": { "host": "web01", "dc": "beijing" } }, { "metric": "mysql.innodb.rowlocktime", "timestamp": 1435716627, "value": 3456, "tags": { "host": "web02", "dc": "beijing" } }, { "metric": "mysql.innodb.rowlocktime", "timestamp": 1435716727, "value": 6789, "tags": { "host": "web01", "dc": "tianjin" } } ]

之后執行如下命令：

$ curl -X POST -H “Content-Type: application/json” http://localhost:4242/api/put -d @mysql.json

即可將數據保存到 OpenTSDB 了。

查詢數據

看完了如何保存數據，我們再來看看如何查詢數據。

查詢數據可以使用query接口，它既可以使用get的query string方式，也可以使用post方式以JSON格式指定查詢條件，這里我們以后者為例，對剛才保存的數據進行說明。

首先，保存如下內容為search.json：

{ "start": 1435716527, "queries": [ { "metric": "mysql.innodb.rowlocktime", "aggregator": "avg", "tags": { "host": "*", "dc": "beijing" } } ] }

執行如下命令進行查詢：

$ curl -s -X POST -H "Content-Type: application/json" http://localhost:4242/api/query -d @search.json | jq . [ { "metric": "mysql.innodb.rowlocktime", "tags": { "host": "web01", "dc": "beijing" }, "aggregateTags": [], "dps": { "1435716527": 1234, "1435716529": 2345 } }, { "metric": "mysql.innodb.rowlocktime", "tags": { "host": "web02", "dc": "beijing" }, "aggregateTags": [], "dps": { "1435716627": 3456 } } ] ``` 可以看出，我們保存了dc=tianjin的數據，但是並沒有在此查詢中返回，這是因為，我們指定了dc=beijing這一條件。

值得注意的是，tags參數在新版本2.2中，將不被推薦，取而代之的是filters參數。

總結

可以看出來， OpenTSDB 還是非常容易上手的，尤其是單機版，安裝也很簡單。有HBase作為后盾，查詢起來也非常快，很多大公司，類似雅虎等，也都在用此軟件。

但是，大規模用起來，多個TDB以及多存儲節點等，應該都需要專業、細心的運維工作了。

 

原文