InfluxDB基本概念
數據格式
在 InfluxDB 中,我們可以粗略的將要存入的一條數據看作一個虛擬的 key 和其對應的 value(field value)。格式如下:
cpu_usage,host=server01,region=hn-zhengzhou value=0.64 1434055562000000000
虛擬的 key 包括以下幾個部分: database, retention policy, measurement, tag sets, field name, timestamp。
- database:數據庫名,在InfluxDB中,可以創建多個database,不同數據庫中的數據文件是隔離的,存放在不同磁盤目錄中。
- retention policy:存儲策略,用於設置數據保留的時間每個數據庫剛開始會自動創建一個默認的存儲策略 autogen,數據保留時間為永久,之后用戶可以自己設置,例如保留最近2小時的數據。插入和查詢數據時如果不指定存儲策略,則使用默認存儲策略,且默認存儲策略可以修改。InfluxDB 會定期清除過期的數據
- measurement:對應關系數據庫中的表,測量指標名,例如 cpu_usage 表示 cpu 的使用率。
- tag sets: tags 在 InfluxDB 中會按照字典序排序,不管是 tagk 還是 tagv,只要不一致就分別屬於兩個 key,例如 host=server01,region=hn-zhengzhou 和 host=server02,region=hn-zhengzhou 就是兩個不同的 tag set。
- tag--標簽,在InfluxDB中,tag是一個非常重要的部分,表名+tag一起作為數據庫的索引,是“key-value”的形式。
- field name: 例如上面數據中的 value 就是 fieldName,InfluxDB 中支持一條數據中插入多個 fieldName,這其實是一個語法上的優化,在實際的底層存儲中,是當作多條數據來存儲
- timestamp: 每一條數據都需要指定一個時間戳,在 TSM 存儲引擎中會特殊對待,以為了優化后續的查詢操作。
Point
points相當於關系數據庫中的行,Point由時間戳(time)、數據(field)、標簽(tags)組成。
Series
Series 相當於是 InfluxDB 中一些數據的集合,在同一個 database 中,retention policy、measurement、tag sets 完全相同的數據同屬於一個 series,同一個 series 的數據在物理上會按照時間順序排列存儲在一起。
Shard
Shard 在 InfluxDB 中是一個比較重要的概念,它和 retention policy 相關聯。每一個存儲策略下會存在許多 shard,每一個 shard 存儲一個指定時間段內的數據,並且不重復,例如 7點-8點 的數據落入 shard0 中,8點-9點的數據則落入 shard1 中。每一個 shard 都對應一個底層的 tsm 存儲引擎,有獨立的 cache、wal、tsm file。
目錄與文件結構
InfluxDB 的數據存儲主要有三個目錄。默認情況下是 meta, wal 以及 data 三個目錄。meta 用於存儲數據庫的一些元數據,meta 目錄下有一個 meta.db 文件。wal 目錄存放預寫日志文件,以 .wal 結尾。data 目錄存放實際存儲的數據文件,以 .tsm 結尾。
InfluxDB基本操作
InfluxDB提供多種操作方式:
- 客戶端命令行方式
- HTTP API接口
- 各語言API庫
- 基於WEB管理頁面操作
客戶端命令行方式操作
進入命令行
influx
Connected to http://localhost:8086 version 1.2.4
InfluxDB shell version: 1.2.4
顯示數據庫
show databases;
新建數據庫
create database cpu_info;
使用制定數據庫
use cpu_info;
刪除數據庫
drop database cpu_info;
在InfluxDB當中,並沒有表(table)這個概念,取而代之的是MEASUREMENTS,MEASUREMENTS的功能與傳統數據庫中的表一致,因此我們也可以將MEASUREMENTS稱為InfluxDB中的表
顯示所有表
show measurements
新建表
InfluxDB中沒有顯式的新建表的語句,只能通過insert數據的方式來建立新表。
insert disk_free,hostname=server01 value=442221834240i
其中 disk_free 就是表名,hostname是索引(tag),value=xx是記錄值(field),記錄值可以有多個,系統自帶追加時間戳。或者添加數據時,自己寫入時間戳
insert disk_free,hostname=server01 value=442221834240i 1435362189575692182
刪除表
drop measurement disk_free
數據保存策略(Retention Policies)
influxDB是沒有提供直接刪除數據記錄的方法,但是提供數據保存策略,主要用於指定數據保留時間,超過指定時間,就刪除這部分數據。
查看當前數據庫Retention Policies
show retention policies on cpu_info;
name duration shardGroupDuration replicaN default
---- -------- ------------------ -------- -------
autogen 0s 168h0m0s 1 true
創建新的Retention Policies
create retention policy "rp_name" on "db_name" duration 3w replication 1 default
- rp_name:策略名;
- db_name:具體的數據庫名;
- 3w:保存3周,3周之前的數據將被刪除,influxdb具有各種事件參數,比如:h(小時),d(天),w(星期);
- replication 1:副本個數,一般為1就可以了;
- default:設置為默認策略
修改Retention Policies
alter retention policy "rp_name" on "db_name" duration 30d default
刪除Retention Policies
drop retention policy "rp_name" on "db_name"
連續查詢(Continuous Queries)
InfluxDB的連續查詢是在數據庫中自動定時啟動的一組語句,語句中必須包含 SELECT 關鍵詞和 GROUP BY time() 關鍵詞。InfluxDB會將查詢結果放在指定的數據表中。
使用連續查詢是最優的降低采樣率的方式,連續查詢和存儲策略搭配使用將會大大降低InfluxDB的系統占用量。而且使用連續查詢后,數據會存放到指定的數據表中,這樣就為以后統計不同精度的數據提供了方便。
新建連續查詢語法如下:
CREATE CONTINUOUS QUERY <cq_name> ON <database_name>
[RESAMPLE [EVERY <interval>] [FOR <interval>]]
BEGIN SELECT <function>(<stuff>)[,<function>(<stuff>)] INTO <different_measurement>
FROM <current_measurement> [WHERE <stuff>] GROUP BY time(<interval>)[,<stuff>]
END
樣例:
CREATE CONTINUOUS QUERY wj_30m ON shhnwangjian BEGIN SELECT mean(connected_clients), MEDIAN(connected_clients), MAX(connected_clients), MIN(connected_clients) INTO redis_clients_30m FROM redis_clients GROUP BY ip,port,time(30m) END
在shhnwangjian庫中新建了一個名為 wj_30m 的連續查詢,每三十分鍾取一個connected_clients字段的平均值、中位值、最大值、最小值 redis_clients_30m 表中。使用的數據保留策略都是 default。
顯示所有已存在的連續查詢
SHOW CONTINUOUS QUERIES
刪除Continuous Queries
DROP CONTINUOUS QUERY <cq_name> ON <database_name>
