jmeter+influxdb+grafana搭建壓測監控平台

本文轉載自查看原文 2018-12-07 09:40 1264 Jmeter

概述
　　本文將介紹如何使用Jmeter+influxDB+Grafana搭建壓測可視化實時監控

痛點
　　在使用jmeter做性能測試的時候，監控系統性能的時候，無論是使用插件還是報告生成，都比較麻煩，比如監控服務的tps信息

為了能夠及時看到實時，並且比較美觀的圖表，我們可以通過jmeter的AbstractBackendListenerClient類，使用Backend Listener發送數據到數據庫的存儲實時結果。
從jmeter2.13開始，Backend Listener提供一下功能：

實時數據
漂亮圖表
能夠對比2個以上的測試計划

JMeter 3.2的Backend Listener中引入了 InfluxDBBackendListenerClient允使用UDP或HTTP協議將統計指標發送到InfluxDB

此類提供的功能：

實時數據
漂亮圖表
能夠對比2個以上的測試計划
能夠向圖表添加注釋
只要jmeter產生相同的Backend，就可以存儲監控數據

Influxdb簡介
　InfluxDB是用Go語言編寫的高性能、高可用的分布式時序數據存儲數據庫，無其他依賴，安裝簡單快速。
　　該數據庫現在主要用於存儲涉及大量的時間戳數據，如DevOps監控數據，APP metrics, loT傳感器數據和實時分析數據。
InfluxDB特征：

無結構(無模式)：可以是任意數量的列
可以設置metric的保存時間
支持與時間有關的相關函數(如min、max、sum、count、mean、median等)，方便統計
支持存儲策略:可以用於數據的刪改。(influxDB沒有提供數據的刪除與修改方法)
支持連續查詢:是數據庫中自動定時啟動的一組語句，和存儲策略搭配可以降低InfluxDB的系統占用量。
原生的HTTP支持，內置HTTP API
支持類似sql語法select * from mysql.user
支持設置數據在集群中的副本數
支持定期采樣數據，寫入另外的measurement，方便分粒度存儲數據。

schemaless: 結構型數據庫類似Mysql需要先定義列，influxdb無需預先定義，無結構的
與傳統數據庫中的名詞比較

influxDB中的名詞	傳統數據庫的概念
database	數據庫
measurement	數據庫中的表
points	表里面的一行數據

influxdb的points數據說明

time：默認存儲數據會有時間，時間無需關心，會幫我們自動插入
tags：用來存儲數據標識，比如CPU.idle
fileds:用來存儲數據 value=90

influxdb下載安裝
下載：
[root@jmeter ~]#wget https://dl.influxdata.com/influxdb/releases/influxdb-1.7.0.x86_64.rpm --no-check-certificate
百度網盤下載地址：https://pan.baidu.com/s/13hKY22krYSLTs9_A2O7KVA
提取碼：sc9z
安裝
[root@jmeter opt]# rpm -ivh influxdb-1.7.0.x86_64.rpm
Preparing... ########################################### [100%]
1:influxdb ########################################### [100%]
安裝完之后，生成默認的配置文件 /etc/influxdb/influxdb.conf

修改influxDB配置文件
在配置文件中找到graphite配置項，去掉前面的“#”號
[root@jmeter opt]# vim /etc/influxdb/influxdb.conf

[[graphite]]
# Determines whether the graphite endpoint is enabled.
enabled = true
database = "jmeter"    # 數據庫名稱
retention-policy = ""
bind-address = ":2003"    # 端口
protocol = "tcp"
consistency-level = "one"

修改以下信息
[meta]
dir = "/usr/local/influxdb/meta"    #存放最終存儲的數據，文件以.tsm結尾
[data]
dir = "/usr/local/influxdb/data"    #存放數據庫元數據 wal
wal-dir = "/usr/local/influxdb/wal"    #存放預寫日志文件

修改HTTP端口信息
[http]
# Determines whether HTTP endpoint is enabled.
enabled = true

# The bind address used by the HTTP service.
bind-address = ":8086"

創建目錄更新權限
[root@jmeter ~]#mkdir -p /usr/local/influxdb/
[root@jmeter ~]#chown -R influxdb:influxdb /usr/local/influxdb/
修改完成之后，可以使用以下命令啟動influxDB服務
兩種方法：
1、[root@jmeter ~]# influxd -config /etc/influxdb/influxdb.conf

2、添加到環境變量中(推薦）
[root@jmeter ~]# vim /etc/profile
export INFLUXDB_CONFIG_PATH=/etc/influxdb/influxdb.conf
[root@jmeter ~]# source /etc/profile
[root@jmeter ~]# influxd &
influxDB的tcp端口：8088
查看端口有沒有起來
[root@jmeter ~]# netstat -anp|grep 8088
influxDB數據庫操作

[root@jmeter ~]# influx    # 登錄數據庫
Connected to http://localhost:8086 version 1.6.0
InfluxDB shell version: 1.6.0
> show databases    # 查看數據庫
name: databases
name
----
_internal
jmeter
> create database "jmeter"    # 創建數據庫
> use jmeter    #切換數據庫
Using database jmeter
> create user "admin" with password '123456' with all privileges    # 創建管理員權限的用戶

Jmeter配置

創建一個測試計划，並添加Backend Listenter，Backend Listener implementation 選擇org.apache.jmeter.visualizers.backend.graphite.GraphiteBackendListenerClient
添加線程
設置influxDB IP及端口
運行測試，等待幾秒看數據

端口說明

2003端口：Jmeter往數據庫發數據的端口
8086端口，Grafana從數據庫取數據的端口

查看Jmeter數據庫的表信息

[root@jmeter ~]# influx
Connected to http://localhost:8086 version 1.6.0
InfluxDB shell version: 1.6.0
> show measurements
ERR: database name required
Warning: It is possible this error is due to not setting a database.
Please set a database with the command "use <database>".
> show databases
name: databases
name
----
_internal
jmeter
> use jmeter
Using database jmeter
> show measurements
name: measurements
name
----
jmeter.all.a.avg
jmeter.all.a.count
jmeter.all.a.max
jmeter.all.a.min
jmeter.all.a.pct90
jmeter.all.a.pct95
jmeter.all.a.pct99
jmeter.all.h.count
jmeter.all.ko.avg
jmeter.all.ko.count
jmeter.all.ko.max
jmeter.all.ko.min
jmeter.all.ko.pct90
jmeter.all.ko.pct95
jmeter.all.ko.pct99
jmeter.all.ok.avg
jmeter.all.ok.count
jmeter.all.ok.max
jmeter.all.ok.min
jmeter.all.ok.pct90
jmeter.all.ok.pct95
jmeter.all.ok.pct99
jmeter.all.rb.bytes
jmeter.all.sb.bytes
jmeter.test.endedT
jmeter.test.maxAT
jmeter.test.meanAT
jmeter.test.minAT
jmeter.test.startedT

這個時候已經可以將統計數據成功發送到InfluxDB

Grafana和influxDB數據源配置
什么是Grafana
Grafana是一款可視化工具，大多使用在時序數據的監控方面，如同Kibana類似。Grafana的UI更加靈活，有豐富的插件，功能強大，數據源可以使用zabbix、influxdb等
grafana的下載和安裝
官網：https://grafana.com/grafana/download
下載地址：https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.2.1-1.x86_64.rpm
安裝：rpm -ivh grafana-5.2.1-1.x86_64.rpm

啟動
[root@jmeter ~]# service grafana-server start
Starting Grafana Server: ... [ OK ]

瀏覽器訪問：http://IP:3000/login
grafana的默認用戶名密碼都是admin，第一次登錄會要求更改密碼

創建influxDB數據源

單擊save & Test，提示：data source is working，說明保存和連接成功

創建dashboard

新建Graph面板

數據綁定

選擇influxdb的數據源庫名，jmeter的相關表

查看SQL語句

定義顯示的名稱

保存數據模板
直接按ctrl+s或點擊保存按鈕

說明：想要了解這些監控都代表什么意思，可以訪問Jmeter的官網地址去查看閱讀“http://jmeter.apache.org/usermanual/realtime-results.html”

線程數/用戶相關指標
test.minAT-Min active threads：最小活躍線程數
test.maxAT-Max active threads：最大活躍線程數
test.meanAT-Mean active threads：活躍線程數
test.startedT-Started threads：啟動線程數
test.endedT-Finished threads：結束線程數
響應時間指標
.ok.count：采樣器的成功響應數
.h.count：每秒點擊數
.ok.min：采樣器成功最短響應時間
.ok.max：采樣器成功最長響應時間
.ok.avg：采樣器成功平均響應時間
.ok.pct：采樣器成功響應百分比
.ko.count：采樣器失敗響應數
.ko.min：采樣器失敗的響應最短時間
.ko.max：采樣稱失敗最長響應時間
.ko.avg：采樣器失敗平均響應時間
.ko.pct：采樣器失敗響應百分比
.a.count：采樣器響應數（ok.count和ko.count的總和）
.a.min：采樣器最小響應時間（ok.count和ko.count的最小值）
.a.max：采樣器最大響應時間（ok.count和ko.count的最大值）
.a.avg：采樣器平均響應時間（ok.count和ko.count的平均值）
.a.pct：采樣器響應百分比（根據和失敗樣本的總數計算）
Backend Listener的默認百分位設置為“90;95;99”，即百分位數為90％，95％和99％。
Graphite使用點（“.”）去拆分的元素，這可能與十進制百分位值混淆。JMeter轉換任何此類值，用下划線（“ - ”）替換點（“.”）。例如，“99.9 ”變為“99_9 ”
默認情況下，JMeter發送在samplerName“all”下累計的所有采樣器的指標。 如果配置了 BackendListenerSamplersList，那么JMeter還會發送匹配樣本名稱的指標，前提是配置 summaryOnly=true