第1章 監控知識基本概述
1.為什么要使用監控
1.對系統不間斷實時監控
2.實時反饋系統當前狀態
3.保證服務可靠性安全性
4.保證業務持續穩定運行
2.流行的監控工具
1.Zabbix
2.Open-Falcon 小米
3.Prometheus(普羅米修斯， Docker、 K8s)
3.如果去到一家新公司，如何入手監控
1.硬件監控 路由器、交換機、防火牆
2.系統監控 CPU、內存、磁盤、網絡、進程、 TCP
3.服務監控 nginx、 php、 tomcat、 redis、 memcache、 mysql
4.WEB 監控 請求時間、響應時間、加載時間、
5.日志監控 ELk（收集、存儲、分析、展示） 日志易
6.安全監控 Firewalld、 WAF(Nginx+lua)、安全寶、牛盾雲、安全狗
7.網絡監控 smokeping 多機房
8.業務監控 活動引入多少流量、產生多少注冊量、帶來多大價值
第2章 單機時代如何監控
CPU 監控命令: w、 top、 htop、 glances
%Cpu(s): 0.3 us, 0.3 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
us 用戶態: 跟用戶的操作有關 35%
sy 系統態: 跟內核的處理有關 60%
id CPU 空閑:
內存監控命令: free
[root@m01 ~]# free -h
total used free shared buff/cache available
Mem: 977M 105M 724M 6.6M 148M 729M
Swap: 1.0G 0B 1.0G
磁盤監控命令: df、 iotop
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 0.80 25.32 33.36 221034 291193
設備名 每秒傳輸次數 每秒讀大小 每秒寫大小 讀的總大小 寫的總大小
網絡監控命令: ifconfig、 route、 glances、 iftop、 nethogs、 netstat
單位換算
Mbps 100Mbps/8
MB 12MB
iftop 中間的<= =>這兩個左右箭頭，表示的是流量的方向。
TX：發送流量、 RX：接收流量、 TOTAL：總流量
#查看 TCP11 中狀態
netstat -an|grep ESTABLISHED
netstat -rn # 查看路由信息
netstat -lntup
2.隨着時間的推移，用戶不斷的增多，服務隨時可能扛不住會被 oom(out of memory)，當系統內存不足的時候，會
觸發 oom
1.當系統內存不足的時候就會大量使用 swap
2.當系統大量使用 swap 的時候，系統會特別卡
注意: 有時可能內存還有剩余 300Mb-500Mb，但會發現 swap 依然被使用
[root@ZabbixServer ~]# dd if=/dev/zero of=/dev/null bs=800M
[root@ZabbixServer ~]# tail -f /var/log/messages
Out of memory: Kill process 2227 (dd) score 778 or sacrifice child
Killed process 2227 (dd) total-vm:906724kB, anon-rss:798820kB, file-rss:0kB
3.那單機時代，如何使用 shell 腳本來實現服務器的監控
需求: 每隔 1 分鍾監控一次內存,當你的可用內存低於 100m,發郵件報警,要求顯示剩余內存
1.怎么獲取內存可用的值 free -m|awk '/^Mem/{print $NF}'
2.獲取到內存可用的值如何和設定的閾值進行比較
3.比較如果大於 100m 則不處理，如果小於 100 則報警
4.如何每隔 1 分鍾執行一次
[root@ZabbixServer ~]# cat free.sh
#!/usr/bin/bash
HostName=$(hostname)_$(hostname -i)
Date=$(date +%F)
while true;do
Free=$(free -m|awk '/^Mem/{print $NF}')
if [ $Free -le 100 ];then
echo "$Date: $HostName Mem Is < ${Free}MB"
fi
sleep 5
done
第3章 zabbix 監控快速安裝
1.配置zabbix倉庫
[root@m01 ~]# rpm -ivh https://mirrors.tuna.tsinghua.edu.cn/zabbix/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-1.el7.noarch.rpm
[root@m01 ~]# sed -i 's#repo.zabbix.com#mirrors.tuna.tsinghua.edu.cn/zabbix#g' /etc/yum.repos.d/zabbix.repo
2.安裝 Zabbix 程序包，以及 MySQL、 Zabbix-agent
[root@m01 ~]# yum install -y zabbix-server-mysql zabbix-web-mysql zabbix-agent mariadb-server
[root@m01 ~]# systemctl start mariadb.service && systemctl enable mariadb.service
3.創建 Zabbix 數據庫以及用戶
[root@m01 ~]# mysqladmin password 123456
[root@m01 ~]# mysql -uroot -p123456
MariaDB [(none)]> create database zabbix character set utf8 collate utf8_bin;
MariaDB [(none)]> grant all privileges on zabbix.* to zabbix@localhost identified by 'zabbix';
MariaDB [(none)]> flush privileges;
4.導入 Zabbix 數據至數據庫中
[root@m01 ~]# zcat /usr/share/doc/zabbix-server-mysql-4.0.11/create.sql.gz | mysql -uzabbix -pzabbix zabbix
5.編輯/etc/zabbix/zabbix_server.conf 文件，修改數據庫配置
[root@m01 ~]# grep "^[a-Z]" /etc/zabbix/zabbix_server.conf
...............
DBHost=localhost
DBName=zabbix
DBUser=zabbix
DBPassword=zabbix
...............
6.啟動 Zabbix 服務進程，並加入開機自啟
[root@m01 ~]# systemctl start zabbix-server.service
[root@m01 ~]# systemctl enable zabbix-server.service
7.配置 Apache 的配置文件/etc/httpd/conf.d/zabbix.conf，修改時區
[root@m01 ~]# grep "Shanghai" /etc/httpd/conf.d/zabbix.conf
php_value date.timezone Asia/Shanghai
8.重啟 Apache Web 服務器
[root@m01 ~]# systemctl start httpd
第4章 WEB安裝步驟
1.瀏覽器打開地址：http://10.0.1.61/zabbix/setup.php
2.檢查依賴項是否存在異常
3.配置zabbix連接數據庫
4.配置 ZabbixServer 服務器的信息
5.最終確認檢查
6.安裝成功
提示已成功地安裝了 Zabbix 前端。配置文件/etc/zabbix/web/zabbix.conf.php 被創建。
7.登陸zabbix
默認登陸 ZabbixWeb 的用戶名 Admin，密碼 zabbix
8.調整字符集為中文
9.修復中文亂碼
打開圖形之后會發現語言為亂碼，原因是缺少字體
解決方法:安裝字體並替換現有字體
[root@m01 ~]# yum install wqy-microhei-fonts -y
[root@m01 ~]# cp /usr/share/fonts/wqy-microhei/wqy-microhei.ttc /usr/share/zabbix/assets/fonts/graphfont.ttf
再次刷新發現已經變成中文了
第5章 Zabbix 監控基礎架構
zabbix-agent(數據采集)—>zabbix-server(數據分析|報警)—> 數據庫(數據存儲)<—zabbix web(數據展示)
第6章 zabbix 快速監控主機
1.安裝zabbix-agent
[root@web01 ~]# rpm -ivh https://mirror.tuna.tsinghua.edu.cn/zabbix/zabbix/4.0/rhel/7/x86_64/zabbix-agent-4.0.11-1.el7.x86_64.rpm
2.配置zabbix-agent
[root@web01 ~]# grep "^[a-Z]" /etc/zabbix/zabbix_agentd.conf
PidFile=/var/run/zabbix/zabbix_agentd.pid
LogFile=/var/log/zabbix/zabbix_agentd.log
LogFileSize=0
Server=10.0.1.61
ServerActive=127.0.0.1
Hostname=Zabbix server
Include=/etc/zabbix/zabbix_agentd.d/*.conf
3.啟動zabbix-agent並檢查
[root@web01 ~]# systemctl start zabbix-agent.service
[root@web01 ~]# systemctl enable zabbix-agent.service
[root@web01 ~]# netstat -lntup|grep 10050
tcp 0 0 0.0.0.0:10050 0.0.0.0:* LISTEN 10351/zabbix_agentd
tcp6 0 0 :::10050 :::* LISTEN 10351/zabbix_agentd
4.zabbix-web界面，添加主機
第7章 自定義監控主機小試身手
1.監控需求
監控TCP11種狀態集
2.命令行實現
[root@web01 ~]# netstat -ant|grep -c TIME_WAIT
55
[root@web01 ~]# netstat -ant|grep -c LISTEN
12
3.編寫zabbix監控文件(傳參形式)
[root@web01 ~]# cat /etc/zabbix/zabbix_agentd.d/tcp_status.conf
UserParameter=tcp_state[*],netstat -ant|grep -c $1
root@web01 ~]# systemctl restart zabbix-agent.service
4.server端進行測試
[root@m01 ~]# rpm -ivh https://mirrors.tuna.tsinghua.edu.cn/zabbix/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-1.el7.noarch.rpm
[root@m01 ~]# yum install zabbix-get.x86_64 -y
[root@m01 ~]# zabbix_get -s 10.0.1.7 -k tcp_state[TIME_WAIT]
51
[root@m01 ~]# zabbix_get -s 10.0.1.7 -k tcp_state[LISTEN]
12
5.web端添加
6.克隆監控項
由於TCP有多種狀態，需要添加多個監控項，我們可以使用克隆快速達到創建的效果
其他的狀態依次添加即可
7.創建圖形
8.查看圖形
9.設置觸發器
第8章 郵件報警
1.定義發件人
2.定義收件人
3.自定義報警內容
定制報警內容：
https://www.zabbix.com/documentation/4.0/zh/manual/appendix/macros/supported_by_location
參考博客
https://www.cnblogs.com/bixiaoyu/p/7302541.html
發送警告
報警郵件標題可以使用默認信息，亦可使用如下中文報警內容
名稱：Action-Email
默認標題：故障{TRIGGER.STATUS},服務器:{HOSTNAME1}發生: {TRIGGER.NAME}故障!
告警主機:{HOSTNAME1}
告警時間:{EVENT.DATE} {EVENT.TIME}
告警等級:{TRIGGER.SEVERITY}
告警信息: {TRIGGER.NAME}
告警項目:{TRIGGER.KEY1}
問題詳情:{ITEM.NAME}:{ITEM.VALUE}
當前狀態:{TRIGGER.STATUS}:{ITEM.VALUE1}
事件ID:{EVENT.ID}
恢復警告
恢復標題：恢復{TRIGGER.STATUS}, 服務器:{HOSTNAME1}: {TRIGGER.NAME}已恢復!
恢復信息：
告警主機:{HOSTNAME1}
告警時間:{EVENT.DATE} {EVENT.TIME}
告警等級:{TRIGGER.SEVERITY}
告警信息: {TRIGGER.NAME}
告警項目:{TRIGGER.KEY1}
問題詳情:{ITEM.NAME}:{ITEM.VALUE}
當前狀態:{TRIGGER.STATUS}:{ITEM.VALUE1}
事件ID:{EVENT.ID}
第9章 微信報警
1.查看配置文件里的腳本目錄路徑
[root@m01 ~]# grep "^AlertScriptsPath" /etc/zabbix/zabbix_server.conf
AlertScriptsPath=/usr/lib/zabbix/alertscripts
2.將weixin.py放在zabbix特定目錄
[root@m01 /usr/lib/zabbix/alertscripts]# ll
總用量 4
-rwxr-xr-x 1 root root 1344 8月 7 21:58 weixin.py
3.配置發信人
4.配置收信人
5.登陸企業微信公眾號添加賬戶
https://work.weixin.qq.com/wework_admin/loginpage_wx
1.登陸后在企業號上新建應用
2.上傳logo，填寫應用名稱 ，應用介紹等
3.查看啟動應用
同時會生成應用的AgentId以及Secret，這個在后面步驟會有用
4.接口調用測試
http://work.weixin.qq.com/api/devtools/devtool.php
這里的corpid為公司ID
Corpsecret就是剛才創建應用生成的Secrt，確認沒問題填寫進去然后下一步
如果沒問題會顯示200狀態碼
6.添加成員
7.關注公眾號
8.查看自己的賬號
9.修改腳本里的信息
[root@m01 /usr/lib/zabbix/alertscripts]# cat weixin.py
..............
corpid='微信企業號corpid'
appsecret='應用的Secret'
agentid=應用的id
..............
10.發信測試
[root@m01 /usr/lib/zabbix/alertscripts]# python weixin.py 你的賬號 '發信測試' ‘微信測試消息’
11.微信號上查看
12.發送到整個微信組
雖然我們實現了發送到單個用戶的功能，但是如果我們的用戶比較多，這樣還是麻煩的，不過我們可以發送到整個組，其實腳本里已經預留好了配置，只不過默認注釋了。
將腳本修改為以下內容，注釋掉用戶，打開組設置
#!/usr/bin/env python
import requests
import sys
import os
import json
import logging
logging.basicConfig(level = logging.DEBUG, format = '%(asctime)s, %(filename)s, %(levelname)s, %(message)s',
datefmt = '%a, %d %b %Y %H:%M:%S',
filename = os.path.join('/tmp','weixin.log'),
filemode = 'a')
corpid='wwd26fdfb9940e7efa'
appsecret='Btg89FnZfMu0k7l6b4iagmAR5Z9TCgKknYbx-SMQvmg'
agentid=1000005
token_url='https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=' + corpid + '&corpsecret=' + appsecret
req=requests.get(token_url)
accesstoken=req.json()['access_token']
msgsend_url='https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=' + accesstoken
#touser=sys.argv[1]
toparty=sys.argv[1]
subject=sys.argv[2]
message=sys.argv[2] + "\n\n" +sys.argv[3]
params={
#"touser": touser,
"toparty": toparty,
"msgtype": "text",
"agentid": agentid,
"text": {
"content": message
},
"safe":0
}
req=requests.post(msgsend_url, data=json.dumps(params))
logging.info('sendto:' + toparty + ';;subject:' + subject + ';;message:' + message)
12.隨機發送到指定用戶玩笑腳本
#!/bin/bash
num=$(echo $(($RANDOM%28+1)))
name=$(sed -n "${num}p" name.txt)
ok_boy=$(grep -v "${name}" name.txt)
for ok in ${ok_boy}
do
python weixin.py ${ok} "$1" "$2"
done
13.bash腳本發送微信
cat > weixin.sh << EOF
#!/bin/bash
#需要將下列信息修改為自己注冊的企業微信信息
#應用ID
agentid='xxxxxx'
#secretID
corpsecret='xxxxxxx'
#企業ID
corpid='xxxxxxxx'
#接受者的賬戶，由zabbix傳入
#user=$1
group=$1
#報警郵件標題，由zabbix傳入
title=$2
#報警郵件內容，由zabbix傳入
message=$3
#獲取token信息，需要在鏈接里帶入ID
token=$(curl -s -X GET "https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=${corpid}&corpsecret=${corpsecret}"|awk -F \" '{print $10}')
#構造語句執行發送動作
curl -s -H "Content-Type: application/json" -X POST "https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=${token}" -d'
{
"toparty" : "'"${group}"'",
"msgtype" : "text",
"agentid" : '"${agentid}"',
"text" : {
"content" : "'"${title}\n\n${message}"'"
},
"safe":0
}' >> /tmp/weixin.log
#將報警信息寫入日志文件
echo -e "\n報警時間:$(date +%F-%H:%M)\n報警標題:${title}\n報警內容:${message}" >> /tmp/weixin.log
EOF
第10章 釘釘報警
1.創建釘釘機器人
第一步：創建自定義機器人
第二步：配置關鍵詞
第三步：記錄webhook值
2.編寫報警腳本
cat > dingding.py << 'EOF'
#!/usr/bin/python2.7
#coding:utf-8
#zabbix釘釘報警
import requests,json,sys,os,datetime
webhook="https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxxxxxxxxxxxx"
user=sys.argv[1]
text=sys.argv[2] + "\n\n" + sys.argv[3]
data={
"msgtype": "text",
"text": {
"content": text
},
"at": {
"atMobiles": [
user
],
"isAtAll": False
}
}
headers = {'Content-Type': 'application/json'}
x=requests.post(url=webhook,data=json.dumps(data),headers=headers)
if os.path.exists("/tmp/dingding.log"):
f=open("/tmp/dingding.log","a+")
else:
f=open("/tmp/dingding.log","w+")
f.write("\n"+"--"*30)
if x.json()["errcode"] == 0:
f.write("\n"+str(datetime.datetime.now())+" "+str(user)+" "+"發送成功"+"\n"+str(text))
f.close()
else:
f.write("\n"+str(datetime.datetime.now()) + " " + str(user) + " " + "發送失敗" + "\n" + str(text))
f.close()
EOF
3.測試發送
./dingding.py 15321312624 這是標題 zabbix故障
4.web頁面配置
和微信腳本配置步驟一樣，這里不再敘述
第11章 自定義模版
1.監控TCP11種狀態
編寫zabbix配置文件
[root@web01 /etc/zabbix/zabbix_agentd.d]# cat zbx_tcp.conf
UserParameter=ESTABLISHED,netstat -ant|grep -c 'ESTABLISHED'
UserParameter=SYN_SENT,netstat -ant|grep -c 'SYN_SENT'
UserParameter=SYN_RECV,netstat -ant|grep -c 'SYN_RECV'
UserParameter=FIN_WAIT1,netstat -ant|grep -c 'FIN_WAIT1'
UserParameter=FIN_WAIT2,netstat -ant|grep -c 'FIN_WAIT2'
UserParameter=TIME_WAIT,netstat -ant|grep -c 'TIME_WAIT'
UserParameter=CLOSE,netstat -ant|grep -c 'CLOSE'
UserParameter=CLOSE_WAIT,netstat -ant|grep -c 'CLOSE_WAIT'
UserParameter=LAST_ACK,netstat -ant|grep -c 'LAST_ACK'
UserParameter=LISTEN,netstat -ant|grep -c 'LISTEN'
UserParameter=CLOSING,netstat -ant|grep -c 'CLOSING'
2.重啟zabbix-agent
[root@web01 ~]# systemctl restart zabbix-agent.service
3.測試監控項
使用zabbix-get命令測試
[root@m01 ~]# yum install zabbix-get.x86_64 -y
[root@m01 ~]# zabbix_get -s 10.0.1.7 -k ESTABLISHED
2
[root@m01 ~]# zabbix_get -s 10.0.1.7 -k LISTEN
12
3.導入模版文件
4.主機關聯模版文件
5.查看最新數據
6.查看圖形
第12章 自定義模版監控nginx狀態
1.開啟監控頁面並訪問測試
[root@web01 ~]# cat /etc/nginx/conf.d/status.conf
server {
listen 80;
server_name localhost;
location /nginx_status {
stub_status on;
access_log off;
}
}
[root@web01 ~]# curl 127.0.0.1/nginx_status/
Active connections: 1
server accepts handled requests
6 6 6
Reading: 0 Writing: 1 Waiting: 0
2.准備nginx監控狀態腳本
[root@web01 /etc/zabbix/zabbix_agentd.d]# cat nginx_monitor.sh
#!/bin/bash
NGINX_COMMAND=$1
CACHEFILE="/tmp/nginx_status.txt"
CMD="/usr/bin/curl http://127.0.0.1/nginx_status/"
if [ ! -f $CACHEFILE ];then
$CMD >$CACHEFILE 2>/dev/null
fi
# Check and run the script
TIMEFLM=`stat -c %Y $CACHEFILE`
TIMENOW=`date +%s`
if [ `expr $TIMENOW - $TIMEFLM` -gt 60 ]; then
rm -f $CACHEFILE
fi
if [ ! -f $CACHEFILE ];then
$CMD >$CACHEFILE 2>/dev/null
fi
nginx_active(){
grep 'Active' $CACHEFILE| awk '{print $NF}'
exit 0;
}
nginx_reading(){
grep 'Reading' $CACHEFILE| awk '{print $2}'
exit 0;
}
nginx_writing(){
grep 'Writing' $CACHEFILE | awk '{print $4}'
exit 0;
}
nginx_waiting(){
grep 'Waiting' $CACHEFILE| awk '{print $6}'
exit 0;
}
nginx_accepts(){
awk NR==3 $CACHEFILE| awk '{print $1}'
exit 0;
}
nginx_handled(){
awk NR==3 $CACHEFILE| awk '{print $2}'
exit 0;
}
nginx_requests(){
awk NR==3 $CACHEFILE| awk '{print $3}'
exit 0;
}
case $NGINX_COMMAND in
active)
nginx_active;
;;
reading)
nginx_reading;
;;
writing)
nginx_writing;
;;
waiting)
nginx_waiting;
;;
accepts)
nginx_accepts;
;;
handled)
nginx_handled;
;;
requests)
nginx_requests;
;;
*)
echo 'Invalid credentials';
exit 2;
esac
3.編寫zabbix監控配置文件
[root@web01 ~]# cat /etc/zabbix/zabbix_agentd.d/nginx_status.conf
UserParameter=nginx_status[*],/bin/bash /etc/zabbix/zabbix_agentd.d/nginx_monitor.sh $1
[root@web01 ~]# systemctl restart zabbix-agent.service
4.使用zabbix_get取值
[root@m01 ~]# zabbix_get -s 10.0.1.7 -k nginx_status[accepts]
7
5.導入模版
6.鏈接模版
7.查看數據
第13章 自定義模版監控php狀態
1.開啟監控頁面
[root@web01 ~]# tail -1 /etc/php-fpm.d/www.conf
pm.status_path = /php_status
[root@web01 ~]# cat /etc/nginx/conf.d/status.conf
server {
listen 80;
server_name localhost;
location /nginx_status {
stub_status on;
access_log off;
}
location /php_status {
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME html$fastcgi_script_name;
include fastcgi_params;
}
}
[root@web01 ~]# nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
[root@web01 ~]# systemctl restart nginx.service php-fpm.service
2.訪問測試
[root@web01 ~]# curl 127.0.0.1/php_status
pool: www
process manager: dynamic
start time: 08/Aug/2019:22:31:27 +0800
start since: 37
accepted conn: 1
listen queue: 0
max listen queue: 0
listen queue len: 128
idle processes: 4
active processes: 1
total processes: 5
max active processes: 1
max children reached: 0
slow requests: 0
3.准備訪問腳本
[root@web01 ~]# cat /etc/zabbix/zabbix_agentd.d/fpm.sh
#!/bin/bash
##################################
# Zabbix monitoring script
#
# php-fpm:
# - anything available via FPM status page
#
##################################
# Contact:
# vincent.viallet@gmail.com
##################################
# ChangeLog:
# 20100922 VV initial creation
##################################
# Zabbix requested parameter
ZBX_REQ_DATA="$1"
ZBX_REQ_DATA_URL="$2"
# Nginx defaults
NGINX_STATUS_DEFAULT_URL="http://localhost/fpm/status"
WGET_BIN="/usr/bin/wget"
#
# Error handling:
# - need to be displayable in Zabbix (avoid NOT_SUPPORTED)
# - items need to be of type "float" (allow negative + float)
#
ERROR_NO_ACCESS_FILE="-0.91"
ERROR_NO_ACCESS="-0.92"
ERROR_WRONG_PARAM="-0.93"
ERROR_DATA="-0.94" # either can not connect / bad host / bad port
# Handle host and port if non-default
if [ ! -z "$ZBX_REQ_DATA_URL" ]; then
URL="$ZBX_REQ_DATA_URL"
else
URL="$NGINX_STATUS_DEFAULT_URL"
fi
# save the nginx stats in a variable for future parsing
NGINX_STATS=$($WGET_BIN -q $URL -O - 2>/dev/null)
# error during retrieve
if [ $? -ne 0 -o -z "$NGINX_STATS" ]; then
echo $ERROR_DATA
exit 1
fi
#
# Extract data from nginx stats
#
#RESULT=$(echo "$NGINX_STATS" | awk 'print $0;match($0, "^'"$ZBX_REQ_DATA"':[[:space:]]+(.*)", a) { print a[1] }')
#RESULT=$(echo "$NGINX_STATS" | grep "$ZBX_REQ_DATA" | awk -F : '{print $2}')
RESULT=$(echo "$NGINX_STATS" | awk -F : "{if(\$1==\"$ZBX_REQ_DATA\") print \$2}")
if [ $? -ne 0 -o -z "$RESULT" ]; then
echo $ERROR_WRONG_PARAM
exit 1
fi
echo $RESULT
exit 0
[root@web01 ~]# bash /etc/zabbix/zabbix_agentd.d/fpm.sh "total processes" http://127.0.0.1/php_status
5
4.准備zabbix配置文件
[root@web01 ~]# cat /etc/zabbix/zabbix_agentd.d/fpm.conf
UserParameter=php-fpm[*],/etc/zabbix/zabbix_agentd.d/fpm.sh "$1" "$2"
[root@web01 ~]# systemctl restart zabbix-agent.service
4.使用zabbix_get取值
[root@m01 ~]# zabbix_get -s 10.0.1.7 -k php-fpm["total processes",http://127.0.0.1/php_status]
5
5.導入模版
導入之后需要修改一下模版里的宏配置
第14章 WEB監控
需求，監控頁面狀態碼
第x章 故障記錄
故障1
故障現象：
提示zabbix-server is not running
報錯日志：
34983:20190807:202215.171 database is down: reconnecting in 10 seconds
34983:20190807:202225.172 [Z3001] connection to database 'zabbix' failed: [1045] Access denied for user 'zabbix'@'localhost' (using password: NO)
故障原因：
zabbix-server的配置文件里配有配置數據庫密碼
故障解決：
添加正確的數據庫賬號密碼信息
[root@m01 ~]# grep "^DB" /etc/zabbix/zabbix_server.conf
DBHost=localhost
DBName=zabbix
DBUser=zabbix
DBPassword=zabbix
故障2
故障現象：微信報警失敗
報錯日志：
[root@m01 ~]# tail -f /var/log/zabbix/zabbix_server.log
Problem name: TIME_WAIT過多
Host: web01
Severity: Average
Original problem ID: 51
'": Traceback (most recent call last):
File "/usr/lib/zabbix/alertscripts/weixin.py", line 7, in <module>
import requests
ImportError: No module named requests
問題原因：
缺少模塊 requests
問題解決：
安裝缺失的依賴包
[root@m01 ~]# yum install python-pip
[root@m01 ~]# pip install --upgrade pip
[root@m01 ~]# pip install requests
故障3
故障現象：
在server端使用zabbix_get命令測試鍵值命令時提示警告
[root@m01 ~]# zabbix_get -s 10.0.1.7 -k ESTABLISHED
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
2
問題原因：
zabbix_agent是以普通用戶zabbix運行的，而普通用戶執行netstat -antp時會有警告，網上查找發現只要不是用p參數就可以以普通用戶運行
解決方案：
監控腳本里的命令修改為netstat -ant
第15章 Grafana自定義圖形
1.安裝grafana
[root@m01 /data/soft]# wget https://dl.grafana.com/oss/release/grafana-6.3.2-1.x86_64.rpm
[root@m01 /data/soft]# yum localinstall grafana-6.3.2-1.x86_64.rpm -y
[root@m01 /data/soft]# systemctl start grafana-server.service
[root@m01 /data/soft]# systemctl enable grafana-server.service
訪問grafana：http://10.0.0.61:3000
賬號密碼：admin admin
2.安裝並激活zabbix插件
[root@m01 ~]# grafana-cli plugins list-remote|grep zabbix
id: alexanderzobnin-zabbix-app version: 3.10.4
[root@m01 ~]# grafana-cli plugins install alexanderzobnin-zabbix-app
[root@m01 ~]# systemctl restart grafana-server.service
網頁操作-激活zabbix插件
網頁操作-添加zabbix數據源
網頁操作-導入模版
3.數據展示
4.自定義圖形儀表盤
5.自定義圖形餅圖
1.安裝插件
在線安裝方式
grafana-cli plugins install grafana-piechart-panel
離線安裝方式
wget -nv https://grafana.com/api/plugins/grafana-piechart-panel/versions/latest/download -O /tmp/grafana-piechart-panel.zip
unzip -q /tmp/grafana-piechart-panel.zip -d /tmp
mv /tmp/grafana-piechart-panel-* /var/lib/grafana/plugins/grafana-piechart-panel
service grafana-server restart
2.配置圖形
第16章 percona模版監控mysql
參考強哥的博客
https://www.qstack.com.cn/archives/213.html
1.安裝php環境
percona需要php環境
[root@m01 /data/soft]# yum install php php-mysql -y
2.下載軟件
注意，安裝完成后會有提示模版的路徑位置
[root@m01 ~]# cd /data/soft/
[root@m01 /data/soft]# wget https://www.percona.com/downloads/percona-monitoring-plugins/percona-monitoring-plugins-1.1.8/binary/redhat/7/x86_64/percona-zabbix-templates-1.1.8-1.noarch.rpm
[root@m01 /data/soft]# rpm -ivh percona-zabbix-templates-1.1.8-1.noarch.rpm
警告：percona-zabbix-templates-1.1.8-1.noarch.rpm: 頭V4 DSA/SHA1 Signature, 密鑰 ID cd2efd2a: NOKEY
准備中... ################################# [100%]
正在升級/安裝...
1:percona-zabbix-templates-1.1.8-1 ################################# [100%]
Scripts are installed to /var/lib/zabbix/percona/scripts
Templates are installed to /var/lib/zabbix/percona/templates
3.查看目錄
進入安裝目錄會發現有2個目錄，一個是腳本目錄，一個是模版目錄
[root@m01 ~]# cd /var/lib/zabbix/percona/
[root@m01 /var/lib/zabbix/percona]# tree
.
├── scripts
│ ├── get_mysql_stats_wrapper.sh
│ └── ss_get_mysql_stats.php
└── templates
├── userparameter_percona_mysql.conf
└── zabbix_agent_template_percona_mysql_server_ht_2.0.9-sver1.1.8.xml
其中腳本目錄里有2個腳本，用來獲取數據庫信息
[root@m01 /var/lib/zabbix/percona]# cd scripts/
[root@m01 /var/lib/zabbix/percona/scripts]# ls
get_mysql_stats_wrapper.sh ss_get_mysql_stats.php
4.修改get_mysql_stats_wrapper.sh
修改get_mysql_stats_wrapper數據庫登陸信息
第19行添加mysql賬號密碼
[root@m01 v]# sed -n '19p' get_mysql_stats_wrapper.sh
RES=`HOME=~zabbix mysql -uroot -p123456 -e 'SHOW SLAVE STATUS\G' | egrep '(Slave_IO_Running|Slave_SQL_Running):' | awk -F: '{print $2}' | tr '\n'
5.修改ss_get_mysql_stats.php
[root@m01 /var/lib/zabbix/percona/scripts]# sed -n '30,31p' ss_get_mysql_stats.php
$mysql_user = 'root';
$mysql_pass = '123456';
6.復制自定義監控項配置文件到zabbix目錄
[root@m01 ~]# cd /var/lib/zabbix/percona/templates/
[root@m01 /var/lib/zabbix/percona/templates]# cp userparameter_percona_mysql.conf /etc/zabbix/zabbix_agentd.d/
[root@m01 /var/lib/zabbix/percona/templates]# cd /etc/zabbix/zabbix_agentd.d/
[root@m01 /etc/zabbix/zabbix_agentd.d]# ls
userparameter_mysql.conf userparameter_percona_mysql.conf
7.重啟agent
[root@m01 ~]# systemctl restart zabbix-agent
8.測試key
[root@m01 ~]# zabbix_get -s 10.0.1.61 -k MySQL.Sort-scan
16
9.導入模版
官方自帶的模版有點問題，需要先裝在2.x版本然后導出來，這里使用網友已經修改好的模版上傳
http://pan.baidu.com/s/1pL1wDYj
10.主機鏈接模版
xx.報錯解決
查看監控發現沒有數據顯示不支持類型
查看zabbix-server發現因為tmp的文件沒有權限，因為剛才手動執行了腳本，所以文件屬性是root，將文件刪除后由zabbix自己創建解決問題
報錯日志如下：
2846:20190811:202708.785 item "Zabbix server:MySQL.State-init" became not supported: Value "rm: 無法刪除"/tmp/localhost-mysql_cacti_stats.txt": 不允許的操作
0" of type "string" is not suitable for value type "Numeric (float)"
2843:20190811:202709.787 item "Zabbix server:MySQL.State-locked" became not supported: Value "rm: 無法刪除"/tmp/localhost-mysql_cacti_stats.txt": 不允許的操作
0" of type "string" is not suitable for value type "Numeric (float)"
2844:20190811:202710.788 item "Zabbix server:MySQL.State-login" became not supported: Value "rm: 無法刪除"/tmp/localhost-mysql_cacti_stats.txt": 不允許的操作
0" of type "string" is not suitable for value type "Numeric (float)"
第17章 自動發現和自動注冊
1.自動發現
web頁面操作
2.自動注冊
修改zabbix-agent配置文件
[root@web02 ~]# cat /etc/zabbix/zabbix_agentd.conf
PidFile=/var/run/zabbix/zabbix_agentd.pid
LogFile=/var/log/zabbix/zabbix_agentd.log
LogFileSize=0
Server=10.0.1.61
ServerActive=10.0.1.61
Hostname=web02
Include=/etc/zabbix/zabbix_agentd.d/*.conf
web頁面操作
刷新查看發現已經添加上了
第18章 主動模式和被動模式
默認為被動模式：100個監控項要100個來回，要的時候才返回
主動模式：100個監控項1個回合，將所需要的100個打包，然后一次發過去，發過去之后，客戶端全部執行完再一次返回給服務端。
1.克隆模版
完全克隆原來被動模式的模版為主動模式
2.修改克隆后的模版為主動模式
3.修改監控主機關聯的模版為主動模式
4.修改客戶端配置文件並重啟
[root@web01 ~]# cat /etc/zabbix/zabbix_agentd.conf
PidFile=/var/run/zabbix/zabbix_agentd.pid
LogFile=/var/log/zabbix/zabbix_agentd.log
LogFileSize=0
Server=10.0.1.61
ServerActive=10.0.1.61
Hostname=web01
Include=/etc/zabbix/zabbix_agentd.d/*.conf
[root@web01 ~]# systemctl restart zabbix-agent.service
5.查看最新數據
發現獲取數據的時間是一樣的
第19章 低級自動發現
監控端口自動發現
1.查看系統自帶分區自動發現
系統自帶的自動發現會顯示紅字，比如自帶的磁盤分區發現規則
1.查看zabbbix所有的key過濾后展示
2.解析成json后的格式
3.過濾規則
實質上是從mount命令獲取的分區名和類型
但是我們zabbix顯示的並沒有這么多
是因為做了正則表達式過濾
而正則表達式是在管理里面配置的
4.使用zabbix_get獲取key
因為根據過濾規則，只發現了一個xfs的key，使用zabbix_get可以查看到這個key
[root@m01 ~]# zabbix_get -s 10.0.1.61 -k vfs.fs.size[{#FSNAME},free]
ZBX_NOTSUPPORTED: Cannot obtain filesystem information: [2] No such file or directory
[root@m01 ~]# zabbix_agentd -p|grep vfs.fs.size
vfs.fs.size[/,free] [u|15713636352]
[root@m01 ~]# zabbix_get -s 10.0.1.61 -k vfs.fs.size[/,free]
15713693696
2.查看系統自帶的網卡自動發現
1.查看網絡自動發現規則
2.過濾規則
2.命令行過濾
[root@m01 ~]# zabbix_agentd -p|grep net.if.discovery
net.if.discovery [s|{"data":[{"{#IFNAME}":"tun0"},{"{#IFNAME}":"eth0"},{"{#IFNAME}":"eth1"},{"{#IFNAME}":"lo"}]}]
3.查看自動添加的監控項
我們會發現添加了四個監控項
2個eth0
2個eth1
4.查看key的值
[root@m01 ~]# zabbix_get -s 10.0.1.61 -k net.if.in[eth0]
2191453
[root@m01 ~]# zabbix_get -s 10.0.1.61 -k net.if.in[eth1]
7152
3.監控mysql多實例
參考強哥博客
[https://www.qstack.com.cn/archives/108.html](https://www.qstack.com.cn/archives/108.html)
1.復制並修改數據庫配置文件
[root@m01 ~]# cp /etc/my.cnf /etc/my3307.cnf
[root@m01 ~]# vim /etc/my3307.cnf
[root@m01 ~]# cat /etc/my3307.cnf
[mysqld]
datadir=/data/3307/
socket=/data/3307/mysql.sock
port=3307
user=mysql
symbolic-links=0
[mysqld_safe]
log-error=/data/3307/mysqld.log
pid-file=/data/3307/mysqld.pid
[root@m01 ~]# cp /etc/my3307.cnf /etc/my3308.cnf
[root@m01 ~]# sed -i 's#3307#3308#g' /etc/my3308.cnf
2.創建數據目錄並初始化
[root@m01 ~]# mkdir /data/{3307,3308}
[root@m01 ~]# chown -R mysql:mysql /data/330*
[root@m01 ~]# mysql_install_db --user=mysql --defaults-file=/etc/my3307.cnf
[root@m01 ~]# mysql_install_db --user=mysql --defaults-file=/etc/my3308.cnf
3.啟動多實例
[root@m01 ~]# mysqld_safe --defaults-file=/etc/my3307.cnf &
[root@m01 ~]# mysqld_safe --defaults-file=/etc/my3308.cnf &
4.檢查端口
[root@m01 ~]# netstat -lntup|grep mysql
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 2042/mysqld
tcp 0 0 0.0.0.0:3307 0.0.0.0:* LISTEN 84790/mysqld
tcp 0 0 0.0.0.0:3308 0.0.0.0:* LISTEN 85439/mysqld
5.創建自動發現配置文件
[root@m01 ~]# vim /etc/zabbix/zabbix_agentd.d/mysql_discovery.conf
[root@m01 ~]# cat /etc/zabbix/zabbix_agentd.d/mysql_discovery.conf
UserParameter=mysql.discovery,/bin/bash /server/scripts/mysql_discovery.sh
6.創建自動發現多實例腳本
[root@m01 ~]# cat /server/scripts/mysql_discovery.sh
#!/bin/bash
#mysql low-level discovery
res=$(netstat -lntp|awk -F "[ :\t]+" '/mysqld/{print$5}')
port=($res)
printf '{'
printf '"data":['
for key in ${!port[@]}
do
if [[ "${#port[@]}" -gt 1 && "${key}" -ne "$((${#port[@]}-1))" ]];then
printf '{'
printf "\"{#MYSQLPORT}\":\"${port[${key}]}\"},"
else [[ "${key}" -eq "((${#port[@]}-1))" ]]
printf '{'
printf "\"{#MYSQLPORT}\":\"${port[${key}]}\"}"
fi
done
printf ']'
printf '}\n'
7.測試自動發現腳本
[root@m01 ~]# bash /server/scripts/mysql_discovery.sh
{"data":[{"{#MYSQLPORT}":"3306"},{"{#MYSQLPORT}":"3307"},{"{#MYSQLPORT}":"3308"}]}
8.重啟zabbix-agent
[root@m01 ~]# systemctl restart zabbix-agent.service
9.zabbix_get測試取key
[root@m01 ~]# zabbix_get -s 10.0.1.61 -k mysql.discovery
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
{"data":[]}
這時我們發現取不出來並提示了個錯誤
原因是zabbix用戶不能使用netstat的-p參數
解決方法為給netstat命令添加s權限
[root@m01 ~]# which netstat
/usr/bin/netstat
[root@m01 ~]# chmod u+s /usr/bin/netstat
然后再次測試就發現可以取到值了
[root@m01 ~]# zabbix_get -s 10.0.1.61 -k mysql.discovery
{"data":[{"{#MYSQLPORT}":"3306"},{"{#MYSQLPORT}":"3307"},{"{#MYSQLPORT}":"3308"}]}
10.web頁面創建自動發現規則模版
11.模仿zabbix自帶的mysql監控配置修改監控項
[root@m01 ~]# cat /etc/zabbix/zabbix_agentd.d/userparameter_mysql.conf
UserParameter=mysql.status[*],echo "show global status where Variable_name='$1';" | HOME=/var/lib/zabbix mysql -uroot -p123456 -P $2 -N | awk '{print $$2}'
[root@m01 ~]# systemctl restart zabbix-agent.service
12.測試訪問監控項
[root@m01 ~]# zabbix_get -s 10.0.1.61 -k mysql.status[Uptime,3307]
23202
[root@m01 ~]# zabbix_get -s 10.0.1.61 -k mysql.status[Uptime,3308]
23204
13.web頁面添加監控項原型
12.web頁面設置主機關聯模版
13.查看是否已經自動添加成功
第20章 zabbix-proxy
1.安裝zabbix-proxy
rpm -ivh https://mirrors.tuna.tsinghua.edu.cn/zabbix/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-1.el7.noarch.rpm
sed -i 's#repo.zabbix.com#mirrors.tuna.tsinghua.edu.cn/zabbix#g' /etc/yum.repos.d/zabbix.repo
yum install zabbix-proxy-mysql mariadb-server
2.創建數據庫以及賬號
systemctl start mariadb.service
mysqladmin password 123456
mysql -uroot -p123456
> create database zabbix_proxy character set utf8 collate utf8_bin;
> grant all privileges on zabbix_proxy.* to zabbix_proxy@localhost identified by 'zabbix_proxy';
> flush privileges;
3.導入Zabbix_proxy數據至數據庫中
zcat /usr/share/doc/zabbix-proxy-mysql-4.0.21/schema.sql.gz|mysql -uzabbix_proxy -pzabbix_proxy zabbix_proxy
4.配置zabbix-proxy
cat >/etc/zabbix/zabbix_proxy.conf<<EOF
ProxyMode=0
Server=172.16.1.61
ServerPort=10051
Hostname=Zabbix_proxy
LogFile=/var/log/zabbix/zabbix_proxy.log
LogFileSize=0
PidFile=/var/run/zabbix/zabbix_proxy.pid
SocketDir=/var/run/zabbix
DBHost=localhost
DBName=zabbix_proxy
DBUser=zabbix_proxy
DBPassword=zabbix_proxy
EOF
5.啟動zabbix-proxy
systemctl start zabbix
6.zabbix客戶端修改配置
cat >/etc/zabbix/zabbix_agentd.conf <<EOF
PidFile=/var/run/zabbix/zabbix_agentd.pid
LogFile=/var/log/zabbix/zabbix_agentd.log
LogFileSize=0
Server=172.16.1.8
ServerActive=172.16.1.8
HostMetadata=Linux
Include=/etc/zabbix/zabbix_agentd.d/*.conf
EOF
systemctl restart zabbix-agent
7.web頁面添加代理服務器
添加代理程序
添加完代理程序之后，稍等一會主機就會被自動添加上
查看最新數據是否成功收集
第21章 web監控
我們可以配置zabbix來監控web頁面的一些狀態，比如http狀態碼，響應時間，登陸狀態等。
下面我們以登陸並監控zabbix首頁為例來進行配置。
1.查看認證
2.創建web監控場景
我們可以直接創建一個web監控的模版，並配置觸發器
3.創建步驟
4.查看最新數據
5.設置觸發器
這里我們設置兩個觸發器
1.首頁不是200就報警
2.檢查登陸步驟返回值不為0，則表示登陸失敗
6.模擬故障
此時如果故意將監控項里用戶密碼寫錯，雖然狀態碼依然為200，但是因為返回的HTML字符串不是我們要求的，所以仍然會觸發警告。
將密碼修改為錯誤的：
查看最新數據：
查看警告：
第22章 性能優化
1.監控數據分析
zabbix監控主機和監控項較少的時候，不需要優化
數據庫 200台主機 * 200個監控項 = 40000監控項/30秒 = 1333次寫入/每秒
寫多 讀少
2.優化思路
1.mariadb 5.5 innodb 升級到mysql5.7 tokudb
2.去掉無用監控項，增加監控項的取值間隔，減少歷史數據的保存周期
3.被動模式改為主動模式
4.針對zabbix-server進程數量調優
5.針對zabbix-server緩存調優，誰的剩余內存少，就加大他的緩存
3.升級存儲引擎
TokuDB性能比InnoDB要好
實施步驟：
1.找一台機器安裝好mysql5.7
2.將mariadb的數據導出，然后替換sql文件里的存儲引擎為TokuDB
3.將替換之后的數據導入到mysql5.7
4.停掉mariadb
5.檢查測試
4.優化進程數
可以人為制造進程繁忙，把自動發現調整IP范圍為1-254
這個時候觀察會發現自動發現進程變得繁忙了
修改進程數
[root@zabbix-11 ~]# grep "^StartDiscoverers" /etc/zabbix/zabbix_server.conf
StartDiscoverers=10
[root@zabbix-11 ~]# systemctl restart zabbix-server.service
調整之后發現進程不這么繁忙了
5.緩存調優
調整配置文件
[root@zabbix-11 ~]# grep "^Cache" /etc/zabbix/zabbix_server.conf
CacheSize=128M
第23章 zabbix高可用
思路：
2台zabbix-server使用keepavied做高可用
數據庫做主從復制
keepalived兩端都做backup角色，設置不搶占VIP
keepalived設置如果發生改變就將自身的從庫數據庫修改為主庫設置
然后另一台修復上線后，手動介入重新做主從同步，變成從庫