今天以前同事突然找到我，說讓我幫他看看他們公司Centos7服務器上的問題。
就把一張圖丟過來了如下：
問我系統磁盤怎么突然滿了，找不到問題所在。
為了能快速定位問題，我遠程過去。
因為已經確認了iNode沒問題，首先敲下一行命令
du -h –max-depth=1 確認下各個文件的占比
如圖，各個文件的占比都正常
嗯，這給我的第一反應就是難道是中毒了？看了看進程也是挺正常的。
想到這，我就去看日志了。終於，被我找到了一些問題，原來他們服務器跑了NGINX服務，不過它里面的日志怎么是空的。說明日志是被刪過的。查看歷史記錄，果然是被刪掉了。
在Linux或者Unix系統中，通過rm或者文件管理器刪除文件將會從文件系統的目錄結構上解除鏈接(unlink).然而如果文件是被打開的（有一個進程正在使用），那么進程將仍然可以讀取該文件，磁盤空間也一直被占用。而他M們刪除的是nginx的log文件刪除的時候文件應該正在被使用
lsof |grep deleted 查看僵屍進程
果然出來一些僵屍進程
kill 掉相應的進程即可！
分布式監控Zabbix–使用Grafana進行圖形展示
今天介紹一款高顏值監控繪圖工具Grafana，在使用Zabbix監控環境中，通常我們會結合Grafana進行圖形展示。Grafana默認沒有zabbix作為數據源，需要手動給zabbix安裝一個插件，然后再添加進Grafana即可，非常簡單。下面就介紹下Grafana的使用：
Grafana的官網：http://docs.grafana.org/installation/rpm/
1）Centos下的安裝步驟
1 # wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.3.1-1.x86_64.rpm 2 # yum install initscripts fontconfig 3 # rpm -Uvh grafana-4.3.1-1.x86_64.rpm
具體安裝可參考官網文檔https://grafana.com/docs/installation/rpm/
2）Installing on Debian / Ubuntu
查看官網文檔https://grafana.com/docs/installation/debian/
如果你們的服務器是內網的怎么辦？
首先找你個能上外網又能和內網服務器通訊的服務器把軟件包下載下來上傳給內網的服務器，我這里使用的是同樣的Centos系統執行以下命令實現
其他方式自己根據自己的情況而定。
[root@max]#wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.3.1-1.x86_64.rpm #下載包 [root@max]#scp grafana-4.3.1-1.x86_64.rpm root@server:/tmp #上傳包到內網服務器/tmp目錄 [root@server]#rpm -Uvh grafana-4.3.1-1.x86_64.rpm #安裝包 [root@server]#systemctl daemon-reload [root@server]#systemctl enable grafana-server.service [root@server]#systemctl start grafana-server.service
Grafana配置文件
Systemd服務和daemon服務在后台運行時，都使用文件/etc/sysconfig/grafana-server來設置環境變量，可以通過修改garfana-server文件來設置日志目錄等其他變量。
#默認日志文件：/var/log/grafana
#數據庫設置
#缺省配置指定一sqlite3數據庫位於/var/lib/grafana/grafana.db。請在升級前備份這個數據庫。還可以使用MySQL或Postgres Grafana數據庫。
訪問測試ip:3000
缺省用戶/密碼 admin/admin
2）安裝Grafana Zabbix插件安裝
https://grafana.com/plugins/alexanderzobnin-zabbix-app/installation
在線安裝可使用使用grafana-cli工具安裝。
離線安裝下載包解壓即可。
[root@max]#wget https://grafana.com/api/plugins/alexanderzobnin-zabbix-app/versions/3.8.1/download #下載包 [root@max]#scp alexanderzobnin-grafana-zabbix-v3.8.1-0-ga8b2e3c.zip root@server:/tmp #上傳包 [root@server]#unzip alexanderzobnin-grafana-zabbix-v3.8.1-0-ga8b2e3c.zip -d /var/lib/grafana/plugins #解壓包到grafana插件目錄 [root@server]#systemcli restart grafana-server #重啟grafana服務
3）訪問grafana，http://IP:3000，默認用戶名和密碼：admin/admin
安裝了grafana-zabbix插件后，需要啟用這個插件，如下在grafana控制台里點擊”zabbix”，選擇”Plugin Config”->”Enable” （如沒有zabbix選項，就點擊”Plugins”->”Apps”->”Zabbix”->”Enable
我配置完成后的樣式如下圖