preface
公司采用的LNMP平台，跑着挺多nginx，所以可以利用elk好好分析nginx的日志。下面就聊聊它吧。
下面的所有操作都在linux-node2上操作
安裝Nginx
nginx是開始，所以你得安裝一個Nginx，安裝方法采用yum安裝，yum源：http://mirrors.aliyun.com/epel/epel-release-latest-6.noarch.rpm
下面的所有操作都在linux-node2上操作
[root@linux-node2 ~]# rpm -vhi http://mirrors.aliyun.com/epel/epel-release-latest-6.noarch.rpm
[root@linux-node2 ~]# yum -y install nginx
安裝完以后，我們進行通過ab訪問，以此來產生日志：
[root@linux-node2 nginx]# ab -n 1000 -c 20 http://192.168.141.4/
[root@linux-node2 nginx]# cd /var/log/nginx/
[root@linux-node2 nginx]# cat access.log
學習json模塊
我們在官網上學習json模塊: https://www.elastic.co/guide/en/logstash/2.3/plugins-codecs-json.html
獲取Nginx的日志方式
- Nginx日志改成json輸出。
- 直接獲取nginx的訪問日志，放入redis里面。
- Python腳本讀取redis，寫成json，寫入ES。
我們這次主要是講第一種方式：Nginx日志改成json輸出。
配置nginx
我們需要更改nginx的配置文件，在http模塊下面，添加一個log_format字段即可，配置文件如下：
http {
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
log_format access_log_json '{"user_ip":"$http_x_real_ip","lan_ip":"$remote_addr","log_time":"$time_iso8601","user_req":"$request","http_code":"$status","body_bytes_sents":"$body_bytes_sent","req_time":"$request_time","user_ua":"$http_user_agent"}'; # 這行是新添加的，指定為json格式，鍵值對的格式
access_log /var/log/nginx/access.log access_log_json; # 使用剛才定義的日志格式
確認無誤后，重啟服務：
[root@linux-node2 nginx]# service nginx reload
配置logstash
確定nginx正常工作 ，那么我們就開始配置logstash，對於logstash，我們應該在output上面首先配置一個屏幕輸出，在確認屏幕輸出沒有問題后，我們在把output輸入到elasticsearch上。
[root@linux-node2 ~]# cat /etc/logstash/conf.d/nginx.conf
input{
file {
path => "/var/log/nginx/access.log"
codec => "json"
}
}
filter{
}
output{
stdout{
codec => rubydebug
}
}
確認無誤后，啟動logstash
[root@linux-node2 ~]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/nginx.conf
此時我們通過再打開一個終端，通過ab來發起5個請求，來看看logstash的輸出是否有誤：
[root@linux-node2 nginx]# ab -n 4 -c 1 http://192.168.141.4/
我們切回到啟動logstash的終端，然后看看輸出。
{
"user_ip" => "-",
"lan_ip" => "192.168.141.4",
"log_time" => "2016-12-10T16:04:46+08:00",
"user_req" => "GET / HTTP/1.0",
"http_code" => "200",
"body_bytes_sents" => "3698",
"req_time" => "0.000",
"user_ua" => "ApacheBench/2.3",
"@version" => "1",
"@timestamp" => "2016-12-10T08:04:47.705Z",
"path" => "/var/log/nginx/access.log",
"host" => "linux-node2"
}
顯然，目前logstash是工作沒有問題的，那么就可以把ouput配置到elasticsearch上了，下面更改下配置logstash的文件
[root@linux-node2 nginx]# cat /etc/logstash/conf.d/nginx.conf
input{
file {
path => "/var/log/nginx/access.log"
codec => "json"
type => "nginx-access-log"
}
}
filter{
}
output{
elasticsearch {
hosts => ["192.168.141.3:9200"]
index => "nginx-access-log-%{+YYYY.MM.dd}"
}
}
確定沒有問題后，重新啟動logstash
[root@linux-node2 logstash]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/nginx.conf
Notice
如果logstash啟動后，我們訪問192.168.141.3上的head模塊，找不到nginx-access-log的話，那么就刪除sincedb,刪除以后，重新啟動logstash就能訪問到了。是因為我們剛才使用logstash的時候，通過rubydebug進行了stdout，導致sincedb文件記錄了相關的信息，刪除sincedb文件后讓elasticsearch重新記錄即可。
[root@linux-node2 logstash]# rm -f /var/lib/logstash/.sincedb_d883144359d3b4f516b37dba51fab2a2
/root/.sincedb_ssdafdsafsfasdf
kibana上配置。
我們可以訪問http://192.168.141.3:9200/_plugin/head/,可以看到nginx-access-log，如下圖所示
到了這里，我想你就明白為啥我們要把nginx的日志配制成json數據格式，沒錯，就是為了方便我們在head和kibana里面處理。
下面在kibana里添加的時候，我們在Time-field 字段選擇的log_time，這樣以nginx的log_time字段作為時間戳。
