使用logstash+elasticsearch+kibana快速搭建日志平台

日志的分析和監控在系統開發中占非常重要的地位，系統越復雜，日志的分析和監控就越重要，常見的需求有: * 根據關鍵字查詢日志詳情 * 監控系統的運行狀況 * 統計分析，比如接口的調用次數、執行時間、成功率等 * 異常數據自動觸發消息通知 * 基於日志的數據挖掘 很多團隊在日志方面可能遇到的一些問題有: * 開發人員不能登錄線上服務器查看詳細日志，經過運維周轉費時費力 * 日志數據分散在多個系統，難以查找 * 日志數據量大，查詢速度慢 * 一個調用會涉及多個系統，難以在這些系統的日志中快速定位數據 * 數據不夠實時 常見的一些重量級的開源Trace系統有 * [facebook scribe](https://github.com/facebook/scribe) * [cloudera flume](https://github.com/cloudera/flume) * [twitter zipkin](http://twitter.github.io/zipkin) * [storm](http://storm-project.net) 這些項目功能強大，但對於很多團隊來說過於復雜，配置和部署比較麻煩，在系統規模大到一定程度前推薦輕量級下載即用的方案，比如logstash+elasticsearch+kibana(LEK)組合。 對於日志來說，最常見的需求就是收集、查詢、顯示，正對應logstash、elasticsearch、kibana的功能。 logstash ===  [logstash主頁](http://logstash.net) logstash部署簡單，下載一個jar就可以用了，對日志的處理邏輯也很簡單，就是一個pipeline的過程 inputs >> codecs >> filters >> outputs 對應的插件有  從上面可以看到logstash支持常見的日志類型，與其他監控系統的整合也很方便，可以將數據輸出到zabbix、nagios、email等。 推薦用redis作為輸入緩沖隊列。 你還可以把數據統計后輸出到graphite，實現統計數據的可視化顯示。 [metrics demo](http://cookbook.logstash.net/recipes/statsd-metrics) [statsd](https://github.com/etsy/statsd) [graphite](http://graphite.wikidot.com) 參考文檔 * [cookbook](http://cookbook.logstash.net) * [doc](http://logstash.net/docs/1.2.1) * [demo](http://demo.logstash.net) elasticsearch ===  [elasticsearch主頁](http://www.elasticsearch.org) elasticsearch是基於lucene的開源搜索引擎，近年來發展比較快，主要的特點有 * real time * distributed * high availability * document oriented * schema free * restful api elasticsearch的詳細介紹以后再寫，常用的一些資源如下 中文 --- smartcn, ES默認的中文分詞 https://github.com/elasticsearch/elasticsearch-analysis-smartcn mmseg https://github.com/medcl/elasticsearch-analysis-mmseg ik https://github.com/medcl/elasticsearch-analysis-ik pinyin, 拼音分詞，可用於輸入拼音提示中文 https://github.com/medcl/elasticsearch-analysis-pinyin stconvert, 中文簡繁體互換 https://github.com/medcl/elasticsearch-analysis-stconvert 常用插件 --- elasticsearch-servicewrapper，用Java Service Wrapper對elasticsearch做的一個封裝 https://github.com/elasticsearch/elasticsearch-servicewrapper Elastic HQ，elasticsearch的監控工具 http://www.elastichq.org elasticsearch-rtf，針對中文集成了相關插件(rtf = Ready To Fly) https://github.com/medcl/elasticsearch-rtf [作者主頁](http://log.medcl.net) kibana ===  [kibana主頁](http://kibana.org) kibana是一個功能強大的elasticsearch數據顯示客戶端，logstash已經內置了kibana，你也可以單獨部署kibana，最新版的kibana3是純html+js客戶端，可以很方便的部署到Apache、Nginx等Http服務器。 kibana3的地址: https://github.com/elasticsearch/kibana kibana2的地址: https://github.com/rashidkpc/Kibana kibana3 demo地址: http://demo.kibana.org 從demo可以先看一下kibana的一些基本功能 圖表  數據表格，可以自定義哪些列顯示以及顯示順序  可以看到實際執行的查詢語句  新加一行  新加panel，可以看到支持的panel類型  加一個餅圖  用地圖顯示統計結果  按照http response code來統計  豐富的查詢語法  安裝部署 === 下面列一下一個簡易LEK體驗環境的搭建步驟 安裝jdk 1.7 --- [oracle java主頁](http://www.oracle.com/technetwork/java) 省略安裝過程，推薦1.7+版本 java -version 設置java的環境變量，比如 sudo vim ~/.bashrc >> export JAVA_HOME=/usr/lib/jvm/java-7-oracle export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH >> source ~/.bashrc 安裝redis --- [redis主頁](http://redis.io) cd ~/src wget http://download.redis.io/releases/redis-2.6.16.tar.gz tar -zxf redis-2.6.16.tar.gz cd redis-2.6.16 make sudo make install 可以通過redis源代碼里utils/install_server下的腳本簡化配置工作 cd utils sudo ./install_server.sh install_server.sh在問你幾個問題后會把redis安裝為開機啟動的服務，可以通過下面的命令行來啟動/停止服務 sudo /etc/init.d/redis_ start/end 啟動redis客戶端來驗證安裝 redis-cli > keys * 安裝Elasticsearch ---- [Elasticsearch主頁](http://www.elasticsearch.org) cd /search sudo mkdir elasticsearch cd elasticsearch sudo wget http://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.zip sudo unzip elasticsearch-0.90.5.zip elasticsearch解壓即可使用非常方便，接下來我們看一下效果，首先啟動ES服務，切換到elasticsearch目錄，運行bin下的elasticsearch cd /search/elasticsearch/elasticsearch-0.90.5 bin/elasticsearch -f 訪問默認的9200端口 curl -X GET http://localhost:9200 安裝logstash --- [logstash主頁](http://logstash.net) cd /search sudo mkdir logstash cd logstash sudo wget http://download.elasticsearch.org/logstash/logstash/logstash-1.2.1-flatjar.jar logstash下載即可使用，命令行參數可以參考[logstash flags](http://logstash.net/docs/1.2.1/flags)，主要有 agent #運行Agent模式 -f CONFIGFILE #指定配置文件 web #自動Web服務 -p PORT #指定端口，默認9292 安裝kibana --- logstash的最新版已經內置kibana，你也可以單獨部署kibana。kibana3是純粹JavaScript+html的客戶端，所以可以部署到任意http服務器上。 cd /search sudo mkdir kibana sudo wget http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip sudo unzip kibana-latest.zip sudo cp -r kibana-latest /var/www/html 可以修改config.js來配置elasticsearch的地址和索引。 用瀏覽器訪問試試看 http://127.0.0.1/html/kibana-latest/index.html 集成 --- 把上面的系統集成起來 首先把redis和elasticsearch都啟動起來 為logstash新建一個配置文件 cd /search/logstash sudo vi redis.conf 配置文件內容如下 input { redis { host => "127.0.0.1" port => "6379" key => "logstash:demo" data_type => "list" codec => "json" type => "logstash-redis-demo" tags => ["logstashdemo"] } } output { elasticsearch { host => "127.0.0.1" } } 用這個配置文件啟動logstash agent java -jar /search/logstash/logstash-1.2.1-flatjar.jar agent -f /search/logstash/redis.conf & 啟動logstash內置的web java -jar /search/logstash/logstash-1.2.1-flatjar.jar web & 查看web，應該還沒有數據 http://127.0.0.1:9292 在redis 加一條數據 RPUSH logstash:demo "{\"time\": \"2013-01-01T01:23:55\", \"message\": \"logstash demo message\"}" 看看elasticsearch中的索引現狀 curl 127.0.0.1:9200/_search?pretty=true curl -s http://127.0.0.1:9200/_status?pretty=true | grep logstash 再通過logstash web查詢一下看看 http://127.0.0.1:9292 通過單獨的kibana界面查看 http://127.0.0.1/html/kibana-latest/index.html#/dashboard/file/logstash.json 數據清理 === logstash默認按天創建ES索引，這樣的好處是刪除歷史數據時直接刪掉整個索引就可以了，方便快速。 elasticsearch也可以設置每個文檔的ttl(time to live)，相當於設置文檔的過期時間，但相比刪除整個索引要耗費更多的IO操作。 索引 === elasticsearch默認會按照分隔符對字段拆分，日志有些字段不要分詞，比如url，可以為這類字段設置not_analyzed屬性。 設置multi-field-type屬性可以將字段映射到其他類型。[multi-field-type](http://www.elasticsearch.org/guide/reference/mapping/multi-field-type)。 大量日志導入時用[bulk方式](http://www.elasticsearch.org/guide/reference/api/bulk.html)。 對於日志查詢來說，filter比query更快 過濾器里不會執行評分而且可以被自動緩存。[query-dsl](http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/query-dsl.html)。 elasticsearch默認一個索引操作會在所有分片都完成對文檔的索引后才返回，你可以把復制設置為異步來加快批量日志的導入。 elasticsearch 優化 === 優化JVM 優化系統可以打開最大文件描述符的數量 適當增加索引刷新的間隔 最佳實踐 === * 首先你的程序要寫日志 * 記錄的日志要能幫助你分析問題，只記錄"參數錯誤"這樣的日志對解決問題毫無幫助 * 不要依賴異常，異常只處理你沒考慮到的地方 * 要記錄一些關鍵的參數，比如發生時間、執行時間、日志來源、輸入參數、輸出參數、錯誤碼、異常堆棧信息等 * 要記錄sessionid、transitionid、userid等幫你快速定位以及能把各個系統的日志串聯起來的關鍵參數 * 推薦純文本+json格式 * 使用隊列 其他日志輔助工具 ==== * [rsyslog](http://www.rsyslog.com) * [syslog-ng](http://www.balabit.com/network-security/syslog-ng) * [graylog](http://graylog2.org) * [fluentd](http://fluentd.org) * [nxlog](http://nxlog-ce.sourceforge.net)