下圖為唯品會在qcon上面公開的日志處理平台架構圖。聽后覺得有些意思,好像也可以很容易的copy一個,就動手嘗試了一下。
目前只對flume===>kafka===>elacsticSearch===>kibnana(logstash)這條線路做一個簡單的demo,以后有時間嘗試整個架構的學習。
以下為日志處理平台的展現圖。
當然logstash還能做很多事情,demo中並未接入實際的數據,圖形並不是很美觀。
下面將簡單介紹這一平台搭建過程:
現在我們來搭建這樣flume===>kafka===>elacsticSearch===>kibnana(logstash)一個日志收集分析平台
首先分解以下問題,將日志收集和日志分析分開,分為flume====>kafka和logstash兩部分。
為了比較有成就感,我們先搭建logstash。logstash的搭建非常簡單,詳見http://logstash.net/