海量日志分析方案--logstash+kibnana+kafka


下圖為唯品會在qcon上面公開的日志處理平台架構圖。聽后覺得有些意思,好像也可以很容易的copy一個,就動手嘗試了一下。

目前只對flume===>kafka===>elacsticSearch===>kibnana(logstash)這條線路做一個簡單的demo,以后有時間嘗試整個架構的學習。

以下為日志處理平台的展現圖。

 

 

當然logstash還能做很多事情,demo中並未接入實際的數據,圖形並不是很美觀。

下面將簡單介紹這一平台搭建過程:

現在我們來搭建這樣flume===>kafka===>elacsticSearch===>kibnana(logstash)一個日志收集分析平台

首先分解以下問題,將日志收集和日志分析分開,分為flume====>kafka和logstash兩部分。

為了比較有成就感,我們先搭建logstash。logstash的搭建非常簡單,詳見http://logstash.net/

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM