ELK + KAFKA


1,ELK 日志收集

E: Elasticsearch

L: Logstash

K: Kibana

為什么用Elasticsearch 來存儲日志:因為Elasticsearch方便擴展,本來就是處理PB級別的數據,可以存儲足夠多的日志數據。

原理圖大致如下:

2,為什么需要elk+kafka實現分布式日志收集。

因為單純的使用elk 日志收集,進行io讀取,容易數據丟失,logstash太多了,擴展不好。非實時性。

3, Logstash輸入來源有那些?

本地文件、kafka、數據庫、mongdb、redis

4,環境搭建

    第一步:搭建Kafka 環境

       

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM