Flume-幾種拓撲結構


一、串聯

Flume Agent 連接

這種模式是將多個 flume 順序連接起來了,從最初的 source 開始到最終 sink 傳送的目的存儲系統。此模式不建議橋接過多的 flume 數量,flume 數量過多不僅會影響傳輸速率,而且一旦傳輸過程中某個節點 flume 宕機,會影響整個傳輸系統。

 

二、聚合

Flume Agent 聚合

這種模式是我們最常見的,也非常實用,日常 web 應用通常分布在上百個服務器,大者甚至上千個、上萬個服務器。產生的日志,處理起來也非常麻煩。

用 flume 的這種組合方式能很好的解決這一問題,每台服務器部署一個 flume 采集日志,傳送到一個集中收集日志的 flume,再由此 flume 上傳到 hdfs、hive、hbase 等,進行日志分析。

 

三、復制和多路復用

單 source,多 channel、sink

Flume 支持將事件流向一個或者多個目的地。這種模式可以將相同數據復制到多個 channel 中,或者將不同數據分發到不同的 channel 中,sink 可以選擇傳送到不同的目的地。

 

四、負載均衡和故障轉移

Flume 支持使用將多個 sink 邏輯上分到一個 sink 組,sink 組配合不同的 Sink Processor 可以實現負載均衡和錯誤恢復的功能。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM