一、串聯
Flume Agent 連接
這種模式是將多個 flume 順序連接起來了,從最初的 source 開始到最終 sink 傳送的目的存儲系統。此模式不建議橋接過多的 flume 數量,flume 數量過多不僅會影響傳輸速率,而且一旦傳輸過程中某個節點 flume 宕機,會影響整個傳輸系統。
二、聚合
Flume Agent 聚合
這種模式是我們最常見的,也非常實用,日常 web 應用通常分布在上百個服務器,大者甚至上千個、上萬個服務器。產生的日志,處理起來也非常麻煩。
用 flume 的這種組合方式能很好的解決這一問題,每台服務器部署一個 flume 采集日志,傳送到一個集中收集日志的 flume,再由此 flume 上傳到 hdfs、hive、hbase 等,進行日志分析。
三、復制和多路復用
單 source,多 channel、sink
Flume 支持將事件流向一個或者多個目的地。這種模式可以將相同數據復制到多個 channel 中,或者將不同數據分發到不同的 channel 中,sink 可以選擇傳送到不同的目的地。
四、負載均衡和故障轉移
Flume 支持使用將多個 sink 邏輯上分到一個 sink 組,sink 組配合不同的 Sink Processor 可以實現負載均衡和錯誤恢復的功能。