Flume特點


 

 

Flume 特點
  1、可靠性
    當節點出現故障時,日志能夠被傳送到其他節點上而不會丟失。
    Flume提供了三種級別的可靠性保障,從強到弱依次分別為:

    (1)  end-to-end(收到數據agent首先將event寫到磁盤上,當數據傳送成功后,再刪除;如果數據發送失敗,可以重新發送。),
    (2)  Store on failure(這也是scribe采用的策略,當數據接收方crash時,將數據寫到本地,待恢復后,繼續發送),
    (3)  Best effort(數據發送到接收方后,不會進行確認)。

 


  2、可擴展性
    Flume采用了三層架構,分別為agent,collector和storage,每一層均可以水平擴展。
    其中,所有agent和collector由master統一管理,這使得系統容易監控和維護,且master允許有多個(使用ZooKeeper進行管理和負載均衡),這就避免了單點故障問題。

 


  3、可管理性
    (1)所有agent和colletor由master統一管理,這使得系統便於維護。
    (2)多master情況,Flume利用ZooKeeper和gossip,保證動態配置數據的一致性。
    (3)用戶可以在master上查看各個數據源或者數據流執行情況,且可以對各個數據源配置和動態加載。
    (4)Flume提供了web 和shell script command兩種形式對數據流進行管理。

 

 

  4、功能可擴展性
    (1)用戶可以根據需要添加自己的agent,collector或者storage。
    (2)此外,Flume自帶了很多組件,包括各種agent(file, syslog等),collector和storage(file,HDFS等)。

 

 

  5、文檔豐富,社區活躍
    Flume 已經成為 Hadoop 生態系統的標配,它的文檔比較豐富,社區比較活躍,方便我們學習。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM