Flume-NG內置計數器(監控)源碼級分析
Flume的內置監控怎么整？這個問題有很多人問。目前了解到的信息是可以使用Cloudera Manager、Ganglia有圖形的監控工具，以及從瀏覽器獲取json串，或者自定義向其他監控系統匯報信息。那監控的信息是什么呢？就是各個組件的統計信息，比如成功接收的Event數量、成功發送 ...
原文：Flume-NG(1.5版本)中SpillableMemoryChannel源碼級分析
SpillableMemoryChannel是 . 版本新增的一個channel。這個channel優先將evnet放在內存中，一旦內存達到設定的容量就使用file channel寫入磁盤。然后讀的時候會按照順序讀取：會通過一個DrainOrderQueue來保證不管是內存中的還是溢出 本文的 溢出 指的是內存channel已滿，需要使用file channel存儲數據 文件中的順序。這個Cha ...
2014-07-04 23:04 1 2339 推薦指數：
相關推薦
Flume-NG啟動過程源碼分析（三）(原創)
上一篇文章分析了Flume如何加載配置文件的，動態加載也只是重復運行getConfiguration()。 本篇分析加載配置文件后各個組件是如何運行的？ 加載完配置文件訂閱者Application類會收到訂閱信息執行 ...
Flume-NG啟動過程源碼分析（一）(原創)
從bin/flume 這個shell腳本可以看到Flume的起始於org.apache.flume.node.Application類，這是flume的main函數所在。 main方法首先會先解析shell命令，如果指定的配置文件不存在就甩出異常。 根據命令中含有 ...
Flume-NG源碼閱讀之FileChannel
)、org.apache.flume.channel.file.proto共計40個源碼文件。 一、config ...
Flume-NG源碼閱讀之SpoolDirectorySource(原創)
org.apache.flume.source.SpoolDirectorySource是flume的一個常用的source，這個源支持從磁盤中某文件夾獲取文件數據。不同於其他異步源，這個源能夠避免重啟或者發送失敗后數據丟失。flume可以監控文件夾，當出現新文件時會讀取該文件並獲取數據 ...
Flume-NG源碼閱讀之SinkGroups和SinkRunner
在AbstractConfigurationProvider類中loadSinks方法會調用loadSinkGroups方法將所有的sink和sinkgroup放到了Map<String, SinkRunner> sinkRunnerMap之中。 SinkRunner可能對 ...
Flume-ng源碼解析之Source組件
如果你還沒看過Flume-ng源碼解析系列中的啟動流程、Channel組件和Sink組件，可以點擊下面鏈接： Flume-ng源碼解析之啟動流程 Flume-ng源碼解析之Channel組件 Flume-ng源碼解析之Sink組件 在前面三篇文章中我們初步了解了Flume的啟動流程 ...
Flume-NG源碼閱讀之HBaseSink
關於HBase的sink的所有內容均在org.apache.flume.sink.hbase包下。 每個sink包括自己定制的，都extends AbstractSink implements Configurable。 一、首先是configure(Context context ...