Flume-NG源碼閱讀之SpoolDirectorySource(原創)
org.apache.flume.source.SpoolDirectorySource是flume的一個常用的source，這個源支持從磁盤中某文件夾獲取文件數據。不同於其他異步源，這個源能夠避免重啟或者發送失敗后數據丟失。flume可以監控文件夾，當出現新文件時會讀取該文件並獲取數據 ...
原文：Flume-NG源碼閱讀之Interceptor(原創)
有的時候希望通過Flume將讀取的文件再細分存儲，比如講source的數據按照業務類型分開存儲，具體一點比如類似：將source中web wap media等的內容分開存儲 比如丟棄或修改一些數據。這時可以考慮使用攔截器Interceptor。 flume通過攔截器實現修改和丟棄事件的功能。攔截器通過定義類繼承org.apache.flume.interceptor.Interceptor接口來 ...
2014-04-14 18:27 0 5437 推薦指數：
相關推薦
flume-ng源碼閱讀RollingFileSink(原創)
org.apache.flume.sink.RollingFileSink 這個類比較簡單。 source的種類有兩種：一種是PollableSource；另外一種是EventDrivenSource。前者“必須有它自己的callback機制，該機制用於捕獲新數據並將數據存儲到通道中 ...
flume-ng源碼閱讀memory-channel(原創)
org.apache.flume.channel.MemoryChannel類是Flume-NG的memory-channel。 private LinkedBlockingDeque<Event> queue;//mem-channel存放數據的地方 private ...
Flume-NG源碼閱讀之FileChannel
)、org.apache.flume.channel.file.proto共計40個源碼文件。 一、config ...
Flume-NG源碼閱讀之SourceRunner，及選擇器selector和攔截器interceptor的執行
在AbstractConfigurationProvider類中loadSources方法會將所有的source進行封裝成SourceRunner放到了Map<String, SourceR ...
Flume-NG源碼閱讀之SinkGroups和SinkRunner
在AbstractConfigurationProvider類中loadSinks方法會調用loadSinkGroups方法將所有的sink和sinkgroup放到了Map<String, ...
Flume-NG源碼閱讀之HBaseSink
關於HBase的sink的所有內容均在org.apache.flume.sink.hbase包下。 每個sink包括自己定制的，都extends AbstractSink implements Configurable。 一、首先是configure(Context context ...
Flume-NG源碼閱讀之HDFSEventSink
HDFSEventSink是flume中一個很重要的sink，配置文件中type=hdfs。與此sink相關的類都在org.apache.flume.sink.hdfs包中。 HDFSEventSink算是一個比較復雜的sink，包下涉及的源代碼文件數多達13個。。。可配置的參數 ...