Flume-NG源碼閱讀之Interceptor(原創)
有的時候希望通過Flume將讀取的文件再細分存儲，比如講source的數據按照業務類型分開存儲，具體一點比如類似：將source中web、wap、media等的內容分開存儲；比如丟棄或修改一些數據。這時可以考慮使用攔截器Interceptor。 flume通過攔截器實現修改和丟棄事件 ...
原文：Flume-NG源碼閱讀之SourceRunner，及選擇器selector和攔截器interceptor的執行
在AbstractConfigurationProvider類中loadSources方法會將所有的source進行封裝成SourceRunner放到了Map lt String, SourceRunner gt sourceRunnerMap之中。相關代碼如下： 每個source都有selector。上述代碼會獲取配置文件中關於source的selector配置信息 然后構造ChannelSe ...
2014-05-26 15:48 1 2244 推薦指數：
相關推薦
Flume 攔截器(interceptor)詳解
flume 攔截器(interceptor)1、flume攔截器介紹攔截器是簡單的插件式組件，設置在source和channel之間。source接收到的事件event，在寫入channel之前，攔截器都可以進行轉換或者刪除這些事件。每個攔截器只處理同一個source接收到的事件。可以自定義攔截器 ...
Flume-NG源碼閱讀之FileChannel
)、org.apache.flume.channel.file.proto共計40個源碼文件。 一、config ...
Flume-NG源碼閱讀之SpoolDirectorySource(原創)
org.apache.flume.source.SpoolDirectorySource是flume的一個常用的source，這個源支持從磁盤中某文件夾獲取文件數據。不同於其他異步源，這個源能夠避免重啟或者發送失敗后數據丟失。flume可以監控文件夾，當出現新文件時會讀取該文件並獲取數據 ...
Flume-NG源碼閱讀之SinkGroups和SinkRunner
在AbstractConfigurationProvider類中loadSinks方法會調用loadSinkGroups方法將所有的sink和sinkgroup放到了Map<String, ...
Flume-NG源碼閱讀之HBaseSink
關於HBase的sink的所有內容均在org.apache.flume.sink.hbase包下。 每個sink包括自己定制的，都extends AbstractSink implements Configurable。 一、首先是configure(Context context ...
Flume-NG源碼閱讀之HDFSEventSink
HDFSEventSink是flume中一個很重要的sink，配置文件中type=hdfs。與此sink相關的類都在org.apache.flume.sink.hdfs包中。 HDFSEventSink算是一個比較復雜的sink，包下涉及的源代碼文件數多達13個。。。可配置的參數 ...
flume-ng源碼閱讀RollingFileSink(原創)
org.apache.flume.sink.RollingFileSink 這個類比較簡單。 source的種類有兩種：一種是PollableSource；另外一種是EventDrivenSource。前者“必須有它自己的callback機制，該機制用於捕獲新數據並將數據存儲到通道中 ...