修改Flume-NG的hdfs sink解析時間戳源碼大幅提高寫入性能
轉自:http://www.cnblogs.com/lxf20061900/p/4014281.html Flume-NG中的hdfs sink的路徑名(對應參數"hdfs.path"，不允許為空)以及文件前綴(對應參數"hdfs.filePrefix")支持正則解析時間戳自動按時間創建目錄 ...
原文：修改Flume-NG的hdfs sink解析時間戳源碼大幅提高寫入性能
Flume NG中的hdfs sink的路徑名 對應參數 hdfs.path ，不允許為空 以及文件前綴 對應參數 hdfs.filePrefix 支持正則解析時間戳自動按時間創建目錄及文件前綴。 在實際使用中發現Flume內置的基於正則的解析方式非常耗時，有非常大的提升空間。如果你不需要配置按時間戳解析時間，那這篇文章對你用處不大，hdfs sink對應的解析時間戳的代碼位於org.apach ...
2014-10-10 09:10 9 4135 推薦指數：
相關推薦
Flume-ng源碼解析之Source組件
如果你還沒看過Flume-ng源碼解析系列中的啟動流程、Channel組件和Sink組件，可以點擊下面鏈接： Flume-ng源碼解析之啟動流程 Flume-ng源碼解析之Channel組件 Flume-ng源碼解析之Sink組件 在前面三篇文章中我們初步了解了Flume的啟動流程 ...
Flume-NG源碼閱讀之FileChannel
)、org.apache.flume.channel.file.proto共計40個源碼文件。 一、config ...
Flume-NG源碼閱讀之SpoolDirectorySource(原創)
org.apache.flume.source.SpoolDirectorySource是flume的一個常用的source，這個源支持從磁盤中某文件夾獲取文件數據。不同於其他異步源，這個源能夠避免重啟或者發送失敗后數據丟失。flume可以監控文件夾，當出現新文件時會讀取該文件並獲取數據 ...
Flume-NG源碼閱讀之SinkGroups和SinkRunner
在AbstractConfigurationProvider類中loadSinks方法會調用loadSinkGroups方法將所有的sink和sinkgroup放到了Map<String, SinkRunner> sinkRunnerMap之中。 SinkRunner可能對 ...
Flume-NG源碼閱讀之HBaseSink
關於HBase的sink的所有內容均在org.apache.flume.sink.hbase包下。 每個sink包括自己定制的，都extends AbstractSink implements Configurable。 一、首先是configure(Context context ...
Flume-NG源碼閱讀之HDFSEventSink
HDFSEventSink是flume中一個很重要的sink，配置文件中type=hdfs。與此sink相關的類都在org.apache.flume.sink.hdfs包中。 HDFSEventSink算是一個比較復雜的sink，包下涉及的源代碼文件數多達13個。。。可配置的參數 ...
flume-ng源碼閱讀RollingFileSink(原創)
org.apache.flume.sink.RollingFileSink 這個類比較簡單。 source的種類有兩種：一種是PollableSource；另外一種是EventDrivenSource。前者“必須有它自己的callback機制，該機制用於捕獲新數據並將數據存儲到通道中 ...