Flume-NG之KafkaChannel
是速度最快，容易配置；缺點是，可靠性最差，因為一旦flume進程掛了內存中還未出來的數據也就沒了； ...
原文：Spark Streaming和Flume-NG對接實驗
Spark Streaming是一個新的實時計算的利器，而且還在快速的發展。它將輸入流切分成一個個的DStream轉換為RDD，從而可以使用Spark來處理。它直接支持多種數據源：Kafka, Flume, Twitter, ZeroMQ , TCP sockets等，有一些可以操作的函數：map,reduce,join,window等。 本文將Spark Streaming和Flume NG進 ...
2014-07-24 19:26 2 6222 推薦指數：
相關推薦
Flume-NG源碼閱讀之FileChannel
FileChannel是flume一個非常重要的channel組件，非常常用。這個channel非常復雜，涉及的文件更多涉及三個包：org.apache.flume.channel.file、org.apache.flume.channel.file.encryption(加密 ...
Flume-ng 配置以及簡單的例子[轉]
一、簡單測試配置信息 flume-ng啟動agent的命令為： $ bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template 添加如下配置文件 ...
Flume-ng源碼解析之Source組件
如果你還沒看過Flume-ng源碼解析系列中的啟動流程、Channel組件和Sink組件，可以點擊下面鏈接： Flume-ng源碼解析之啟動流程 Flume-ng源碼解析之Channel組件 Flume-ng源碼解析之Sink組件 在前面三篇文章中我們初步了解了Flume的啟動流程 ...
Flume-NG源碼閱讀之HBaseSink
關於HBase的sink的所有內容均在org.apache.flume.sink.hbase包下。 每個sink包括自己定制的，都extends AbstractSink implements Configurable。 一、首先是configure(Context context ...
Flume-NG源碼閱讀之HDFSEventSink
HDFSEventSink是flume中一個很重要的sink，配置文件中type=hdfs。與此sink相關的類都在org.apache.flume.sink.hdfs包中。 HDFSEventSink算是一個比較復雜的sink，包下涉及的源代碼文件數多達13個。。。可配置的參數 ...
flume-ng源碼閱讀RollingFileSink(原創)
org.apache.flume.sink.RollingFileSink 這個類比較簡單。 source的種類有兩種：一種是PollableSource；另外一種是EventDrivenSource。前者“必須有它自己的callback機制，該機制用於捕獲新數據並將數據存儲到通道中 ...
Flume-NG源碼閱讀之Interceptor(原創)
有的時候希望通過Flume將讀取的文件再細分存儲，比如講source的數據按照業務類型分開存儲，具體一點比如類似：將source中web、wap、media等的內容分開存儲；比如丟棄或修改一些數據。這時可以考慮使用攔截器Interceptor。 flume通過攔截器實現修改和丟棄事件 ...