這里只考慮flume本身的一些東西，對於JVM、HDFS、HBase等得暫不涉及。。。。 一、關於Source： 　　1、spool-source：適合靜態文件，即文件本身不是動態變化 ...

　　apache下一個版本(1.6)將會帶來一個新的組件KafKaChannel，顧名思義就是使用kafka做channel，當然在CDH5.3版本已經存在這個channel。 　　大伙知道，常用的 ...

　　Spark Streaming是一個新的實時計算的利器，而且還在快速的發展。它將輸入流切分成一個個的DStream轉換為RDD，從而可以使用Spark來處理。它直接支持多種數據源：Kafka, F ...

　　Flume-NG中的hdfs sink的路徑名(對應參數"hdfs.path"，不允許為空)以及文件前綴(對應參數"hdfs.filePrefix")支持正則解析時間戳自動按時間創建目錄及文件前綴 ...

　　有的時候希望通過Flume將讀取的文件再細分存儲，比如講source的數據按照業務類型分開存儲，具體一點比如類似：將source中web、wap、media等的內容分開存儲；比如丟棄或修改一些數據 ...

　　org.apache.flume.source.SpoolDirectorySource是flume的一個常用的source，這個源支持從磁盤中某文件夾獲取文件數據。不同於其他異步源，這個源能夠避 ...

　　Flume的內置監控怎么整？這個問題有很多人問。目前了解到的信息是可以使用Cloudera Manager、Ganglia有圖形的監控工具，以及從瀏覽器獲取json串，或者自定義向其他監控系統匯報 ...

　　FileChannel是flume一個非常重要的channel組件，非常常用。這個channel非常復雜，涉及的文件更多涉及三個包：org.apache.flume.channel.file、or ...

　　從bin/flume 這個shell腳本可以看到Flume的起始於org.apache.flume.node.Application類，這是flume的main函數所在。 　　main方法首先會 ...

　　HDFSEventSink是flume中一個很重要的sink，配置文件中type=hdfs。與此sink相關的類都在org.apache.flume.sink.hdfs包中。 　　HDFSEve ...