Flume-NG之KafkaChannel
是速度最快，容易配置；缺點是，可靠性最差，因為一旦flume進程掛了內存中還未出來的數據也就沒了； ...
原文：Logstash和Flume-NG Syslog接收小測試
目前在大規模日志處理平台中常見的日志采集器可以采用Logstash或Flume。這兩種日志采集器架構設計理念基本相似，都采用采集 過濾處理 輸出的方式。下面對這兩種采集器Syslog接收性能做個簡單測試，供大家參考。 測試過程 基本測試過程是使用 台機器， 台負責發送Syslog數據包，一台采集器。 在采集器上分別安裝ELK套件和Apache Flume . . 軟件。 Logstash采集配置如 ...
2018-11-01 13:57 1 714 推薦指數：
相關推薦
Flume-NG源碼閱讀之FileChannel
FileChannel是flume一個非常重要的channel組件，非常常用。這個channel非常復雜，涉及的文件更多涉及三個包：org.apache.flume.channel.file、org.apache.flume.channel.file.encryption(加密 ...
Spark Streaming和Flume-NG對接實驗
Spark Streaming是一個新的實時計算的利器，而且還在快速的發展。它將輸入流切分成一個個的DStream轉換為RDD，從而可以使用Spark來處理。它直接支持多種數據源：Kafka, Flume, Twitter, ZeroMQ , TCP sockets等，有一些可以操作的函數 ...
Flume-ng 配置以及簡單的例子[轉]
一、簡單測試配置信息 flume-ng啟動agent的命令為： $ bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template 添加如下配置文件 ...
Flume-NG源碼閱讀之SpoolDirectorySource(原創)
org.apache.flume.source.SpoolDirectorySource是flume的一個常用的source，這個源支持從磁盤中某文件夾獲取文件數據。不同於其他異步源，這個源能夠避免重啟或者發送失敗后數據丟失。flume可以監控文件夾，當出現新文件時會讀取該文件並獲取數據 ...
Flume-NG源碼閱讀之SinkGroups和SinkRunner
在AbstractConfigurationProvider類中loadSinks方法會調用loadSinkGroups方法將所有的sink和sinkgroup放到了Map<String, ...
Flume-ng源碼解析之Source組件
如果你還沒看過Flume-ng源碼解析系列中的啟動流程、Channel組件和Sink組件，可以點擊下面鏈接： Flume-ng源碼解析之啟動流程 Flume-ng源碼解析之Channel組件 Flume-ng源碼解析之Sink組件 在前面三篇文章中我們初步了解了Flume的啟動流程 ...
Flume-NG源碼閱讀之HBaseSink
關於HBase的sink的所有內容均在org.apache.flume.sink.hbase包下。 每個sink包括自己定制的，都extends AbstractSink implements Configurable。 一、首先是configure(Context context ...