flume斷點續傳（防止重復消費）的解決方案和flume 向hdfs sink寫數據小文件過多問題

flume1.7一直都是自己修改源代碼實現斷點續傳，1.7之后出現taildir source實現斷點續傳。

https://blog.csdn.net/Abysscarry/article/details/89420560

 

小文件過多的解決方案：

https://blog.csdn.net/qq_32502511/article/details/85048594

通過設置合理的參數

（1）hdfs.rollInterval 

(2)hdfs.rollSize

(3)hdfs.rollCount

(4)hdfs.roundValue

(5)hdfs.roundUnit