關於從kafka采集數據到flume,然后落盤到hdfs上生成的一堆小文件的總結


采集數據到kafka,然后再通過flume將數據保存到hdfs上面。在這個過程當中出現了一堆的問題。

(1)一直是提醒說必須指定topic,然后發現我kafka用的是0.9.0.1,然而我的flume用的是1.6.然后將flume的版本調為1.7之后問題解決了。

(2)flume能夠正常啟動。然而這個時候采集的文件是一堆小文件。

然后查看配置文件,修改配置文件。

依然是生成了一堆小文件。最終的解決方法是:

 

將Hadoop配置文件里面的相關文件加入到flume的conf目錄下。使這個配置文件能夠生效。識別這個當中的相關的配置文件。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM