采集數據到kafka,然后再通過flume將數據保存到hdfs上面。在這個過程當中出現了一堆的問題。
(1)一直是提醒說必須指定topic,然后發現我kafka用的是0.9.0.1,然而我的flume用的是1.6.然后將flume的版本調為1.7之后問題解決了。
(2)flume能夠正常啟動。然而這個時候采集的文件是一堆小文件。
然后查看配置文件,修改配置文件。
依然是生成了一堆小文件。最終的解決方法是:
將Hadoop配置文件里面的相關文件加入到flume的conf目錄下。使這個配置文件能夠生效。識別這個當中的相關的配置文件。