flume配置參數的意義

1.監控端口數據：

flume啟動：

[bingo@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console

參數說明：

--conf conf/  ：表示配置文件存儲在conf/目錄

--name a1 ：表示給agent起名為a1

--conf-file job/flume-telnet.conf ：flume本次啟動讀取的配置文件是在job文件夾下的flume-telnet.conf文件。

-Dflume.root.logger==INFO,console ：-D表示flume運行時動態修改flume.root.logger參數屬性值，並將控制台日志打印級別設置為INFO級別。日志級別包括:log、info、warn、error。

2.實時讀取本地文件導HDFS:

執行監控配置

[bingo@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-file-hdfs.conf

 

開啟Hadoop和Hive並操作Hive產生日志

[bingo@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

[bingo@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

[bingo@hadoop102 hive]$ bin/hive
hive (default)>

 

 

3.實時讀取本地目錄文件導HDFS:

啟動監控文件夾命令

[bingo@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-dir-hdfs.conf

 

說明： 在使用Spooling Directory Source時

1) 不要在監控目錄中創建並持續修改文件

2) 上傳完成的文件會以.COMPLETED結尾

3) 被監控文件夾每500毫秒掃描一次文件變動

3. 向upload文件夾中添加文件

在/opt/module/flume目錄下創建upload文件夾

[bingo@hadoop102 flume]$ mkdir upload

向upload文件夾中添加文件

[bingo@hadoop102 upload]$ touch atguigu.txt

[bingo@hadoop102 upload]$ touch atguigu.tmp

[bingo@hadoop102 upload]$ touch atguigu.log