Flume攔截器、監控器


一、攔截器

1、攔截器:

  攔截器主要作用在source和channel之間,用於給event設置header消息頭,如果沒有設置攔截器,則event中只有message。

 

常見的攔截器有:

Timestamp Interceptor 時間攔截器:將時間戳插入到header中。

Host Interceptor 主機攔截器:將服務器的ip地址或者主機名插入到header中。

Regex Filtering Interceptor 正則過濾攔截器:過濾掉不需要的日志。

https://blog.csdn.net/jinywum/article/details/82598947

 

2、自定義攔截器:

  主要目的就是給日志進行分類,自定義攔截器為每個event設置header,header里標志着日志的類型。當數據傳輸到kafka就可以根據header知道這個日志屬於哪個類型,從而通過消息的內容對日志進行路由。

自定義攔截器操作:

a、在項目pom文件中引入flume依賴

b、找到現有的TimestampInterceptor類,copy代碼到自己的自定義類里,按照需求進行修改。

c、將項目打成jar包,修改名字為app_logs_flume.jar,然后放到/opt/module/flume/lib目錄下。

d、在flume配置文件指定攔截器類型。

a1.sources.r1.interceptors = i1 

a1.sources.r1.interceptors.i1.type = 自定義類全類名

 

https://blog.csdn.net/u012443641/article/details/80757229

 

二、監控器

1、監控器

 監控器可以看到:

source嘗試寫入channel中的event數量,成功寫入且提交的event數量;

sink嘗試從channel中拉取的event數量,成功讀取的事件數量;

channel相關信息,例如:啟動時間,停止時間,目前的event總數,容量,占用百分比

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM