一、攔截器
1、攔截器:
攔截器主要作用在source和channel之間,用於給event設置header消息頭,如果沒有設置攔截器,則event中只有message。
常見的攔截器有:
Timestamp Interceptor 時間攔截器:將時間戳插入到header中。
Host Interceptor 主機攔截器:將服務器的ip地址或者主機名插入到header中。
Regex Filtering Interceptor 正則過濾攔截器:過濾掉不需要的日志。
https://blog.csdn.net/jinywum/article/details/82598947
2、自定義攔截器:
主要目的就是給日志進行分類,自定義攔截器為每個event設置header,header里標志着日志的類型。當數據傳輸到kafka就可以根據header知道這個日志屬於哪個類型,從而通過消息的內容對日志進行路由。
自定義攔截器操作:
a、在項目pom文件中引入flume依賴
b、找到現有的TimestampInterceptor類,copy代碼到自己的自定義類里,按照需求進行修改。
c、將項目打成jar包,修改名字為app_logs_flume.jar,然后放到/opt/module/flume/lib目錄下。
d、在flume配置文件指定攔截器類型。
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = 自定義類全類名
https://blog.csdn.net/u012443641/article/details/80757229
二、監控器
1、監控器
監控器可以看到:
source嘗試寫入channel中的event數量,成功寫入且提交的event數量;
sink嘗試從channel中拉取的event數量,成功讀取的事件數量;
channel相關信息,例如:啟動時間,停止時間,目前的event總數,容量,占用百分比