擴展
logstash插件
1、中文:手把手教你編寫Logstash插件
2、官方:How to write a Logstash filter plugin
問題
1、插件裝不上:把plugin的源地址換成淘寶的:https://ruby.taobao.org(未測試)
2、不能實時收集日志:沒設置start_position ,默認是end,沒有新日志進來。
3、搜索:要整個string一起搜索,比如,java.lang.NullPointerException
4、kibana頁面出錯:index名稱不對。也有可能是ls和es之間不能相互通信。
5、無法創建field:正則不匹配,不能識別出字段。
6、像某些項目,一天生成一個新文件的日志,logstash會知道文件發生了變化,會對新生成的文件,從頭開始讀取。即指定的文件,一旦發生改變(對文件內容進行了刪減),會從頭開始讀取(前提是設置了beginning)。
7、用multiline 進行多行過濾時,如果不寫negate => true,那么multiline { }不會生效。
8、改了my.conf 不起作用
① 在notepad++里面改的文本已經保存,但是並沒有同步到虛擬機,打開虛擬機里面的文件,還是那樣
②用-e方式運行有效,用my.conf無效:沒有找到配置文件,執行命令少了一個 -f
9、BUG? 設置了時間分割,但是還會斷成兩節。
10、no cached mapping for this field. Refresh field list from the Settings >Indices page
解決方案:Refresh field list from the Settings >Indices page
11、
A plugin had an unrecoverable error. Will restart this plugin.\n
Plugin: <LogStash::Inputs::Stdin type=>\"stdin\", codec=><LogStash::Codecs::Line charset=>\"UTF-8\", delimiter=>\"\\n\">>\n
Error: Unknown error - \x{B4ED}\x{CEF3}\x{B5C4}\x{CEC4}\x{BCFE}\x{C3E8}\x{CAF6}\x{B7FB}", :level=>:error}
解決方案:刪除原有的LogStash軟件,重新安裝。
應用
1、監控catlinla.out這個文件。
2、監控服務間調用耗時。
技巧
1、自定義@timestamp時間格式:在Settings里面,找到@timestamp Fields,編輯。