[Logstash]使用詳解


  Logstash是一款輕量級的日志搜集處理框架,可以方便的把分散的、多樣化的日志搜集起來,並進行自定義的處理,然后傳輸到指定的位置,比如某個服務器或者文件。

  本文針對官方文檔進行翻譯以及實踐,希望有更多的有用戶了解、使用這款工具。

下載、安裝、使用

  這款工具是開箱即用的軟件,下載地址戳這里,下載自己對應的系統版本即可。

  下載后直接解壓,就可以了。

 

  通過命令行,進入到logstash/bin目錄,執行下面的命令:

logstash -e ""

  可以看到提示下面信息(這個命令稍后介紹),輸入hello world!

  可以看到logstash尾我們自動添加了幾個字段,時間戳@timestamp,版本@version,輸入的類型type,以及主機名host。

工作原理

  Logstash使用管道方式進行日志的搜集處理和輸出。有點類似*NIX系統的管道命令 xxx | ccc | ddd,xxx執行完了會執行ccc,然后執行ddd。

  在logstash中,包括了三個階段:

  輸入input --> 處理filter(不是必須的) --> 輸出output

  每個階段都由很多的插件配合工作,比如file、elasticsearch、redis等等。

  每個階段也可以指定多種方式,比如輸出既可以輸出到elasticsearch中,也可以指定到stdout在控制台打印。

 

  由於這種插件式的組織方式,使得logstash變得易於擴展和定制。

命令行中常用的命令

  -f:通過這個命令可以指定Logstash的配置文件,根據配置文件配置logstash

  -e:后面跟着字符串,該字符串可以被當做logstash的配置(如果是“” 則默認使用stdin作為輸入,stdout作為輸出)

  -l:日志輸出的地址(默認就是stdout直接在控制台中輸出)

  -t:測試配置文件是否正確,然后退出。

配置文件說明

  前面介紹過logstash基本上由三部分組成,input、output以及用戶需要才添加的filter,因此標准的配置文件格式如下:

input {...} 
filter {...} 
output {...}

  

  在每個部分中,也可以指定多個訪問方式,例如我想要指定兩個日志來源文件,則可以這樣寫:

input { 
 file { path =>"/var/log/messages" type =>"syslog"} 
 file { path =>"/var/log/apache/access.log" type =>"apache"} 
}

  類似的,如果在filter中添加了多種處理規則,則按照它的順序一一處理,但是有一些插件並不是線程安全的。

  比如在filter中指定了兩個一樣的的插件,這兩個任務並不能保證准確的按順序執行,因此官方也推薦避免在filter中重復使用插件。

 

  說完這些,簡單的創建一個配置文件的小例子看看:

input {
    file {
     #指定監聽的文件路徑,注意必須是絕對路徑 path
=> "E:/software/logstash-1.5.4/logstash-1.5.4/data/test.log" start_position => beginning } } filter { } output { stdout {} }

  日志大致如下:

1 hello,this is first line in test.log!
2 hello,my name is xingoo!
3 goodbye.this is last line in test.log!
4

  注意最后有一個空行。

  執行命令得到如下信息:

  細心的會發現,這個日志輸出與上面的logstash -e "" 並不相同,這是因為上面的命令默認指定了返回的格式是json形式。

 

  至此,就是logstash入門篇的介紹了,稍后會介紹關於logstash更多的內容,感興趣的可以關注哦!

參考

【1】Logstash官方文檔:https://www.elastic.co/guide/en/logstash/current/index.html  


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM