logstash自己的日志保存到文件中:log4j2.properties


status = error 
dest = err
name = PropertiesConfig

property.filename = /gwlog/data/logstash/logs

appender.rolling.type = RollingFile
appender.rolling.name = RollingFile
appender.rolling.fileName = ${filename}/logstash.log
appender.rolling.filePattern = ${filename}/logstash-%d{yyyy-MM-dd}-%i.log.gz
appender.rolling.layout.type = PatternLayout
appender.rolling.layout.pattern = %d %p %C{1.} [%t] %m%n
appender.rolling.policies.type = Policies
appender.rolling.policies.time.type = TimeBasedTriggeringPolicy
appender.rolling.policies.time.interval = 1
appender.rolling.policies.time.modulate = true
appender.rolling.policies.size.type = SizeBasedTriggeringPolicy
appender.rolling.policies.size.size=50MB
appender.rolling.strategy.type = DefaultRolloverStrategy
appender.rolling.strategy.max = 5

appender.console.type = Console
appender.console.name = plain_console
appender.console.layout.type = PatternLayout
appender.console.layout.pattern = [%d{ISO8601}][%-5p][%-25c] %m%n

appender.json_console.type = Console
appender.json_console.name = json_console
appender.json_console.layout.type = JSONLayout
appender.json_console.layout.compact = true
appender.json_console.layout.eventEol = true

rootLogger.level = debug
rootLogger.appenderRef.rolling.ref = RollingFile
rootLogger.appenderRef.console.ref = ${sys:ls.log.format}_console

 效果圖:到了50M就壓縮,壓縮到了5M多,最多保留5個壓縮包,再有就丟棄舊的壓縮包

0)查看當前logstash安裝了哪些插件  ./logstash-plugin list

1)若logstash沒有權限訪問某個文件,需要給logstash加到文件所屬組或修改文件權限,下面舉個修改logstash所屬組的例子

這個例子有點問題,修改所屬組時,最好加上-a

用usermod 命令可把某用戶添加進多個附屬組,默認情況下,一次性添加多個附屬組可用以下方式來添加:

 usermod -G 附屬組1,附屬組2,...,附屬組X  用戶名

    但在添加之后若再對該用戶添加另外附屬組時,使用

    usermod -G 附屬組名 用戶名  

    會把該用戶的附屬組覆蓋為“附屬組名”。此時,可在usermod 命令中添加一個參數 -a 即可。

    usermod -a -G 附屬組名 用戶名

2)使用filter插件中的grok插件,格式化apache日志

4)如果你的時間字段可能有多個格式,則可指定多個可能的日期格式:match => [ "timestamp", "MMM dd YYY HH:mm:ss", "MMM  d YYY HH:mm:ss", "ISO8601" ]

5)備注:@timestamp 比我們晚了 8 個小時,在kibana顯示也是如此。如何能讓日志收集時間能和@timestamp一致呢?在date插件中添加如下字段:timezone =>"Asia/Chongqing"

6)若正則表達式匹配失敗,logstash會給tag添加要給叫"_grokparsefailure"的tag

7)http://blog.sina.com.cn/s/blog_829a682d0101mkwu.html

 

8)字段引用

9)sincedb 文件中記錄了每個被監聽的文件的 inode, major number, minor number 和 pos。

10)你可以隨意給事件添加字段或者從事件里刪除字段

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM