status = error dest = err name = PropertiesConfig property.filename = /gwlog/data/logstash/logs appender.rolling.type = RollingFile appender.rolling.name = RollingFile appender.rolling.fileName = ${filename}/logstash.log appender.rolling.filePattern = ${filename}/logstash-%d{yyyy-MM-dd}-%i.log.gz appender.rolling.layout.type = PatternLayout appender.rolling.layout.pattern = %d %p %C{1.} [%t] %m%n appender.rolling.policies.type = Policies appender.rolling.policies.time.type = TimeBasedTriggeringPolicy appender.rolling.policies.time.interval = 1 appender.rolling.policies.time.modulate = true appender.rolling.policies.size.type = SizeBasedTriggeringPolicy appender.rolling.policies.size.size=50MB appender.rolling.strategy.type = DefaultRolloverStrategy appender.rolling.strategy.max = 5 appender.console.type = Console appender.console.name = plain_console appender.console.layout.type = PatternLayout appender.console.layout.pattern = [%d{ISO8601}][%-5p][%-25c] %m%n appender.json_console.type = Console appender.json_console.name = json_console appender.json_console.layout.type = JSONLayout appender.json_console.layout.compact = true appender.json_console.layout.eventEol = true rootLogger.level = debug rootLogger.appenderRef.rolling.ref = RollingFile rootLogger.appenderRef.console.ref = ${sys:ls.log.format}_console
效果圖:到了50M就壓縮,壓縮到了5M多,最多保留5個壓縮包,再有就丟棄舊的壓縮包
0)查看當前logstash安裝了哪些插件 ./logstash-plugin list
1)若logstash沒有權限訪問某個文件,需要給logstash加到文件所屬組或修改文件權限,下面舉個修改logstash所屬組的例子
這個例子有點問題,修改所屬組時,最好加上-a
用usermod 命令可把某用戶添加進多個附屬組,默認情況下,一次性添加多個附屬組可用以下方式來添加:
usermod -G 附屬組1,附屬組2,...,附屬組X 用戶名
但在添加之后若再對該用戶添加另外附屬組時,使用
usermod -G 附屬組名 用戶名
會把該用戶的附屬組覆蓋為“附屬組名”。此時,可在usermod 命令中添加一個參數 -a 即可。
usermod -a -G 附屬組名 用戶名
2)使用filter插件中的grok插件,格式化apache日志
4)如果你的時間字段可能有多個格式,則可指定多個可能的日期格式:match => [ "timestamp", "MMM dd YYY HH:mm:ss", "MMM d YYY HH:mm:ss", "ISO8601" ]
5)備注:@timestamp 比我們晚了 8 個小時,在kibana顯示也是如此。如何能讓日志收集時間能和@timestamp一致呢?在date插件中添加如下字段:timezone =>"Asia/Chongqing"
6)若正則表達式匹配失敗,logstash會給tag添加要給叫"_grokparsefailure"的tag
7)http://blog.sina.com.cn/s/blog_829a682d0101mkwu.html
8)字段引用
9)sincedb 文件中記錄了每個被監聽的文件的 inode, major number, minor number 和 pos。
10)你可以隨意給事件添加字段或者從事件里刪除字段