springboot集成log4j2 + logstash 異步輸出日志

一、　　spring boot 集成log4j2

1、maven引入jar包

　　　　<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <exclusions><!-- 去掉logback配置 -->
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter-logging</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!--log4j2-->
        <dependency> <!-- 引入log4j2依賴 -->
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-log4j2</artifactId>
        </dependency>
        <dependency>
            <groupId>biz.paluch.logging</groupId>
            <artifactId>logstash-gelf</artifactId>
            <version>1.12.0</version>
        </dependency>
        <dependency>
            <groupId>com.lmax</groupId>
            <artifactId>disruptor</artifactId>
            <version>3.4.2</version>
        </dependency>

2、配置文件增加引入log4j2.xml日志配置文件

#切換log4j2日志配置文件
logging:
  config: classpath:config/log4j2-dev.xml

3、log4j2的日志輸出配置

<?xml version="1.0" encoding="UTF-8"?>
<!--Configuration后面的status，這個用於設置log4j2自身內部的信息輸出，可以不設置，當設置成trace時，你會看到log4j2內部各種詳細輸出-->
<!--monitorInterval：Log4j能夠自動檢測修改配置 文件和重新配置本身，設置間隔秒數-->
<configuration monitorInterval="5">
    <!--日志級別以及優先級排序: OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL -->

    <!--變量配置-->
    <Properties>
        <!-- 格式化輸出：%date表示日期，%thread表示線程名，%-5level：級別從左顯示5個字符寬度 %msg：日志消息，%n是換行符-->
        <!-- %logger{36} 表示 Logger 名字最長36個字符 -->
        <property name="LOG_PATTERN" value="%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] [%p] [%c:%L] -&#45;&#45; %m%n" />
        <Property name="PATTERN">{"host": "%host", "logger": "%logger", "level": "%level", "message": "[%thread] [%c:%L] --- %message"}%n</Property>
        <!-- 定義日志存儲的路徑，不要配置相對路徑 -->
        <property name="FILE_PATH" value="C:/springSecurity/" />
        <property name="FILE_NAME" value="securitylog" />
    </Properties>

    <appenders>

        <console name="Console" target="SYSTEM_OUT">
            <!--輸出日志的格式-->
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <!--控制台只輸出level及其以上級別的信息（onMatch），其他的直接拒絕（onMismatch）-->
            <ThresholdFilter level="Debug" onMatch="ACCEPT" onMismatch="DENY"/>
        </console>

        <!--文件會打印出所有信息，這個log每次運行程序會自動清空，由append屬性決定，適合臨時測試用-->
        <File name="Filelog" fileName="${FILE_PATH}/test.log" append="false">
            <PatternLayout pattern="${LOG_PATTERN}"/>
        </File>

        <!-- 這個會打印出所有的info及以下級別的信息，每次大小超過size，則這size大小的日志會自動存入按年份-月份建立的文件夾下面並進行壓縮，作為存檔-->
        <RollingFile name="RollingFileInfo" fileName="${FILE_PATH}/info.log" filePattern="${FILE_PATH}/${FILE_NAME}-INFO-%d{yyyy-MM-dd}_%i.log.gz">
            <!--控制台只輸出level及以上級別的信息（onMatch），其他的直接拒絕（onMismatch）-->
            <ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <Policies>
                <!--interval屬性用來指定多久滾動一次，默認是1 hour-->
                <TimeBasedTriggeringPolicy interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
            </Policies>
            <!-- DefaultRolloverStrategy屬性如不設置，則默認為最多同一文件夾下7個文件開始覆蓋-->
            <DefaultRolloverStrategy max="15"/>
        </RollingFile>

        <!-- 這個會打印出所有的warn及以下級別的信息，每次大小超過size，則這size大小的日志會自動存入按年份-月份建立的文件夾下面並進行壓縮，作為存檔-->
        <RollingFile name="RollingFileWarn" fileName="${FILE_PATH}/warn.log" filePattern="${FILE_PATH}/${FILE_NAME}-WARN-%d{yyyy-MM-dd}_%i.log.gz">
            <!--控制台只輸出level及以上級別的信息（onMatch），其他的直接拒絕（onMismatch）-->
            <ThresholdFilter level="warn" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <Policies>
                <!--interval屬性用來指定多久滾動一次，默認是1 hour-->
                <TimeBasedTriggeringPolicy interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
            </Policies>
            <!-- DefaultRolloverStrategy屬性如不設置，則默認為最多同一文件夾下7個文件開始覆蓋-->
            <DefaultRolloverStrategy max="15"/>
        </RollingFile>

        <!-- 這個會打印出所有的error及以下級別的信息，每次大小超過size，則這size大小的日志會自動存入按年份-月份建立的文件夾下面並進行壓縮，作為存檔-->
        <RollingFile name="RollingFileError" fileName="${FILE_PATH}/error.log" filePattern="${FILE_PATH}/${FILE_NAME}-ERROR-%d{yyyy-MM-dd}_%i.log.gz">
            <!--控制台只輸出level及以上級別的信息（onMatch），其他的直接拒絕（onMismatch）-->
            <ThresholdFilter level="error" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <Policies>
                <!--interval屬性用來指定多久滾動一次，默認是1 hour-->
                <TimeBasedTriggeringPolicy interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
            </Policies>
            <!-- DefaultRolloverStrategy屬性如不設置，則默認為最多同一文件夾下7個文件開始覆蓋-->
            <DefaultRolloverStrategy max="15"/>
        </RollingFile>

        <!-- 這個會打印出所有的error及以下級別的信息，每次大小超過size，則這size大小的日志會自動存入按年份-月份建立的文件夾下面並進行壓縮，作為存檔-->
        <RollingFile name="RollingFileDebug" fileName="${FILE_PATH}/debug.log" filePattern="${FILE_PATH}/${FILE_NAME}-ERROR-%d{yyyy-MM-dd}_%i.log.gz">
            <!--控制台只輸出level及以上級別的信息（onMatch），其他的直接拒絕（onMismatch）-->
            <ThresholdFilter level="debug" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <Policies>
                <!--interval屬性用來指定多久滾動一次，默認是1 hour-->
                <TimeBasedTriggeringPolicy interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
            </Policies>
            <!-- DefaultRolloverStrategy屬性如不設置，則默認為最多同一文件夾下7個文件開始覆蓋-->
            <DefaultRolloverStrategy max="15"/>
        </RollingFile>
        <Socket name="logstash" host="192.168.76.128" port="5602" protocol="TCP">
            <PatternLayout pattern="${PATTERN}" />
            <!--<JsonLayout properties="true"/>-->
        </Socket>
        <!--<Gelf name="logstash-gelf" host="udp:192.168.76.128" port="5602" version="1.1" ignoreExceptions="true">
            <Field name="timestamp" pattern="%d{yyyy-MM-dd HH:mm:ss.SSS}" />
            <Field name="logger" pattern="%logger" />
            <Field name="level" pattern="%level" />
            <Field name="simpleClassName" pattern="%C{1}" />
            <Field name="className" pattern="%C" />
            <Field name="method" pattern="%M" />
            <Field name="line" pattern="%L" />
            <Field name="server" pattern="%host" />
        </Gelf>-->
        <!--<Gelf name="gelf" host="udp:192.168.76.128" port="9600" version="1.1" extractStackTrace="true"
              filterStackTrace="true" mdcProfiling="true" includeFullMdc="true" maximumMessageSize="8192"
              originHost="%host{fqdn}" additionalFieldTypes="fieldName1=String,fieldName2=Double,fieldName3=Long">
            <Field name="timestamp" pattern="%d{dd MMM yyyy HH:mm:ss,SSS}" />
            <Field name="level" pattern="%level" />
            <Field name="simpleClassName" pattern="%C{1}" />
            <Field name="className" pattern="%C" />
            <Field name="server" pattern="%host" />
            <Field name="server.fqdn" pattern="%host{fqdn}" />
            <Field name="message" pattern="%message" />
            &lt;!&ndash; This is a static field &ndash;&gt;
            <Field name="fieldName2" literal="fieldValue2" />

            &lt;!&ndash; This is a field using MDC &ndash;&gt;
            <Field name="mdcField2" mdc="mdcField2" />
            <DynamicMdcFields regex="mdc.*" />
            <DynamicMdcFields regex="(mdc|MDC)fields" />
        </Gelf>-->
    </appenders>

    <!--Logger節點用來單獨指定日志的形式，比如要為指定包下的class指定不同的日志級別等。-->
    <!--然后定義loggers，只有定義了logger並引入的appender，appender才會生效-->
    <loggers>

        <!--過濾掉spring和mybatis的一些無用的DEBUG信息-->
        <logger name="org.mybatis" level="info" additivity="false">
            <AppenderRef ref="Console"/>
        </logger>
        <!--監控系統信息-->
        <!--若是additivity設為false，則 子Logger 只會在自己的appender里輸出，而不會在 父Logger 的appender里輸出。-->
        <Logger name="org.springframework" level="info" additivity="false">
            <AppenderRef ref="Console"/>
        </Logger>

        <Logger name="com.security.persisence" level="debug" additivity="false">
            <AppenderRef ref="Console"/>
            <appender-ref ref="RollingFileDebug"/>
        </Logger>

        <AsyncLogger name="com.security" level="info" includeLocation="false" >
            <!--<appender-ref ref="Console"/>-->
            <appender-ref ref="logstash" />
        </AsyncLogger>

        <root level = "info">
            <appender-ref ref="Console"/>
            <!--<appender-ref ref="logstash" />-->
            <!--<appender-ref ref="Filelog"/>-->
            <!--<appender-ref ref="RollingFileInfo"/>
            <appender-ref ref="RollingFileWarn"/>
            <appender-ref ref="RollingFileError"/>
            <appender-ref ref="RollingFileDebug"/>-->
        </root>
    </loggers>

</configuration>

　　連接logstash方式有兩種

　　（1） 一種是Socket連接

　　（2）另外一種是gelf連接

       根據網上資料顯示，Socket可以解決logstash重啟后，應用服務無法繼續輸出日志到eleastic的接收問題，必須應用服務也需要重啟才能繼續日志輸出，所以基本都推薦使用gelf連接，根據本人的環境搭建以及研究，socket在logstash重啟后，繼續輸出日志，會自動與logstash建立，並沒有出現接收問題，所以兩種方式目前都可以在單體應用、分布式應用中都放心使用

3、logstash的conf配置，啟動使用

input { 
    tcp {
     host =>"192.168.76.128"
     port => 5602
      codec => json {
             charset => "UTF-8"
         }
        }
    stdin{}
} 
filter{
   json{
      source => "message"
   }
}
output {
     elasticsearch { 
        #action => "index"
                manage_template => false
        hosts => "192.168.76.128:9200"
        index => "logstash-security-%{+YYYY-MM-dd}"
                document_type => "logstash"
     }
     stdout { codec=> rubydebug } 
}

4、輸出日志后，kibana查看日志