碼上歡樂
相關內容    簡體    繁體

Logback配置文件這么寫，TPS提高10倍

本文轉載自   查看原文   2019-08-13 09:24   453    java/ doc

通過閱讀本篇文章將了解到

  • 1.日志輸出到文件並根據LEVEL級別將日志分類保存到不同文件
  • 2.通過異步輸出日志減少磁盤IO提高性能
  • 3.異步輸出日志的原理

配置文件logback-spring.xml

SpringBoot工程自帶logback和slf4j的依賴，所以重點放在編寫配置文件上，需要引入什么依賴，日志依賴沖突統統都不需要我們管了。logback框架會默認加載classpath下命名為logback-spring或logback的配置文件。將所有日志都存儲在一個文件中文件大小也隨着應用的運行越來越大並且不好排查問題，正確的做法應該是將error日志和其他日志分開，並且不同級別的日志根據時間段進行記錄存儲。

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <property resource="logback.properties"/>
    <appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </layout>
    </appender>
    <!--獲取比info級別高(包括info級別)但除error級別的日志-->
    <appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <onMatch>DENY</onMatch>
            <onMismatch>ACCEPT</onMismatch>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>

        <!--滾動策略-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>
    <appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>
        <!--滾動策略-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>

    <root level="info">
        <appender-ref ref="CONSOLE-LOG" />
        <appender-ref ref="INFO-LOG" />
        <appender-ref ref="ERROR-LOG" />
    </root>
</configuration>

部分標簽說明

  • <root>

    標簽，必填標簽，用來指定最基礎的日志輸出級別

    • <appender-ref>標簽，添加append
  • <append>

    標簽，通過使用該標簽指定日志的收集策略

    • name屬性指定appender命名
    • class屬性指定輸出策略，通常有兩種，控制台輸出和文件輸出，文件輸出就是將日志進行一個持久化。ConsoleAppender將日志輸出到控制台
  • <filter>

    標簽，通過使用該標簽指定過濾策略

    • <level>標簽指定過濾的類型

  • <encoder>標簽，使用該標簽下的<pattern>標簽指定日志輸出格式

  • <rollingPolicy>

    標簽指定收集策略，比如基於時間進行收集

    • <fileNamePattern>標簽指定生成日志保存地址 通過這樣配置已經實現了分類分天手機日志的目標了

img

logback 高級特性異步輸出日志

之前的日志配置方式是基於同步的，每次日志輸出到文件都會進行一次磁盤IO。采用異步寫日志的方式而不讓此次寫日志發生磁盤IO，阻塞線程從而造成不必要的性能損耗。異步輸出日志的方式很簡單，添加一個基於異步寫日志的appender，並指向原先配置的appender即可

 <!-- 異步輸出 -->
    <appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丟失日志.默認的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日志 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改默認的隊列的深度,該值會影響性能.默認值為256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多只能添加一個 -->
        <appender-ref ref="INFO-LOG"/>
    </appender>

    <appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丟失日志.默認的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日志 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改默認的隊列的深度,該值會影響性能.默認值為256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多只能添加一個 -->
        <appender-ref ref="ERROR-LOG"/>
    </appender>

異步輸出日志性能測試

既然能提高性能的話，必須進行一次測試比對，同步和異步輸出日志性能到底能提升多少倍？

服務器硬件
  • CPU六核
  • 內存 8G
測試工具
Apache Jmeter
同步輸出日志

  • 線程數：100

  • Ramp-Up Loop(可以理解為啟動線程所用時間) ：0 可以理解為100個線程同時啟用

  • 測試結果

    同步輸出日志測試結果

    重點關注指標

    Throughput【TPS】

    吞吐量：系統在單位時間內處理請求的數量，在同步輸出日志中

    TPS

    為

    44.2/sec

異步輸出日志

  • 線程數 100

  • Ramp-Up Loop：0

  • 測試結果

    異步輸出日志測試結果

    TPS

    為

    497.5/sec

    ，

    性能提升了10多倍！！！

異步日志輸出原理

從logback框架下的Logger.info方法開始追蹤。一路的方法調用路徑如下圖所示：

方法調用圖

異步輸出日志中最關鍵的就是配置文件中ch.qos.logback.classic``AsyncAppenderBase``append

protected void append(E eventObject) {
        if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {
            this.preprocess(eventObject);
            this.put(eventObject);
        }
    }

通過隊列情況判斷是否需要丟棄日志，不丟棄的話將它放到阻塞隊列中，通過查看代碼，這個阻塞隊列為ArrayBlockingQueueu，默認大小為256，可以通過配置文件進行修改。Logger.info(...)到append(...)就結束了，只做了將日志塞入到阻塞隊列的事，然后繼續執行Logger.info(...)下面的語句了。 在AsyncAppenderBase類中定義了一個Worker線程，run方法中的關鍵部分代碼如下:

E e = parent.blockingQueue.take();
aai.appendLoopOnAppenders(e);

從阻塞隊列中取出一個日志，並調用AppenderAttachableImpl類中的appendLoopOnAppenders方法維護一個Append列表。Worker線程中調用方法過程主要如下圖：

image

最主要的兩個方法就是encode``write``encode

作者：何甜甜在嗎鏈接：https://juejin.im/post/5d4d61326fb9a06aff5e5ff5

最后附：項目完整代碼

異步輸出日志
<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <property resource="logback.properties"/>
    <appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </layout>
    </appender>
    <!--獲取比info級別高(包括info級別)但除error級別的日志-->
    <appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <onMatch>DENY</onMatch>
            <onMismatch>ACCEPT</onMismatch>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>

        <!--滾動策略-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>
    <appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>
        <!--滾動策略-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路徑-->
            <fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>
    <!-- 異步輸出 -->
    <appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丟失日志.默認的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日志 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改默認的隊列的深度,該值會影響性能.默認值為256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多只能添加一個 -->
        <appender-ref ref="INFO-LOG"/>
    </appender>

    <appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丟失日志.默認的,如果隊列的80%已滿,則會丟棄TRACT、DEBUG、INFO級別的日志 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改默認的隊列的深度,該值會影響性能.默認值為256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多只能添加一個 -->
        <appender-ref ref="ERROR-LOG"/>
    </appender>

    <root level="info">
        <appender-ref ref="CONSOLE-LOG" />
        <appender-ref ref="INFO-LOG" />
        <appender-ref ref="ERROR-LOG" />
    </root>
</configuration>

LOG_ERROR_HOME=C://Users//hetiantian//Desktop//log//error
LOG_INFO_HOME=C://Users//hetiantian//Desktop//log//info


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 logback配置文件---logback.xml詳解 springboot項目logback配置文件示例 logback.xml配置文件解析一 【Log】logback指定配置文件（二） springboot 整合logback(有全套的日志配置文件) logback的xml配置文件模板（超詳細） 如何寫python的配置文件 python寫的讀取json配置文件 【spring boot logback】日志顏色渲染，使用logback-spring.xml自定義的配置文件后，日志沒有顏色了 Java日志組件logback使用：加載非類路徑下的配置文件並設置定時更新
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM