Java日志信息存庫(log4j篇)

一、Log4j簡介

        在一個完整的J2EE項目開發中，日志是一個非常重要的功能組成部分。它可以記錄下系統所產生的所有行為，並按照某種規范表達出來。我們可以通過日志信息為系統進行排錯，優化系統的性能，或者根據這些信息調整系統等行為。Log4j是Apache針對於日志信息處理的一個開源項目，其最大特點是通過一個配置文件就可以靈活地控制日志信息的輸出方式(控制台、文件和數據庫等)、日志輸出格式及日志信息打印級別等，而不需要修改應用的代碼。

二、編寫背景

       作為一名程序猿在開發中總能遇到一些比較奇葩的需求，而這些需求對於身份低微的小編來說又不得不去盡力完成。在接觸A公司項目之前，公司項目中使用到的日志信息基本都是寫到對應文件中。而A公司客戶覺得日志信息存在文件中不方便查看，需要把日志信息記錄到數據庫中，然后再做個界面供在頁面上查詢。說實話，日志寫庫這種低效率的事情我向來是不太贊同去做的。

三、編寫目的

       怕年紀大了就會忘了，給自己留個回憶。

四、Java日志信息存庫詳細解決方案

1.開發環境說明

       Eclipse+Tomcat6+JDK1.6+Oracle+Log4j1.2

2.數據庫表創建

　　　　　　　　　　　　表1.日志信息表(LOGGING_EVENT)

字段名	中文說明	類型	為空
TIMESTMP	記錄時間	NUMBER(20)	N
FORMATTED_MESSAGE	格式化后的日志信息	CLOB	N
LOGGER_NAME	執行記錄請求的logger	VARCHAR2(256)	N
LEVEL_STRING	日志級別	VARCHAR2(256)	N
THREAD_NAME	日志線程名	VARCHAR2(256)	Y
REFERENCE_FLAG	包含標識：1-MDC或上下文屬性;2-異常;3-均包含	INTEGER	Y
ARG0	參數1	VARCHAR2(256)	Y
ARG1	參數2	VARCHAR2(256)	Y
ARG2	參數3	VARCHAR2(256)	Y
ARG3	參數4	VARCHAR2(256)	Y
CALLER_FILENAME	文件名	VARCHAR2(256)	N
CALLER_CLASS	類	VARCHAR2(256)	N
CALLER_METHOD	方法名	VARCHAR2(256)	N
CALLER_LINE	行號	VARCHAR2(256)	N
EVENT_ID	主鍵ID	NUMBER(10)	N

　　注： 建這個表主要是因為項目中同時使用了logback和log4j兩種組件記錄日志信息，該表的表結構使用的是logback-classic-1.1.3.jar中提供的oracle.sql文件創建的。

3.實現方案

(1)直接配置log4j.properties文件

　　使用log4j原生態JDBCAppender最大的缺陷就是沒法使用JNDI,還有比較棘手的就是沒法把超過4000字符的日志信息插入到數據庫表(即便使用CLOB類型來存儲亦如此)

#配置將INFO級別及以上級別的日志存到數據庫中
log4j.rootLogger=INFO,db

#使用log4j默認的JDBCAppender將日志存到數據庫
log4j.appender.db = org.apache.log4j.jdbc.JDBCAppender

#配置產生多少條日志的時候再去插入到數據庫，默認為1
log4j.appender.db.BufferSize=5

#配置數據庫驅動
log4j.appender.db.driver=oracle.jdbc.driver.OracleDriver

#配置數據庫連接地址
log4j.appender.db.URL=jdbc:oracle:thin:@<ip>:<port>:<sid>

#配置數據庫連接用戶名
log4j.appender.db.user=XXX

#配置數據庫連接密碼
log4j.appender.db.password=XXX

#配置日志存數庫執行的sql,支持log4j格式化參數,LOGGING_EVENT_ID_SEQ是建立的索引，用於生成主鍵
log4j.appender.db.sql=insert into LOGGING_EVENT (timestmp,formatted_message,logger_name,level_string,thread_name,caller_filename,caller_class,caller_method,caller_line,event_id) 
values((SYSDATE - TO_DATE('1970-1-1 8', 'YYYY-MM-DD HH24')) * 86400000 + TO_NUMBER(TO_CHAR(SYSTIMESTAMP(3), 'FF')),'%m','atsws','%p','%t','%F','%C','%M','%L',LOGGING_EVENT_ID_SEQ.nextval)

#配置對應的layout
log4j.appender.db.layout=org.apache.log4j.PatternLayout

 

(2)自定義JDBCAppender類

1)自定義Appender類(ATSDBAppender.java)

　　該ATSDBAppender是基於log4j-1.2.17.jar中原有的JDBCAppender改造而來,同時支持JDBC及JNDI連接數據庫操作，具有比較好的擴展性，且很好的解決了日志信息超長無法存庫的問題。

package com.hundsun.util.loggingevent;

import java.io.StringReader;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.Iterator;

import javax.naming.InitialContext;
import javax.naming.NamingException;
import javax.sql.DataSource;

import org.apache.commons.lang3.StringUtils;
import org.apache.log4j.Appender;
import org.apache.log4j.AppenderSkeleton;
import org.apache.log4j.PatternLayout;
import org.apache.log4j.spi.ErrorCode;
import org.apache.log4j.spi.LocationInfo;
import org.apache.log4j.spi.LoggingEvent;

public class ATSDBAppender extends AppenderSkeleton implements Appender{
    protected String databaseURL;
    protected String databaseUser;
    protected String databasePassword;
    protected Connection connection;
    protected String sqlStatement;
    protected int bufferSize = 1;
    protected ArrayList<LoggingEvent> buffer;
    protected ArrayList<LoggingEvent> removes;
    private boolean locationInfo = false;
    
    protected DataSource ds = null;
    protected String jndiName;//JNDI名

    public ATSDBAppender(){
        this.buffer = new ArrayList<LoggingEvent>(this.bufferSize);
        this.removes = new ArrayList<LoggingEvent>(this.bufferSize);
     }
    @Override
    public void close() {
        flushBuffer();
        try{
            if((this.connection!=null)&&(!this.connection.isClosed())){
                this.connection.close();
            }
        }catch(SQLException e){
            this.errorHandler.error("關閉連接失敗",e,0);
        }
        this.closed=true;
    }
    public void flushBuffer(){
        this.removes.ensureCapacity(this.buffer.size());
        for(Iterator<LoggingEvent> i=this.buffer.iterator();i.hasNext();){
            LoggingEvent logEvent=(LoggingEvent)i.next();
            try{
                String sql=" insert into logging_event (timestmp,formatted_message,logger_name,level_string,thread_name,caller_filename,caller_class,caller_method,caller_line,event_id) values(?,?,?,?,?,?,?,?,?,LOGGING_EVENT_ID_SEQ.nextval) ";
                execute(sql, logEvent);
            }catch(SQLException e){
                this.errorHandler.error("執行sql出錯", e, 2);
            }finally{
                this.removes.add(logEvent);
            }
        }
        this.buffer.removeAll(this.removes);
        this.removes.clear();
    }
    public void finalize(){
        close();
    }
    @Override
    public boolean requiresLayout() {
        return true;
    }
    
    @Override
    public synchronized void doAppend(LoggingEvent event) {
        if(!StringUtils.isEmpty(name)&&"db".equals(name)&&closed){
            closed=false;
        }
        super.doAppend(event);
    }
    @Override
    protected void append(LoggingEvent event) {
        event.getTimeStamp();
        event.getThreadName();
        event.getMDCCopy();
        if(this.locationInfo){
            event.getLocationInformation();
        }
        event.getRenderedMessage();
        event.getThrowableStrRep();
        this.buffer.add(event);
        if(this.buffer.size()>=this.bufferSize)
            flushBuffer();
    }
    protected void execute(String sql,LoggingEvent logEvent) throws SQLException{
        Connection con=null;
        PreparedStatement stmt=null;
        try{
            con=getConnection();
            stmt=con.prepareStatement(sql);
            stmt.setLong(1, logEvent.getTimeStamp());
            String largeText=logEvent.getRenderedMessage();
            StringReader reader=new StringReader(largeText);
            stmt.setCharacterStream(2, reader,largeText==null?0:largeText.length());
            stmt.setString(3, "atsws");
            stmt.setString(4, logEvent.getLevel().toString());
            stmt.setString(5, logEvent.getThreadName());
            LocationInfo locationInfo = logEvent.getLocationInformation();
            stmt.setString(6, locationInfo.getFileName());
            stmt.setString(7, locationInfo.getClassName());
            stmt.setString(8, locationInfo.getMethodName());
            stmt.setString(9, locationInfo.getLineNumber());
            stmt.executeUpdate();
        }finally{
            if(stmt!=null){
                stmt.close();
            }
            closeConnection(con);
        }
    }
    protected void closeConnection(Connection con){
        try{
            if(connection!=null&&!connection.isClosed())
                connection.close();
        }catch(SQLException e){
            errorHandler.error("關閉連接失敗！",e,ErrorCode.GENERIC_FAILURE);
        }
    }
    protected Connection getConnection() throws SQLException{
        if(!DriverManager.getDrivers().hasMoreElements()){
            setDriver("oracle.jdbc.driver.OracleDriver");
        }
        if(databaseURL!=null&&databaseUser!=null&&databasePassword!=null){
            if(this.connection==null){
                this.connection=DriverManager.getConnection(this.databaseURL, this.databaseUser, this.databasePassword);
            }
        }else{
            while(ds==null){
                try{
                    InitialContext context=new InitialContext();
                    ds=(DataSource)context.lookup(jndiName);
                }catch(NamingException e){
                    this.errorHandler.error(e.getMessage());
                }
            }
            this.connection=ds.getConnection();
            connection.setAutoCommit(true);
        }
        return this.connection;
    }
    public boolean isLocationInfo() {
        return locationInfo;
    }
    public void setLocationInfo(boolean flag) {
        this.locationInfo = flag;
    }
    public void setJndiName(String jndiName) {
        this.jndiName = jndiName;
    }
    public void setSql(String s)
      {
        this.sqlStatement = s;
        if (getLayout() == null) {
          setLayout(new PatternLayout(s));
        }else{
            ((PatternLayout)getLayout()).setConversionPattern(s);
        }
      }

    public String getSql() {
        return this.sqlStatement;
    }

    public void setUser(String user) {
        this.databaseUser = user;
    }

    public void setURL(String url) {
        this.databaseURL = url;
    }

    public void setPassword(String password) {
        this.databasePassword = password;
    }

    public void setBufferSize(int newBufferSize) {
        this.bufferSize = newBufferSize;
        this.buffer.ensureCapacity(this.bufferSize);
        this.removes.ensureCapacity(this.bufferSize);
    }

    public String getUser() {
        return this.databaseUser;
    }

    public String getURL() {
        return this.databaseURL;
    }

    public String getPassword() {
        return this.databasePassword;
    }

    public int getBufferSize() {
        return this.bufferSize;
    }

    public void setDriver(String driverClass) {
        try {
            Class.forName(driverClass);
        } catch (Exception e) {
            this.errorHandler.error("加載數據庫驅動失敗", e, 0);
        }
    }
}

 

2)配置自定義ATSDBAppender，將日志信息存入Oracle數據庫

Ⅰ.使用JDBC方式配置log4j.properties文件

#配置INFO級別的日志存入數據庫
log4j.rootLogger=INFO,db

#使用自定義的ATSDBAppender類來將日志信息存庫
log4j.appender.db=com.hundsun.util.loggingevent.ATSDBAppender

#設置有多少條日志數據時再進行存庫操作，默認為1，即日志信息每產生一條就新增進數據庫
log4j.appender.db.BufferSize=5

#配置數據庫驅動
log4j.appender.db.driver=oracle.jdbc.driver.OracleDriver

#配置數據庫連接地址
log4j.appender.db.URL=jdbc:oracle:thin:@127.0.0.1:1521:orcl

#配置數據庫連接用戶名
log4j.appender.db.user=tiger

#配置數據庫連接密碼
log4j.appender.db.password=123456

#配置使用的Layout
log4j.appender.db.layout=org.apache.log4j.PatternLayout

　　注:此處並沒有配置sql語句，主要是因為在log4j-1.2.17版本中sql語句處理timestmp字段值使用時間戳方式比較繁瑣，且日志信息超4000字符時會報字段超長錯誤。

Ⅱ.使用JNDI方式配置

A.Tomcat安裝目錄/config/server.xml文件配置JNDI

<Context debug="0" docBase="E:\prj_abic\src\trunk\fundats\ats-modules-webservice\target\ats-modules-webservice" path="/webservice" reloadable="true">
　　<Resource auth="Container" driverClassName="oracle.jdbc.driver.OracleDriver" maxActive="30" maxIdle="30" name="jdbc/logging" password="123456" type="javax.sql.DataSource" url="jdbc:oracle:thin:@127.0.0.1:1521:orcl" username="tiger"/>
</Context>

　　注：該配置為Tomcat下配置JNDI連接比較常用的方式，若不太清楚這塊的配置規則可去查閱相關書籍，此時定義的jndi名稱為"jdbc/logging".

B.applicationContext.xml數據源配置

<bean id="dataSource" class="org.springframework.jndi.JndiObjectFactoryBean">
       <property name="jndiName">                        
         <value>java:comp/env/jdbc/logging</value>          
       </property>
</bean>

　　注:由於使用的是Tomcat服務器，所以在配置數據源的時候得加上前綴[java:comp/env/],weblogic服務器則無需添加前綴，此時jndi名稱與前面server.xml文件配置的要保持一致。

C.log4j.properties文件配置

#配置將INFO級別的日志信息存儲到數據庫中
log4j.rootLogger=INFO,db
 
#使用自定義的Appender實現數據庫的存庫操作
log4j.appender.db=com.hundsun.util.loggingevent.ATSDBAppender

#設置一次性將多少條日志信息存入數據庫，默認為1，但效率低
log4j.appender.db.BufferSize=5

#配置使用到的JNDI的名稱,該值與Tomcat服務器配置的JNDI名稱保持一致
log4j.appender.db.jndiName=java:comp/env/jdbc/logging

#配置日志使用的Layout
log4j.appender.db.layout=org.apache.log4j.PatternLayout

　　注:由於使用的是Tomcat服務器,所以jndiName的值需加上前綴[java:comp/env/],weblogic服務器則無需添加前綴，此時jndi名稱與前面server.xml文件配置的要保持一致。

 

五、總結

　　文中提到的Log4j日志信息存庫功能開發僅是Log4j組件的皮毛而已，由於編者水平有限，在很多觀點的闡述和代碼的處理方式還有存在着很大的爭議，望各位提出寶貴的意見和建議。