玩轉mongodb（九）：通過log4jmongo來實現分布式系統的日志統一管理

背景

　　在分布式系統中，我們有多個web app，這些web app可能分別部署在不同的物理服務器上，並且有各自的日志輸出。當生產問題來臨時，很多時候都需要去各個日志文件中查找可能的異常，相當耗費人力。日志存儲多以文本文件形式存在，當有需求需要對日志進行分析挖掘時，這個處理起來也是諸多不便，而且效率低下。

　　為了方便對這些日志進行統一管理和分析，我們可以將日志統一輸出到指定的數據庫系統中，再由日志分析系統去管理。由於這里是mongodb的篇章，所以主觀上以mongodb來做日志數據存儲；客觀上，一是因為它輕便、簡單，與log4j整合方便，對系統的侵入性低。二是因為它與大型的關系型數據庫相比有很多優勢，比如查詢快速、bson存儲結構利於擴展、免費等。

解決方案

整合mongodb和log4j

1、安裝mongodb數據庫，並在本地啟動，默認端口是27017，詳細請參考：玩轉mongodb（一）：初識mongodb

2、新建一個maven（maven版本要求3.0以上）工程，選擇maven-archetype-quickstart，工程名：log4j2mongo

3、在pom.xml文件中，添加log4j、log4mongo-java、mongo-java-driver三個依賴。具體代碼如下：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.manyjar</groupId>
  <artifactId>log4j2mongo</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>log4j2mongo</name>
  <url>http://maven.apache.org</url>
  
  <properties>  
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>  
    <junit.version>3.8.1</junit.version>  
    <log4j.version>1.2.17</log4j.version>  
    <log4mongo.version>0.7.4</log4mongo.version>  
    <mongo-java-driver.version>2.8.0</mongo-java-driver.version>  
  </properties> 

  <dependencies>
    <dependency>  
      <groupId>junit</groupId>  
      <artifactId>junit</artifactId>  
      <version>${junit.version}</version>  
      <scope>test</scope>  
    </dependency>  
  
      <dependency>  
          <groupId>log4j</groupId>  
          <artifactId>log4j</artifactId>  
          <version>${log4j.version}</version>  
      </dependency>  
  
      <dependency>  
          <groupId>org.log4mongo</groupId>  
          <artifactId>log4mongo-java</artifactId>  
          <version>${log4mongo.version}</version>  
      </dependency>  
  
      <dependency>  
          <groupId>org.mongodb</groupId>  
          <artifactId>mongo-java-driver</artifactId>  
          <version>${mongo-java-driver.version}</version>  
      </dependency>
  </dependencies>
</project>

4、在resources文件夾中，添加log4j.properties文件。文件中主要添加log4j對mongodb的適配器org.log4mongo.MongoDbAppender。這里的適配器是log4mongo-java這個jar包提供。mongodb數據庫的ip：127.0.0.1，port：27017，庫名：logs，集合名：log。具體配置如下：

log4j.rootLogger=DEBUG,MongoDB
log4j.appender.MongoDB=org.log4mongo.MongoDbAppender
log4j.appender.MongoDB.databaseName=logs
log4j.appender.MongoDB.collectionName=log
log4j.appender.MongoDB.hostname=127.0.0.1
log4j.appender.MongoDB.port=27017
   
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %5p %c{1}:%L - %m%n

5、在java文件夾中，com.manyjar.log4j2mongo這個包中，添加Main.java文件，觀察文件中的代碼可以發現，和我們平時用log4j來寫日志一模一樣，把日志流到mongodb這件事情，對業務開發的程序員完全透明。具體代碼如下：

package com.manyjar.log4j2mongo;

import org.apache.log4j.Logger;

import com.mongodb.BasicDBObject;
import com.mongodb.DBObject;

public class Main {
    
    public static void main(String[] args) {
        Logger logger = Logger.getLogger(Main.class);
            
            for (int i = 0; i < 10000000; i++) {
                DBObject bson = new BasicDBObject();
                bson.put("name", "ryan"+i);
                logger.debug(bson);
            }
    }
}

6、步驟5中，我們執行了1000萬次的日志插入，數據結構如下：

默認的數據量大小有10G：

這里，我們可以看到，日志的數據存儲量相對不小。如果需要修改日志數據的存儲結構，可以用log4mongo的源代碼進行二次開發。

如果數據量過大，我們可以用TTL索引（過期自動刪除）或固定集合大小兩種方式來解決：

TTL索引:db.log_events.createIndex({"timestamp": 1},{expireAfterSeconds: 60*60*24*30}) #1個月后過期后刪除

將log集合修改成固定大小集合：db.runCommand({"convertToCapped":"log",size:10000})。

 

喜歡請微信掃描下面二維碼，關注我公眾號--“精修Java”，做一些實戰項目中的問題和解決方案分享。