AMQ學習筆記 - 15. 實踐方案：基於ActiveMQ的統一日志服務

概述

---

以ActiveMQ + Log4j + Spring的技術組合，實現基於消息隊列的統一日志服務。

參考： Spring+Log4j+ActiveMQ實現遠程記錄日志——實戰+分析

與參考文章的比較

1. 更新了技術的版本
   e.g. Spring升級到4.2.0，ActiveMQ升級到5.13.2
2. 更新了依賴
   e.g. 使用activemq-client 5.13.2替換activemq-core 5.7.0，並取消了多余的spring-jms依賴
3. 精簡了配置
   e.g. 去掉spring.xml中的jmsTemplate
4. 其他略述

前提

為理解文章的內容，你可能需要先了解下面的知識：

1. 了解基於Maven的項目結構
2. 下載並運行ActiveMQ
3. 了解log4j基於properties配置的簡單用法
4. 了解基於Spring-webmvc的框架的搭建

當然，這只是建議......

技術版本

1. ActiveMQ - 5.13.2
2. Log4j - 1.2.17
3. Spring - 4.2.4

結構圖

---

1.節點拓撲圖

說明：

1. 應用系統基於log4j規范，通過JMSAppender將日志發送到ActiveMQ
2. Log Server向ActiveMQ訂閱消息，並指定MessageListener的實現來接收ActiveMQ發布的消息

實現

---

1.Log Server

你可以從 amqlog-server拿到源代碼。

1.1.文件目錄結構

pom.xml
src/main/webapp/
    |---- WEB-INF/
              |---- web.xml
    |---- index.jsp # 忽略
src/main/resources/
    |---- spring-beans.xml
    |---- topic.properties # 集中管理修改概率比較高的屬性配置
src/main/java/
    |---- cn.sinobest.asj.logserver
              |---- LogListener.java # 接收並輸出log message 

1.2.文件內容

1.2.1. pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>cn.sinobest.asj</groupId>
    <artifactId>log-servler</artifactId>
    <packaging>war</packaging>
    <version>0.0.1-SNAPSHOT</version>
    <name>amqlog-servler Maven Webapp</name>
    <url>http://maven.apache.org</url>
    <description>日志服務器，從ActiveMQ訂閱主題，從而獲取相關的日志數據</description>
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
        <!-- use to import spring-webmvc framework -->
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-web</artifactId>
            <version>4.2.4.RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-jms</artifactId>
            <version>4.2.4.RELEASE</version>
        </dependency>
        <!-- use to subscribe topic message from ActiveMQ -->
        <dependency>
            <groupId>org.apache.activemq</groupId>
            <artifactId>activemq-client</artifactId>
            <version>5.13.2</version>
        </dependency>
        <!-- use to extract log content from message -->
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
    </dependencies>
    <build>
        <finalName>amqlog-servler</finalName>
    </build>
</project>

1.2.2. web.xml

<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns="http://java.sun.com/xml/ns/javaee"
    xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd"
    xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd"
    id="WebApp_ID" version="3.0" metadata-complete="false">
    <display-name>Archetype Created Web Application</display-name>
    <context-param>
        <param-name>contextConfigLocation</param-name>
        <param-value>
                classpath:spring-beans.xml
            </param-value>
    </context-param>
    <listener>
        <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
    </listener>
</web-app>

1.2.3. spring-beans.xml

裝配圖

說明：左上角標識由誰提供具體的實現，沒有標識的由自己提供實現。

內容

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns:context="http://www.springframework.org/schema/context"
    xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans-4.2.xsd
        http://www.springframework.org/schema/context
        http://www.springframework.org/schema/context/spring-context-4.2.xsd">
    <context:property-placeholder location="classpath:topic.properties" />
    
    <bean id="targetConnectionFactory" class="org.apache.activemq.ActiveMQConnectionFactory">
        <property name="brokerURL" value="${topic.brokerURL}" />
        <!-- add trusted packages. see http://activemq.apache.org/objectmessage.html -->
        <property name="trustedPackages">
            <list>
                <value>org.apache.log4j.spi</value>
            </list>
        </property>
    </bean>
    <bean id="connectionFactory"
        class="org.springframework.jms.connection.SingleConnectionFactory">
        <property name="targetConnectionFactory" ref="targetConnectionFactory" />
    </bean>
    
    <bean id="destination" class="org.apache.activemq.command.ActiveMQTopic">
        <constructor-arg name="name" value="${topic.topicName}" />
    </bean>
    
    <!-- define the message-listener to receive and dipose log data. -->
    <bean id="messageListener" class="cn.sinobest.asj.logserver.LogListener" />
    
    <bean id="jmsContainer"
        class="org.springframework.jms.listener.DefaultMessageListenerContainer">
        <property name="connectionFactory" ref="connectionFactory" />
        <property name="destination" ref="destination" />
        <property name="messageListener" ref="messageListener" />
    </bean>
</beans>

 

說明：

在targetConnectionFactory的屬性中，指定了trustedPackages。ActiveMQ自5.12.2版本之后，強制用戶指定一份可信任的packages白名單，以對付ObjectMessage存在的安全漏洞。具體內容可參考： http://activemq.apache.org/objectmessage.html。

1.2.4. topic.properties

topic.brokerURL=tcp://localhost:61616
topic.topicName=demo

注意：brokerURL的值必須和ActiveMQ的監聽地址一致。

1.2.5. LogListener.java

package cn.sinobest.asj.logserver;
import javax.jms.JMSException;
import javax.jms.Message;
import javax.jms.MessageListener;
import org.apache.activemq.command.ActiveMQObjectMessage;
import org.apache.log4j.spi.LoggingEvent;
public class LogListener implements MessageListener {
    private static final String TEMPLATE = "[%-5s] %s";
    public void onMessage(Message message) {
        try {
            // extract LoggingEvent from message
            // you must set org.apache.log4j.spi into the trusted packages list
            // see spring-beans.xml in classpath
            LoggingEvent event = (LoggingEvent) ((ActiveMQObjectMessage) message)
                    .getObject();
            String content = String.format(TEMPLATE, event.getLevel()
                    .toString(), event.getMessage().toString());
            System.out.println(content);
        } catch (JMSException e) {
            e.printStackTrace();
        }
    }
}

 

說明：這里的LoggingEvent來自package org.apache.log4j.spi，該package在spring-beans.xml的白名單中。

2.Log Client

log client模擬一般的應用系統。該應用系統有日志存儲的需要，將日志發送給ActiveMQ而不用關心日志最終的存儲方式。這里僅用一個簡單的JavaSE project來模擬，但是已經足夠提供完整的核心代碼。

你可以從 amqlog-client拿到源代碼。

2.1.文件目錄結構

pom.xml
src/main/resources/
    |---- log4j.properties # 配置日志輸出地點，及ActiveMQ的相關參數
    |---- jndi.properties # 配置topic
src/main/java/
    |---- cn.sinobest.asj.logclient
              |---- LogProducer.java # 生成並輸出日志 

2.2.文件內容

2.2.1. pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>cn.sinobest.asj</groupId>
    <artifactId>amqlog-client</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>Simple app to send log to ActiveMQ</name>
    <description>模擬一般的應用系統，通過log4j發送日志到ActiveMQ</description>
    <dependencies>
        <!-- use to write log -->
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
        <dependency>
            <groupId>commons-logging</groupId>
            <artifactId>commons-logging</artifactId>
            <version>1.1.1</version>
        </dependency>
        <!-- use to import class org.apache.activemq.jndi.ActiveMQInitialContextFactory 
            to write log to ActiveMQ -->
        <dependency>
            <groupId>org.apache.activemq</groupId>
            <artifactId>activemq-client</artifactId>
            <version>5.13.2</version>
        </dependency>
    </dependencies>
</project>

2.2.2. log4j.properties

# define the stand out appender
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%-5p] %-d{yyyy-MM-dd HH:mm:ss z}%n        %m%n%n

# define the jms appender
log4j.appender.jms=org.apache.log4j.net.JMSAppender
log4j.appender.jms.InitialContextFactoryName=org.apache.activemq.jndi.ActiveMQInitialContextFactory
log4j.appender.jms.ProviderURL=tcp://localhost:61616
# TopicBindingName可以自由配置，只需要確保提供對應的jndi屬性即可
log4j.appender.jms.TopicBindingName=topicName
# TopicConnectionFactoryBindingName目前不能自由配置
log4j.appender.jms.TopicConnectionFactoryBindingName=ConnectionFactory

# define the logger
log4j.rootLogger=INFO, stdout, jms

 

注意：log4j.appender.jms.ProviderURL的值必須和ActiveMQ的監聽地址一致。

2.2.3. jndi.properties

topic.topicName=demo

注意：key的后半部分（topicName）必須與log4j.properties中的log4j.appender.jms.TopicBindingName一致。

屬性間的對應關系

2.2.4. LogProducer.java

package cn.sinobest.asj.logclient;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
public class LogProducer {
    private static final Log log = LogFactory.getLog(LogProducer.class);
    /**
     * @param args
     */
    public static void main(String[] args) {
        log.debug("this is a debug message.");
        log.info("this is a info message.");
        log.warn("this is a warn message.");
        log.error("this is a error message");
        System.exit(0);
    }
}

 

說明：debug的內容不會發送到ActiveMQ。

測試

---

1. 啟動ActiveMQ
   cd到ActiveMQ的解壓縮目錄，在cmd執行bin\activemq start
2. 部署Log Server到Tomcat並啟動
3. 運行Log Client的LogProducer main方法
4. Log Server的Console會有：
   

來自為知筆記(Wiz)