使用Log4j將程序日志實時寫入Kafka（轉）

原文鏈接：使用Log4j將程序日志實時寫入Kafka

很多應用程序使用Log4j記錄日志，如何使用Kafka實時的收集與存儲這些Log4j產生的日志呢？一種方案是使用其他組件（比如Flume，或者自己開發程序）實時監控這些日志文件，然后發送至Kafka。而另外一種比較便捷的方案是使用Kafka自帶的Log4jAppender，在Log4j配置文件中進行相應的配置，即可完成將Log4j產生的日志實時發送至Kafka中。

本文以Kafka0.8.2為例，介紹KafkaLog4jAppender的配置方法：

log4j.properties文件內容如下：

1. log4j.rootLogger=INFO,console,KAFKA
2.  
3. ## appender KAFKA
4. log4j.appender.KAFKA=kafka.producer.KafkaLog4jAppender
5. log4j.appender.KAFKA.topic=lxw1234
6. log4j.appender.KAFKA.brokerList=brokerNode1:9091,brokerNode2:9092
7. log4j.appender.KAFKA.compressionType=none
8. log4j.appender.KAFKA.syncSend=true
9. log4j.appender.KAFKA.layout=org.apache.log4j.PatternLayout
10. log4j.appender.KAFKA.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L %% - %m%n
11.  
12. ## appender console
13. log4j.appender.console=org.apache.log4j.ConsoleAppender
14. log4j.appender.console.target=System.err
15. log4j.appender.console.layout=org.apache.log4j.PatternLayout
16. log4j.appender.console.layout.ConversionPattern=%d (%t) [%p - %l] %m%n

注意：KAFKA appender的配置參數，和Kafka版本有關，具體參數可參考kafka.producer. KafkaLog4jAppender中的定義。

一個使用了Log4j記錄日志的Java Application Demo:

1. package com.lxw1234.kafka;
2.  
3. import org.apache.log4j.Logger;
4.  
5. public class TestLog4j2Kafka {
6. private static Logger logger = Logger.getLogger(TestLog4j2Kafka.class);
8. public static void main(String[] args) throws InterruptedException {
9. for(int i = 0;i <= 10; i++) {
10. logger.info("This is Message [" + i + "] from log4j producer .. ");
11. Thread.sleep(1000);
12. }
13. }
14. }

先啟動Kafka自帶的consumer模擬腳本，消費Topic lxw1234的消息：

1. cd $KAFKA_HOME/bin
2. ./kafka-console-consumer.sh --zookeeper localhost:2181 --topic lxw1234 --from-beginning

再運行上面的Java Demo程序，控制台打印的內容：

在Consumer控制台打印消費的消息：

如圖所示，KafkaLog4jAppender已經將消息正常發送至Kafka。