springboot在windows集成elk

說明：elk指的是Elasticsearch、Logstash、Kibana的簡稱

Elasticsearch：是實時全文搜索和分析引擎，提供搜集、分析、存儲數據三大功能；

Logstash：是一個用來搜集、分析、過濾日志的工具。

Kibana：是一個基於Web的圖形界面，用於搜索、分析和可視化存儲在 Elasticsearch指標中的日志數據。

elk的測試版本：6.2.2

這里簡單搭建elk來收集springBoot生產的日志

1:安裝elk

1.1安裝elasticsearch

​ 1.1.1 下載ElasticSearch，下載地址：https://www.elastic.co/downloads/elasticsearch

​ 下載zip壓縮包，並解壓

​ 1.1.2 進入bin目錄下,雙擊執行elasticsearch.bat

​ 1.1.3 啟動后在瀏覽器上訪問http://localhost:9200，如下圖展示則安裝啟動成功。

1.2安裝elasticsearch-head插件

​ 1.2.1在谷歌瀏覽器的網上應用商店增加擴展插件

​ 1.2.2點擊插件可查看Elasticsearch的索引文件

1.3安裝Logstash

​ 1.3.1下載Logstash https://www.elastic.co/downloads/logstash

​ 下載zip包並解壓到D:\elasticsearch-6.2.2\logstash-6.2.2

​ 1.3.2在bin目錄下新建logstash.conf文件，並填入以下配置內容

input {
 tcp {
 mode => "server"
 host => "127.0.0.1"
 port => 4560
 codec => json_lines
 }
}
output {
  elasticsearch {
    hosts => "127.0.0.1:9200"
    index => "springboot-logstash-%{+YYYY.MM.dd}"
  }
  stdout{  
      codec=>rubydebug  
  }
}

​ 1.3.3測試輸入消息轉發到Elasticsearch

​ 在cmd命令切換到D:\elasticsearch-6.2.2\logstash-6.2.2\bin，並logstash -e "input { stdin { } } output { elasticsearch { hosts => ['127.0.0.1:9200'] } }"

​ 輸入hello world回車發送

看到logstash-YYYY-MM-DD索引 並能看到hello world，說明配置成功了

​ 1.3.4運行Logstash，在cmd命令切換到D:\elasticsearch-6.2.2\logstash-6.2.2\bin，執行logstash -f logstash.conf

1.4安裝Kibana

​ 1.4.1 下載地址 https://www.elastic.co/downloads/kibana ,下載zip壓縮包，並解壓

​ 1.4.2 執行kibana.bat，訪問http://localhost:5601/，如下圖所示，則成功

​

2:springboot集成logstash

新建一個springboot工程

pom 添加依賴

<dependencies>
    <!--集成logstash-->
    <dependency>
        <groupId>net.logstash.logback</groupId>
        <artifactId>logstash-logback-encoder</artifactId>
        <version>5.3</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>1.16.22</version>
    </dependency>
</dependencies>

springboot默認內置logback,不需要增加依賴

在資源的resource文件夾下新建logback-spring.xml（注意destination的地址必須要和logstash的host和port一致），配置內容：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration>
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
    <include resource="org/springframework/boot/logging/logback/base.xml"/>

    <springProperty scope="context" name="appName" source="Web Server's Default Page"/>

    <!-- 日志在工程中的輸出位置 -->
    <property name="LOG_FILE" value="${BUILD_FOLDER:-build}/${appName}"/>

    <!-- 控制台的日志輸出樣式 -->
    <property name="CONSOLE_LOG_PATTERN" value="%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>

    <!-- 控制台輸出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <!-- 日志輸出編碼 -->
        <encoder>
            <pattern>${CONSOLE_LOG_PATTERN}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>

    <!--logstash配置-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>127.0.0.1:4560</destination>
        <!-- 日志輸出編碼 -->
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "logLevel": "%level",
                        "serviceName": "${springAppName:-}",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "rest": "%message"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
        <!--<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>-->
    </appender>

    <root level="INFO">
        <appender-ref ref="LOGSTASH"/>
        <appender-ref ref="CONSOLE"/>
    </root>

</configuration>

接着在配置文件application.yml，添加配置：

logging:
  level:
    root=INFO:
  config: classpath:logback-spring.xml

增加個測試日志的controller接口

@Slf4j
@Controller
public class DemoController {

    @RequestMapping("/")
    @ResponseBody
   public String home() {
       log.info("hello world!");
      return "hello world!";
      
   }

}

重復上述的啟動Elasticsearch、Logstash、Kibana過程

啟動springboot項目測試，訪問elasticsearch-head，若出現springboot-logstash-*對應日期的索引，說明集成logstash成功

打開http://localhost:5601/，添加索引，采集springboot-logstash*的索引的消息

使用 Discover 查詢日志信息，先訪問http://localhost:8081/

輸入hello world實時查詢采集的日志