Spring Boot 兩步集成 日志收集ELK與分布式系統監控CAT

日志收集ELK與分布式系統監控CAT

---

Spring Boot項目集成方法

一. pom.xml引入starter依賴

<dependency>
	<groupId>com.louis</groupId>
	<artifactId>ylog-spring-boot-starter</artifactId>
	<version>0.0.1-SNAPSHOT</version>
</dependency>

二. bootstrap.yml配置文件開啟日志

ylog:
  enable-y-log: ${YLog_Enable:true}
  app-name: ${spring.application.name}
  env: ${spring.profiles.active}
  cat:
    enable-cat: ${YLog_Enable_Cat:true}
    http-port: ${YLog_Cat_HttpPort:8081}
    port: ${YLog_Cat_Port:2280}
    cat-servers: ${YLog_Cat_Servers:192.168.102.212}
    enable-spring-bean-aop: true
  elk:
    enable-elk: ${YLog_Enable_Elk:true}
    logstash-host: ${YLog_Enable_elk:192.168.102.130:30309}

附錄：服務安裝

---

一. ELK安裝

1. ElasticSearch安裝

• 下載所需版本壓縮包並解壓

• 修改/config/elasticsearch.yml

  network.host=127.0.0.1
  network.port=9200
  

• 啟動/bin/elasticsearch.bat

• 瀏覽器訪問http://localhost:9200/，正常返回ES服務器json格式信息，即為安裝成功

2. Logstash安裝

• 下載所需版本壓縮包並解壓

• 修改/config/logstash.yml

  xpack.monitoring.elasticsearch.hosts: ["http://localhost:9200"]
  

• 新建/config/log4j_to_es.conf文件，文件內容如下：

  input {
      tcp {
          port => 4560
          codec => json_lines
      }
  } 
  output {
          elasticsearch {
                  hosts => "127.0.0.1:9200"
                  index => "applog"
          }
          stdout { codec => rubydebug}
  }
  

  • 新建/bin/run_default.bat文件，文件內容如下：

    D:\ELK\logstash-7.4.0\bin\logstash.bat -f D:\ELK\logstash-7.4.0\bin\log4j_to_es.conf
    pause
    

  • 啟動/bin/run_default.bat

  • 查看控制台輸出，沒有ERROR。瀏覽器訪問http://localhost:9600/, 正常返回服務器json格式信息，即為安裝成功

3. Kibana安裝

• 下載所需版本壓縮包並解壓

• 修改/config/kibana.yml

  elasticsearch.hosts: ["http://localhost:9200"]
  elasticsearch.requestTimeout: 90000
  

• 運行/bin/kibana.bat

• 訪問http://localhost:5601 正常展示kibana頁面，即為安裝成功

官方文檔: gitbook

二. CAT安裝

• 下載官方開源源碼： https://github.com/dianping/cat.git

• 切換到2.0.0版本(一部分cat插件在3.0.0的版本中移除了，需要先在2.0.0的版本上安裝到本地maven庫)：

  git checkout v2.0.0
  

• 執行mvn命令安裝插件

  mvn clean install -Dmaven.test.skip=true
  

• 切換到3.0.0版本

  git checkout v3.0.0
  

• 新建mysql數據庫cat, 執行3.0.0分支下的/script/CatApplication.sql腳本完成初始化

• 新增配置文件client.xml到tomcat安裝盤，如文件目錄：C:\data\appdatas\cat\client.xml，配置內容：

  <?xml version="1.0" encoding="utf-8"?>
  <config mode="client" xmlns:xsi="http://www.w3.org/2001/XMLSchema" xsi:noNamespaceSchemaLocation="config.xsd">
  	<servers>
  		<!-- Local mode for development -->
  		<server ip="10.0.75.1" port="2280" http-port="8080" />
  		<!-- If under production environment, put actual server address as list. -->
  		<!-- <server ip="192.168.7.71" port="2280" /> -->
  	</servers>
  </config>
  

  本地調試時ip為本機內網地址，寫127.0.0.1可能導致服務啟動失敗

  • 新增配置文件server.xml到tomcat安裝盤，如文件目錄C:\data\appdatas\cat\server.xml，配置內容：

    <?xml version="1.0" encoding="utf-8"?>
    
    <!-- Configuration for development environment-->
    <config local-mode="false" hdfs-machine="false" job-machine="true" alert-machine="false">
    	
    	<storage  local-base-dir="/data/appdatas/cat/bucket/" max-hdfs-storage-time="15" local-report-storage-time="7" local-logivew-storage-time="7">
    	
    	</storage>
    	
    	<console default-domain="Cat" show-cat-domain="true">
    		<remote-servers>10.0.75.1:8080</remote-servers>		
    	</console>
    		
    </config>
    

    本地調試時ip為本機內網地址，寫127.0.0.1可能導致服務啟動失敗

  • 新增配置文件datasources.xml到tomcat安裝盤，如文件目錄C:\data\appdatas\cat\datasources.xml，配置內容：

    <?xml version="1.0" encoding="utf-8"?>
    
    <data-sources>
    	<data-source id="cat">
    		<maximum-pool-size>3</maximum-pool-size>
    		<connection-timeout>1s</connection-timeout>
    		<idle-timeout>10m</idle-timeout>
    		<statement-cache-size>1000</statement-cache-size>
    		<properties>
    			<driver>com.mysql.jdbc.Driver</driver>
    			<url><![CDATA[jdbc:mysql://127.0.0.1:3306/cat]]></url>
    			<user>root</user>
    			<password>123456</password>
    			<connectionProperties><![CDATA[useUnicode=true&autoReconnect=true]]></connectionProperties>
    		</properties>
    	</data-source>
    	<data-source id="app">
    		<maximum-pool-size>3</maximum-pool-size>
    		<connection-timeout>1s</connection-timeout>
    		<idle-timeout>10m</idle-timeout>
    		<statement-cache-size>1000</statement-cache-size>
    		<properties>
    			<driver>com.mysql.jdbc.Driver</driver>
    			<url><![CDATA[jdbc:mysql://127.0.0.1:3306/cat]]></url>
    			<user>root</user>
    			<password>123456</password>
    			<connectionProperties><![CDATA[useUnicode=true&autoReconnect=true]]></connectionProperties>
    		</properties>
    	</data-source>
    </data-sources>
    

• 執行mvn命令打包源碼

  mvn clean install -Dmaven.test.skip=true
  

• 拷貝/cat-home/target/cat-home-3.0.0.jar到tomcat的安裝目錄下,並重命名為car.jar: /webapps/cat.jar

• 啟動tomcat

• 訪問http://localhost:8080/cat, 正常展示cat主頁，即為安裝成功

ylog-spring-boot-starter源碼: github