十八、.net core(.NET 6)搭建ElasticSearch(ES)系列之使用Logstash通過Rabbitmq接收Serilog日志到ES


 使用Logstash通過Rabbitmq接收Serilog日志到ES

首先,要部署logstash

為了與前面的ElasticSearch版本保持一致,此處Logstash下載的版本也是7.13.1,下載地址:

https://artifacts.elastic.co/downloads/logstash/logstash-7.13.1-windows-x86_64.zip

 

解壓以后,修改一些配置:

config目錄下,修改jvm.options文件,設置內存占用最小值和最大值:如果配置比較低,建議配置成512MB即可,如果電腦或服務器配置比較好,那就請隨意。如果只是普通用途,比如記錄普通日志啥的,配個4G內基本足夠了。

 

 

config里面,有一個logstash-sample.conf文件,可以當做參考配置,隨后咱們新建一個用於接收RabbitMQ的配置文件。先來寫代碼~~ 

package包項目下,新增引用 Serilog.Sinks.RabbitMQ組件:

 

 

然后,在Program文件下面,添加serilog日志寫入到RabbitMQ的一些配置:

以上代碼如下:

 logger.WriteTo.RabbitMQ((clientConfiguration, sinkConfig) =>
                         {
                             clientConfiguration.Username = "wesky";
                             clientConfiguration.Password = "wesky123";
                             clientConfiguration.Exchange = "WeskyExchange";
                             clientConfiguration.ExchangeType = "direct";
                             clientConfiguration.DeliveryMode = RabbitMQDeliveryMode.Durable;
                             clientConfiguration.RouteKey = "WeskyLog";
                             clientConfiguration.Port = 5672;
                             clientConfiguration.Hostnames.Add("127.0.0.1");
                             sinkConfig.TextFormatter = new JsonFormatter();
                         });

 

以上為了方便,所以寫死了,大佬們可以寫到配置文件里面去進行讀取,這樣好一點。

然后,程序啟動時候,進行主動創建一個ExchangeWeskyExchange的,RouteKeyWeskyLogs的消息隊列,包括生產者和消費者。之前有做過簡單的RabbitMQ創建的案例,所以直接在原來的基礎上做一些改動:

 

設置了兩個RouteKey:WeskyLogWeskyLog2,以及兩個隊列 Log1Log2。咱們主要使用WeskyLog和 Log1

在消費者監聽上面,做個過濾,對於隊列是Log1的消息,直接返回不做處理,這樣做到目的是消息不被消費,讓logstash來消費消息:

 

 

現在開始配置logstash,上面有一個logstash-sample.conf文件,拷貝一分,重命名為 rabbitmq.conf  然后往里面更改一些配置信息,如下:

 

 

logstash部分配置代碼:

input {
  rabbitmq {
    host => "127.0.0.1"
    port => 5672
    user => "wesky"
    password => "wesky123"
    queue => "Log1"
    key => "WeskyLog"
    exchange => "WeskyExchange"
    durable => true
  }
}

filter {
  grok {
    match => {"Timestamp" => "%{TIMESTAMP_ISO8601:ctime}"}
    add_field => ["create_time","%{@timestamp}"]
  }
  date {
    match => ["ctime","yyyy-MM-dd HH:mm:ss.SSS","ISO8601"]
    target => "@timestamp"
  }
  mutate {
    remove_field => ["@version","Properties","Timestamp","ctime"]
    rename => {"MessageTemplate" => "message"}
    rename => {"Level" => "level"}
  }
  ruby {
    code => "event.set('create_time',event.get('@timestamp').time.localtime)"
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "log-%{+YYYYMMdd}"
  }
}
View Code

 

注意,配置不能使用Tab,必須只能用空格,每個縮進倆空格。

現在寫一個測試的webapi,來看看效果。創建一個webapi,記錄兩條日志,一條是Infomaton,一條是Error

 

 

現在啟動Wsk.Core程序,試着跑一下看看效果:

 

 

 

哦吼,才發現有其他的日志,所以直接打開RabbitMQ,可以看到日志被寫入到了MQ里面,而且因為沒有消費,所以隊列一直在增加。咱們現在啟動一下logstash

啟動方式如下圖,具體地址那些,需要根據自己具體的目錄而定:

 

 

 

可以看見,左邊的消息,一下子被消費完畢,說明logstash應該是獲取到MQ消息了。

現在我們看一下ElasticSearch上面,是否有消息:

 

 

查詢log-20210629,可以看到對應的日志信息,說明寫入ES成功。

kibana上面,選擇Discover,然后創建一個log的篩選,用於查詢所有以log開頭到索引:

 

 

剛添加會有點亂,咱們選擇只查看create_timelevelmessage字段信息:

 

顯示內容有點亂,debug信息也都記錄了,咱們把這部分過濾掉再啟動。配置文件里面,修改最小日志級別為Information:

 

 

再啟動程序,查看效果,瞬間清爽~~~

 

 

現在通過上面的webapi,寫兩個日志看看效果:

 

控制台有信息了,現在去ES上面看下日志信息:

 

 

可以看見日志也有了。現在試一下自帶搜索引擎的查詢的效果:

 

 

說明查詢也是OK的。

 

另外需要注意一點:

我這邊索引還是log-20210629,但是實際上已經是2021630日的024分,這個是因為ES默認是0區,咱們中國是東八區,所以會自動少8個小時進行存儲。Kibana上面查詢的日志時間卻正常的,這個是因為Kibana默認會讀取瀏覽器的時區,自動幫我們轉換進行顯示了。

如果搜索日志時候,發現搜索的是單個字,沒有詞組那些,那可能是因為沒有添加中文分詞的原因。添加中文分詞以及中文分詞插件,可以加群索取哦~~

 

以上就是今天的內容,歡迎各位大佬留下寶貴的意見或建議~~~


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM