ELK+FileBeat+Log4Net搭建日志系統
來源：https://www.zybuluo.com/muyanfeixiang/note/608470
標簽（空格分隔）： ELK Log4Net
項目中之前都是采用數據庫來記錄日志，雖然記錄還算挺方便，但是每次都要到數據庫來查詢，如果日志在單獨的數據庫還好，只是有點麻煩。如果記錄的日志數據庫和生產正式庫在一起，不僅會影響生產庫的正常使用，也會帶來安全隱患。
項目早期沒有統一規划，也是時間倉促，沒有做好日志的規划，所有日志都記錄到數據庫中。的確也遇到了性能問題，因此在了解ELK的基礎上，使用其作為日志采集、處理和檢索的幾本框架。
大體框架
日志數據流如下，應用將日志落地在本地文件，部署在每台服務器上的FileBeat負責收集日志，然后將日志發送給LogStash；LogStash將日志進行處理之后，比如parse等；然后將處理后的Json對象傳遞給ElasticSearch，進行落地並進行索引處理；最后通過Kibana來提供web界面，來查看日志等。因為ES是基於Lucene的，所以Kibana支持Lucene查詢語法。
對於日志數據流特別大的情況，LogStash會造成擁堵，這個時候可以使用消息隊列來進行緩沖。同時，日志一旦進過LogStash之后，會不方面一些流處理程序來讀取。這個時候使用kafka就比較好了，因為kafka是將消息持久化在本地，流處理應用可以從消息的offset初始的地方來讀取。加入kafka的后的流程如下：
配置過程
Log4Net配置
首先，最基本的引用Log4Net程序集，補多少。
其次，要在項目的AssemblyInfo.cs添加如下代碼,這樣配置才能給啟作用。
[assembly: log4net.Config.XmlConfigurator(Watch = true)]
最后，也是最重要的就是在web.config（或app.config）中配置了。
在configSections中添加如下代碼
<configSections>
<section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net" />
</configSections>
添加log4net節點
<log4net>
<root>
<level value="ALL" />
<appender-ref ref="rollingFile" />
<appender-ref ref="ErrorRollingFile" />
</root>
<appender name="rollingFile" type="log4net.Appender.RollingFileAppender,log4net">
<filter type="log4net.Filter.LevelRangeFilter">
<levelMin value="DEBUG" />
<levelMax value="WARN" />
</filter>
<!--日志的路徑-->
<param name="File" type="" value="D://WebLog//Log4NetTest.App//" />
<param name="Encoding" value="UTF-8"/>
<!--是否覆蓋，默認是追加true-->
<param name="AppendToFile" value="true" />
<param name="RollingStyle" value="Date" />
<!--文件名稱-->
<param name="DatePattern" value="yyyy-MM-dd'.Debug.log'" />
<!--設置無限備份=-1 ，最大備份數為1000-->
<param name="MaxSizeRollBackups" value="1000" />
<!--每個文件的大小-->
<param name="MaximumFileSize" value="102KB" />
<!--名稱是否可以更改為false為可以更改-->
<param name="StaticLogFileName" value="false" />
<layout type="log4net.Layout.PatternLayout,log4net">
<!--輸出格式-->
<param name="ConversionPattern" value="[%date] [%thread] %-5level Log4NetTest %logger %method [%message%exception]%n" />
</layout>
</appender>
<appender name="ErrorRollingFile" type="log4net.Appender.RollingFileAppender,log4net">
<filter type="log4net.Filter.LevelRangeFilter">
<levelMin value="ERROR" />
<levelMax value="FATAL" />
</filter>
<!--日志的路徑-->
<param name="File" type="" value="D://WebLog//Log4NetTest.App//" />
<param name="Encoding" value="UTF-8"/>
<!--是否覆蓋，默認是追加true-->
<param name="AppendToFile" value="true" />
<param name="RollingStyle" value="Date" />
<!--文件名稱-->
<param name="DatePattern" value="yyyy-MM-dd'.Error.log'" />
<!--設置無限備份=-1 ，最大備份數為1000-->
<param name="MaxSizeRollBackups" value="1000" />
<!--每個文件的大小-->
<param name="MaximumFileSize" value="102KB" />
<!--名稱是否可以更改為false為可以更改-->
<param name="StaticLogFileName" value="false" />
<layout type="log4net.Layout.PatternLayout,log4net">
<!--輸出格式-->
<param name="ConversionPattern" value="[%date] [%thread] %-5level Log4NetTest %l [%message%n%exception]%n"/>
</layout>
</appender>
</log4net>
針對兩種不同類型的應用日志，分別使用兩種pattern，也分別記錄到Debug.lg和Error.log文件中。
- 日志類型為Debug,Info,Warn的日志，使用[%date] [%thread] %-5level Log4NetTest %logger %method [%message%exception]%n模式，分別記錄下時間，線程，日志等級，應用名稱，日志記錄類屬性，日志記錄方法，日志信息和異常
- 日志類型為Error和Fatal的日志，使用[%date] [%thread] %-5level Log4NetTest %l [%message%n%exception]%n，分別是時間，線程，日志等級，應用名稱，出錯位置（包含具體文件，以及所在行，需要PDB文件才能到行），日志信息和異常
分兩類的主要原因就在於是否記錄了出錯位置，這個是比較耗性能的操作，所以對於常規的Debug,Info,Warn可以不記錄位置。
除此之外，沒有記錄host，因為FileBeat在采集日志時候會自動記錄hostname。這樣log4net的基本配置就完成了。
FileBeat配置
只需簡單的配置就即可使用，當然也可以配置的很復雜。配置文件filebeat.yml
一個input_type代表一個輸入源，可選值只有log和stdin。
paths是日志采集路徑，可以使用通配符。
document_type是可以用來表示日志類型。輸入到logstash中對應[type]，可以據此使用不同grok語法來parse，這里分為errorLog和debugLog。
multiline.pattern: '^\['
multiline.negate: true
multiline.match: after
上面這三個使用了將換行的日志或異常信息聚合為一個事件，因為默認FileBeat是按行來讀取日志，然后傳輸給LogStash，如果沒這個設置，就會造成日志分割為多個事件。
output.logstash就是輸出的目標了。
然后直接運行filebeat.exe即可啟動。當然也可以以服務方式啟動。
filebeat.prospectors:
- input_type: log
# Paths that should be crawled and fetched. Glob based paths.
paths:
#- /var/log/*.log
- D:\WebLog\*\*.Error.log
document_type: errorLog
multiline.pattern: '^\['
multiline.negate: true
multiline.match: after
- input_type: log
# Paths that should be crawled and fetched. Glob based paths.
paths:
#- /var/log/*.log
- D:\WebLog\*\*.Debug.log
document_type: debugLog
#----------------------------- Logstash output --------------------------------
output.logstash:
# The Logstash hosts
hosts: ["localhost:5044"]
LogStash配置
在config文件夾添加配置文件first-pipeline.conf。
- input: 指定輸入來源
- filter:是指定如何對日志進行處理。這里[type]就是來自filebeat中document_type。然后就是grok語法了。
- overwrite：是將原有message覆蓋掉。如果將原有message完全match出來的話，是可以這樣做的，可以節省空間。
- output：就是輸出地址了。
- 運行
bin/logstash -f first-pipeline.conf --config.test_and_exit 測試配置文件
bin/logstash -f first-pipeline.conf --config.reload.automatic 自動加載配置文件的修改
input {
beats {
port => "5044"
}
}
# The filter part of this file is commented out to indicate that it is
# optional.
filter {
if [type] == "debugLog" {
grok {
match => {
"message" => "\[(?<datetime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})\]\s+\[(?<thread>.*)\]\s+(?<level>\w*)\s+(?<appname>\S*)\s+(?<class>\S*)\s+(?<method>\S*)\s+\[(?<message>.*)\]\s*"
}
overwrite => ["message"]
}
}
if [type] == "errorLog" {
grok {
match => {
"message" => "\[(?<datetime>\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})\]\s+\[(?<thread>.*)\]\s+(?<level>\w*)\s+(?<appname>\S*)\s+(?<location>\S*)\s+\[(?<message>.*)\]\s*"
}
overwrite => ["message"]
}
}
}
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
ElasticSearch配置
默認不需要配置，監聽9200端口。直接運行即可
Kibana配置
elasticsearch.url: "http://localhost:9200"
默認連接es地址，如果本機測試無需修改。正式環境中連接到對應服務器就好。
server.port: 5601
監聽端口5601，可修改到合適的端口。
然后直接運行就可啟動。
初次進入要指定index pattern。一般默認使用如下配置即可。
