在微服務化盛行的今天，日志的收集、分析越來越重要。ASP.NET Core 提供了一個統一的，輕量級的Logining系統，並可以很方便的與第三方日志框架集成。我們也可以根據不同的場景進行擴展，因為ASP.NET Core Logining系統設計的非常靈活性，我們可以很容易的添加自己的LogProvider。本文就來介紹一下如何借助於 ELKstack 來實現在分布式環境下的集中式日志處理。
使用Docker部署Elasticsearch和Kibana
ELKstack是Elasticsearch、Logstash、Kibana三個開源軟件的組合，是當今最為流行的統一日志分析平台。對於它們的介紹，網上非常之多，這里就不再多說。
在本文中只使用了Elasticsearch和Kibana，前者是分布式搜索系統，后者是一個可視化平台，使用docker來部署非常簡單：
部署Elasticsearch
如下，綁定端口9200，並將容器命名為elasticsearch：
docker run --name=elasticsearch -d -p 9200:9200 -e "http.host=0.0.0.0" -e "transport.host=127.0.0.1" docker.elastic.co/elasticsearch/elasticsearch:6.2.2
然后在瀏覽器中打開 http://localhost:9200/，輸出如下：
{
"name": "qFQvLqr",
"cluster_name": "docker-cluster",
"cluster_uuid": "bdc5YhZlQHu0mCN7acNKBw",
"version": {
"number": "6.2.2",
"build_hash": "10b1edd",
"build_date": "2018-02-16T21:01:30.685723Z",
"build_snapshot": false,
"lucene_version": "7.2.1",
"minimum_wire_compatibility_version": "5.6.0",
"minimum_index_compatibility_version": "5.0.0"
},
"tagline": "You Know, for Search"
}
部署Kibana
Kibana的部署依賴於Elasticsearch：
docker run --name=kibana --link=elasticsearch -d -p 5601:5601 docker.elastic.co/kibana/kibana:6.2.2
主要注意的是，在這里使用了--link=elasticsearch來鏈接到elasticsearch容器，如果要使用外部的elasticsearch服務，可以使用-e "elasticsearch.url=http://changeme:9200"來指定。
然后在瀏覽器中打開 http://localhost:5601/：
如上，部署成功，不過還沒有任何數據。
使用docker-compose部署
當需要部署多個相關的服務時，更加推薦使用docker-compose來部署：
首先，我們創建一個docker-compose.yml文件：
version: '3'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:${TAG}
container_name: elasticsearch
environment:
- http.host=0.0.0.0
- transport.host=127.0.0.1
- ELASTICSEARCH_PASSWORD=${ELASTIC_PASSWORD}
ports:
- 9200:9200
networks:
- stack
kibana:
image: docker.elastic.co/kibana/kibana:${TAG}
container_name: kibana
environment:
- ELASTICSEARCH_USERNAME=kibana
- ELASTICSEARCH_PASSWORD=${ELASTIC_PASSWORD}
ports:
- 5601:5601
networks:
- stack
depends_on:
- elasticsearch
networks:
stack:
driver: bridge
如上，我們定義了TAG和ELASTIC_PASSWORD兩個環境變量，方便在部署時候靈活的指定版本號和密碼。
為方便測試部署，我們可以定義一個默認的環境變量文件.env：
TAG=6.2.2
ELASTIC_PASSWORD=Qwer1234
然后，直接運行如下命令即可：
docker-compose up
接下來，將日志寫入到Elasticsearch。
記錄日志到Elasticsearch
我們創建一個 ASP.NET Core WebApi 項目，添加如下Package:
dotnet add package Zero.Logging.Elasticsearch --version 1.0.0-alpha3-20180228
添加ElasticsearchProvider
然后在Program.cs文件中使用AddElasticsearch擴展方法為日志系統添加ElasticsearchProvider：
public static IWebHost BuildWebHost(string[] args) =>
WebHost.CreateDefaultBuilder(args)
.ConfigureLogging((hostingContext, logging) =>
{
logging.AddElasticsearch();
})
.UseStartup<Startup>()
.Build();
記錄日志
對於日志的記錄則不需要任何的修改：
public class ValuesController : Controller
{
private readonly ILogger _logger;
public ValuesController(ILogger<ValuesController> logger)
{
_logger = logger;
}
[HttpGet]
public void Get()
{
_logger.LogTrace("Log Trace.");
_logger.LogInformation("Log Information.");
_logger.LogDebug("Log Debug.");
try
{
throw new Exception("Boom");
}
catch (Exception ex)
{
_logger.LogCritical(1, ex, "Unexpected critical error starting application");
_logger.LogError(1, ex, "Unexpected error");
_logger.LogWarning(1, ex, "Unexpected warning");
}
}
}
在Kibana查看
刷新瀏覽器，顯示如下：
在Index pattern中輸入logstash-*，點擊下一步：
如上，選擇timestamp，創建索引，最終顯示如下：
配置
如上，一行代碼，零配置完成了Elasticsearch的寫入，默認使用的Elasticsearch地址為http://localhost:9200，如果我們需要額外的配置也很簡單，有如下兩種方式：
使用配置文件進行配置
在appsettings.json中添加如下配置（Elasticsearch節點）：
{
"Logging": {
"IncludeScopes": false,
"Console": {
"LogLevel": {
"Default": "Warning"
}
},
"Elasticsearch": {
"LogLevel": {
"Default": "Information"
},
"ElasticsearchUrl": "http://changeme:9200",
"AutoRegisterTemplate": true
}
}
}
使用代碼進行配置
WebHost.CreateDefaultBuilder(args)
.ConfigureLogging((hostingContext, logging) =>
{
logging.AddFile().AddElasticsearch(o =>
{
o.PipelineName = "http://changeme:9200";
o.AutoRegisterTemplate = true;
});
})
需要注意，如果使用代碼的方式進行配置，則配置文件中的配置不再生效。
更多的配置信息參見 EsLoggerOptions。
總結
由於Log4Net, Nlog, Serilog 等流行的日志框架的侵入性太強，故通過對各種開源框架的借鑒，完全基於微軟的 Logging 設計思想開發了 zero-logging 框架，現在功能還較為簡陋，計划下一步實現結構化日志分析，歡迎交流學習。