介紹
這個項目叫做 TomatoLog，托管在 GitHub 項目上，使用的 License 是 MIT，請放心試用，目前該項目主要由我個人維護，還有兩位大神加入了協作者中。
** TomatoLog.Server 基於 .NETCore2.2
** TomatoLog.Client 基於 netstandard2.0
項目主頁以及組件說明
https://github.com/lianggx/TomatoLog
** 中文說明文檔：
https://github.com/lianggx/TomatoLog/blob/master/README_Zh-cn.md
** 服務器版本：
https://github.com/lianggx/TomatoLog/releases
** 客戶端組件 v1.0.2：
TomatoLog.Common（公共代碼庫）
TomatoLog.Client（客戶端基礎實現類）
TomatoLog.Client.Redis（Reids客戶端，基於 CSRedisCore 客戶端）
TomatoLog.Client.RabbitMQ（RabbitMQ客戶端）
** 存儲插件
TomatoLog.ToFile（寫入文件）
TomatoLog.ToMongoDB（寫入MongoDB）
TomatoLog.ToES（寫入ElasticSearch）
演示代碼位於項目目錄 Examples 下。
1. TomatoLog 是干什么的
TomatoLog 來源於業務發展的實際需要，在項目中，我們的做法是使用 NLog 將日志寫入本地，然后通過 Kafka 將日志發送到 ES，剩下的就是怎么對日志進行挖掘、展示的問題了。如果需要進行擴展，就需要自行安裝其它工具對日志進行操作了；實際上，通過這一系列的操作，你需要用到的是 NLog+Kafka+ELK，這一系列高度靈活的框架都需要手動安裝和調試，這個過程讓小白窒息，讓老司機迷路。家里的領導常說，能一行代碼解決的問題，就不要搞那么復雜，高擴展性是很重要，但是易用性也是非常的重要的。
那么，TomatoLog 就是來解決這個問題，TomatoLog 對日志的處理不敢說強大，但可能是 .NETCore 平台上最簡單易用的日志集成組件，具有高度靈活的使用方式，完全可定義配置的可擴展性，使用異步寫入，業務完全解耦，客戶端的一鍵安裝、一行代碼上傳日志，目前 TomatoLog 沒有實現登錄驗證，需要注意使用環境訪問權限問題。下面就使用和功能進行展開介紹。
1.1 TomatoLog 的系統架構
千言萬語不如一張圖
從圖中可以看出，TomatoLog 包含三個基礎組件，他們分別是：客戶端、數據流控制器、服務器；TomatoLog 本身不做存儲優化，其通過定義一個簡單的數據流協議實現日志的收集到存儲，這個數據流協議在系統中被定義成為一個實體對象模型 LogMessage，位於程序集 TomatoLog.Common.dll 中：
namespace TomatoLog.Common.Utilities
{
public class LogMessage
{
public int EventId { get; set; }
public string ProjectName { get; set; }
public string ProjectLabel { get; set; }
public LogLevel LogLevel { get; set; }
public string Version { get; set; }
public string IP { get; set; }
public string[] IPList { get; set; }
public string MachineName { get; set; }
public string ThreadId { get; set; }
public string ProcessId { get; set; }
public string ProcessName { get; set; }
public DateTime Timestamp { get; set; }
public string UserName { get; set; }
public string ErrorMessage { get; set; }
public string StackTrace { get; set; }
public object Extra { get; set; }
}
}
上面的所有字段都可以使用配置進行跟蹤，可選擇將哪些信息寫入到日志中，其中，關於服務器主機信息，客戶端會自動采集主機信息，無需手動傳入，如果這些信息還是不能滿足業務需要，沒關系，上面的實體類中還定義了擴展字段 "Extra" ，該字段接收一切對象，當然，最好就是使用 Json 對象，這也比較科學。
服務端在接收到日志信息后，將會根據服務配置對日志進行清洗、篩選、然后是存入指定存儲介質中，如果日志觸發了服務配置的警報，服務器還將自動發送警報通知。下面，就從使用開始，體驗 TomatoLog 帶來的便利性和舒適的日志操作體驗。
2. 部署日志采集服務器
TomatoLog 日志服務器目前發布的版本是：1.0.2（目前處於起步階段，版本迭代速度可能比較快），位於：https://github.com/lianggx/TomatoLog/releases，直接下載 TomatoLog-1.0.2.zip，解壓，得到文件如下：
此壓縮包僅包含程序運行所必須文件，所以必須要在目標機器上安裝 .NETCore SDK 2.2+，你可以簡單的使用命令行或者其它你熟悉的托管程序去啟動 TomatoLog.Server ，比如可以使用 IIS、Supervisord、Docker（需要自行打包）； 在本示例中，我選擇使用命令行啟動它。
在上面文件夾中，我們在第一次使用的使用，只需要關注兩個文件即可，他們分別是 appsettings.(Development/Production).json （服務配置文件）和 TomatoLog.Server.dll （服務主程序文件），首先，看看服務配置文件
2.1 服務器配置
{
"Logging": {
"IncludeScopes": false,
"LogLevel": {
"Default": "Debug",
"System": "Information",
"Microsoft": "Information"
}
},
"TomatoLog": {
"Cache-Redis": null,
"Config": {
"SysConfig": "Config/SysConfig.json",
"ProConfig": "Config/ProConfig.json"
},
"Storage": {
"Type": "ToFile", //ToFile/ToES/ToMongoDB
"File": "D:\\TomatoLog\\Storage",
"ES": "http://127.0.0.1:9200/",
"MongoDB": "mongodb://root:root@127.0.0.1:27017/admin"，
"Others":null
},
"Flow": {
"Type": "RabbitMQ", // Redis/RabbitMQ/Kafaka
"Redis": {
"Connection": null,
"Channel": "TomatoLogChannel"
},
"RabbitMQ": {
"Host": "127.0.0.1",
"Port": 5672,
"UserName": "root",
"Password": "123456",
"vHost": "TomatoLog",
"Exchange": "TomatoLog-Exchange",
"ExchangeType": "direct",
"QueueName": "TomatoLog-Queue",
"RouteKey": "All",
"Channels": 1 // RabbitMQ client instance quantity
},
"Kafka": null
}
}
}
服務配置文件包含一個主節點 TomatoLog，下面內置 4 個子節點，分別是：
** Cache-Redis
該節點指示在服務對日志進行篩選、清洗的過程中，會將策略寫入緩存，默認情況下，策略被寫入本地緩存，如果指定分布式緩存，則使用分布式緩存，強烈推薦配置分布式緩存，在服務進行重啟或者更新的時候，策略將可以被持續計數。
** Config
此節點下配置了兩個系統配置文件，分別是 SysConfig 和 ProConfig，這代表着服務對日志的清洗、過濾、警報的配置，無需改動這兩個文件，因為我們提供了更友好的 Web 控制台進行配置，后面會有介紹。
** Storage
此節點非常重要，決定了日志的存儲介質，首先是 Type ，可以指定 //ToFile/ToES/ToMongoDB 中的任意一種，目前，TomatoLog 的存儲是通過接口實現的插件進行反射調用，所有的存儲插件都存放在程序目錄下的 Plugins 目錄下
如果你認為有必要重寫插件,在存儲前做一些其它的工作的話，你還可以通過實現 TomatoLog.Common 程序集中定義的 ILogWriter 接口，然后將插件放入 Plugins 目錄下，覆蓋 //ToFile/ToES/ToMongoDB 中的一種插件，設置 Type 指定為你實現的插件名稱即可。或者，你還可以自己實現一個全新的插件，如實現了一個將日志存儲到 Redis 的插件 ToRedis，則將設置 "Type":"ToRedis"，並且將 ToRedis 需要的配置寫入到節點 Others 中自行讀取實現，因為 ILogWriter 的默認實現 LogWriter 抽象類的構造參數接收了一個實體對象
public class StorageOptions
{
public StorageType Type { get; set; }
public string File { get; set; }
public string ES { get; set; }
public string MongoDB { get; set; }
public string Others { get; set; }
}
ToRedis 插件可以通過繼承 LogWriter 獲得該配置節點。
** Flow
Flow 節點表示數據流的選擇，准備支持 3 中數據流，但是因為精力有限，特別是對 Kafka 也不是很熟悉，目前只實現了 Redis/RabbitMQ 兩種方式，目前來看，基本夠用，Flow 節點下面的子節點就是對數據流節點的配置，選擇 Redis 就配置 Flow.Redis ，如果使用 RabbitMQ，則配置 Flow.RabbitMQ 節點。
2.2 啟動服務
在服務配置完成后，就可以使用 dotnet TomatoLog.Server.dll 啟動服務程序，可以看到， TomatoLog 偵聽的端口為：20272.
在瀏覽器中輸入網址：http://localhost:20272/，查看 Web 控制台
目前可以看到，因為沒有產生日志，所以首頁是一片空白，但是沒有關系，下面介紹另一個強大的功能：配置
2.3 系統全局配置
控制台上還有兩個導航按鈕 “Config”、“Project”，點擊查看 Config
** 警報配置
Enable：是否啟用警報通知，值為：true/false
Report stage（Seconds）：警報周期，時間：秒
Trigger threshold：觸發閾值，和 Report stage（Seconds） 配合使用，即 xx 秒內發生 x 次后 發送通知，並重置計數器
Monitor Levels：警報級別，支持 Trace;Debug;Information;Warning;Error;Critical;None，多個 Level 以 分號進行分隔。
** 短信通知配置
此通知配置非常強大，基於 Http 請求，不只局限於 SMS，所有可以被 Http 請求的網關地址都可以配置到這里，通知內容支持系統變量（見下面附錄）
** 郵件通知配置
可以配置郵件通知（推薦測試服啟用，跟蹤BUG），郵件主題和內容支持系統變量（見下面附錄），支持 Html 郵件內容
** 附錄：系統變量
上面列出了系統支持的所有內置變量，可在 SMS 和 Email 通知中配置使用，系統變量的使用如上圖，必須使用大括號進行包圍。
2.4 針對項目的單獨配置
除了系統全局配置，TomatoLog 還支持針對每個項目進行獨立通知設置，方便項目管理和跟蹤，項目通知配置和全局配置一致，
項目通知配置將覆蓋全局配置（如果有配置的話）
3. 客戶端的使用演示
首先，建立一個演示項目 Example ，該項目為 Asp.NETCore WebApi 項目。
3.1 安裝客戶端組件
接下來在 Nuget 上搜索包 TomatoLog ，由於服務器配置了使用數據流類型為 RabbitMQ，這里選擇安裝 TomatoLog.Client.RabbitMQ-1.0.2
3.2 將客戶端注入服務中
public void ConfigureServices(IServiceCollection services)
{
services.AddSingleton<ITomatoLogClient, TomatoLogClientRabbitMQ>(factory =>
{
var options = this.Configuration.GetSection("TomatoLog").Get<EventRabbitMQOptions>();
var client = new TomatoLogClientRabbitMQ(options);
return client;
});
services.AddMvc().SetCompatibilityVersion(CompatibilityVersion.Version_2_2);
}
上面的代碼中，讀取了客戶端配置文件節點 TomatoLog 並反序列化為 EventRabbitMQOptions 配置對象，然后使用該配置對 TomatoLogClientRabbitMQ 進行了初始化，關於 EventRabbitMQOptions 在配置文件中的配置如下：
"TomatoLog": {
"LogLevel": "Information", // 寫入日志級別，大於此級別的日志都將被吸入數據流中
"ProjectLabel": "Example", // 項目標簽，可為 null
"ProjectName": "Example", // 項目名稱，必須
"SysOptions": { // 是否自動采集主機信息，可配置
"EventId": true,
"IP": true,
"IPList": true,
"MachineName": true,
"ProcessId": true,
"ProcessName": true,
"ThreadId": true,
"Timestamp": true,
"UserName": true
},
"Tags": null, // 項目 Tag ，可 null
"Version": "1.0.0", // 當前項目版本號，可為 null
"Exchange": "TomatoLog-Exchange", // RabbitMQ 中配置的交換機名稱
"ExchangeType": "direct", // RabbitMQ 交換機類型
"Host": "RabbitMQ Host ", // RabbitMQ 主機地址
"Password": "RabbitMQ Passworrd", // RabbitMQ 連接密碼
"Port": 5672, // RabbitMQ 連接端口
"QueueName": "RabbitMQ Queue", // RabbitMQ 日志隊列名稱
"RouteKey": "Route Key", // RabbitMQ Route Key，根據 ExchangeType 動態設置
"UserName": "RabbitMQ UserName", // RabbitMQ 連接用戶名
"vHost": "RabbitMQ vHost" // RabbitMQ 連接的 vHost
}
這段配置看似復雜，其實非常簡單，所有的一切都可以自由配置，在程序中，只需要一行代碼初始化即，非常方便。
3.3 將異常寫入數據流
在異常發生的時候，將異常寫入數據流的操作非常簡單，就像下面的代碼
** 首先引入命名空間
using TomatoLog.Client.Extensions;
** 處理異常：
public ActionResult<IEnumerable<string>> Get()
{
try
{
throw new NotSupportedException("Media Type");
}
catch (Exception ex)
{
ex.AddTomatoLogAsync();
}
return new string[] { "value1", "value2" };
}
我們上面說過，能一行代碼做完的事情就不要搞復雜了，使用 ex.AddTomatoLogAsync(); 就可以將日志寫入到數據流中了，非常的簡潔高效。如果需要寫入自定義的日志信息，可以通過依賴注入獲得日志客戶端對象，然后寫入自定義日志，比如
public async Task<ActionResult<IEnumerable<string>>> Get()
{
await logClient.WriteLogAsync(1029, LogLevel.Warning, "Warning Infomation", "Warning Content", new { LastTime = DateTime.Now, Tips = "Warning" });
return new string[] { "value1", "value2" };
}
3.4 查看服務端收集日志
可以看到，上面我們一共寫入了兩條日志，分類為 Error 和 Warning，查看文件系統上，在項目 Example 目錄下，有兩個文件
點擊列表進入查看，點擊單行日志的任意位置，還可以查看詳細信息
3.5 自定義日志查看列
還支持對日志的搜索和分頁，搜索語法支持以下三種類型：
** ToFile 存儲時：支持直接搜索字符串
** ToMongoDB 存儲時： 支持 MongoDB 搜索語法
** ToES 存儲時：支持 ElasticSearch 語法
分頁支持：當前日志超過 100 行時（默認顯示最新 100 條日志），自動出現 Previous/Next 分頁導航按鈕
結束語
TomatoLog 設計的基本原則是開放、高可擴展、自由、易用，通過簡單的封裝，讓任何一個開發人員都能在 3 分鍾內投入使用，享受 TomatoLog 帶來的便利性，TomatoLog 只做簡單的存儲，可以看到，如果選擇存儲到 MongoDB 或者 ES 中的時候，大家還可以通過其它的日志挖掘工具對日志進一步的搜索和處理。
如果您覺得這個項目還不錯，請點擊 star ，如果希望加入此項目，成為貢獻者，請留下您的 GitHub 賬號，通過開源，讓 .NETCore 生態越來越好。
喔~對了，歡迎報告BUG！
廣州.NET微軟技術俱樂部
最后，推廣一下廣州.NET微軟技術俱樂部，歡迎更多的朋友加入我們 .NETCore 這個大家庭、一起學習交流。QQ群：651477282。