上一篇說如何搭建elk的環境（不清楚的可以看我的上一篇博客http://www.cnblogs.com/never-give-up-1015/p/5715904.html），現在來說一下如何用Nlog將日志通過logstash寫入elasticsearch。
新建一個項目，用nuget引入Nlog，隨便寫幾行打日志的代碼（寫成循環是為了方便測試）
1 var log = LogManager.GetCurrentClassLogger(); 2 while (true) 3 { 4 log.Info("high Hkaos one"); 5 log.Debug("high Hkaos two"); 6 log.Warn("high Hkaos three"); 7 log.Error("high Hkaos four"); 8 Console.WriteLine("success"); 9 Console.ReadKey(); 10 }
我是采用udp的方式傳輸，所以在配置Nlog的時候需要設置type為Network，至於message的格式可以在layout中配置（網上一大堆，一搜就出來了），下面是我的配置文件
<?xml version="1.0" encoding="utf-8" ?> <configuration> <configSections> <section name="nlog" type="NLog.Config.ConfigSectionHandler, NLog"/> </configSections> <startup> <supportedRuntime version="v4.0" sku=".NETFramework,Version=v4.5" /> </startup> <nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"> <targets> <target name="network" xsi:type="Network" address="udp://192.168.4.12:4561" layout="${message}"/> </targets> <rules> <logger name="*" minlevel="Debug" writeTo="network" /> </rules> </nlog> </configuration>
一開始沒有寫configSections和rules，所以一直沒有打日志，暈死。
配置完畢之后，在配置logstash。由於Nlog是通過udp一直向配置的地址端口發送日志，所以在配置文件（這個配置就是自己手動建的文件，不懂的看上一篇博客）中的input要監聽Nlog中配置的地址。logstash的input中可以寫多種搜集日志的方式，有興趣的可以去官網地址看看（https://www.elastic.co/guide/en/logstash/current/input-plugins.html）。
input { udp{ host=>"192.168.4.12" port=>4561 } }
output {
stdout{
}
}
input下面可以寫多個搜集方式，比如
input { stdin{ } udp{ host=>"192.168.4.12" port=>4561 } }
配置完成之后就可以測試一下。運行程序之前記得啟動logstash，elasticsearch和kibana暫時不用可以不用啟動。
同時觀察啟動logstash的窗口
出現了剛剛打印的日志，yes! 成功了。
那我們先看看如何把日志寫到elasticsearch里面並且通過kibana查看。很簡單，我們在output中把原先輸入到屏幕上的信息同時也輸入到elasticsearch中就Ok了。同時呢，output的輸出方式也有很多，可以去看看（https://www.elastic.co/guide/en/logstash/current/output-plugins.html），elasticsearch的選項有很多，這里有詳細的介紹（https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html），下面是我的配置
output { stdout{ } elasticsearch { hosts => ["127.0.0.1:9200"] index => "logstash-%{+YYYY.MM.dd}" document_type => "logs" } }
hosts就是elasticsearch的地址，可以配置多個，是個數組，index是索引的名稱，相當於數據庫的庫名字，這里就是命名就是logstash-當天日期，每天都會新建一個庫，document_type是類型的名稱，相當於數據庫中的表，老版本是index_type，新版本不讓用了，如果用的話就會報錯，告訴你這個方法被棄用了，讓你用document_type。配置好之后需要重新啟動logstash，首先要先啟動elasticsearch和kibana。（Tip：重啟logstash的話可以用Ctrl+C重啟，連續按，能輸入為止）。走起!
界面是沒啥變化，這時候要登錄kibana看看，地址在啟動kibana的時候被被打印出來
界面如下：
剛剛的日志被打印了出來，bingo！右邊的字段可以自己選擇添加是否顯示在右邊，右上角有個last 15 minutes，表示查看最新15分鍾的，點擊之后你可以任意選擇你想查看的時間段。
同時呢，elasticsearch也自帶了查詢的插件，不過需要安裝，方法也簡單，cmd進入elasticsearch的目錄 運行plugin -install mobz/elasticsearch-head，就會自動安裝了，成功之后地址為http://localhost:9200/_plugin/head/，可以直接訪問，下面是界面
在基本查詢里面你可以查詢打印的日志，還有執行的查詢語句和原始的json。
但是這些只能打印出message，比如我要打印其他的東西怎么辦，比如方法名，hash值，是debug還是info還是error以及其他自定義的字段，這時候會有人說那就全部打印在message里面，那為啥還要這么麻煩用這個工具呢，直接打印到文件里面直接Ctrl+F就好了。所以我們要通過Nlog打印自定義的字段。這就要自己在Nlog里面定義了。
這也是在網上查找了資料才找到的方法，需要繼承Nlog的LayoutRenderer，重寫Append方法
[LayoutRenderer("json")] public class JsonLayoutRenderer : LayoutRenderer { protected override void Append(StringBuilder builder, LogEventInfo loggingEvent) { var msg = loggingEvent.FormattedMessage.AsJson<JsonLogMessage>(); msg.priority = loggingEvent.Level.ToString(); msg.logger_name = loggingEvent.LoggerName; msg.thread = loggingEvent.SequenceID.ToString(); msg.application = "TestApplication"; var json = msg.AsJsonString(); builder.Append(json); } }
本來是通過賦值的方法在LogEventInfo中取我想要的值比如Method,file,class等等，Log4net中是直接可以取得到的，但是Nlog不行，唉，蛋疼，所以只能吧數據寫到json序列化之后寫到message里面，然后在這個方法里面反序列化回來。大神們有什么好方法希望給解惑啊！
這是對象信息
public class JsonLogMessage { public string @class { get; set; } public string file { get; set; } public string host { get; set; } public string logger_name { get; set; } public string path { get; set; } public string priority { get; set; } public string thread { get; set; } public string application { get; set; } public string message { get; set; } public string addUser { get; set; } public string addUserName { get; set; } public string objName { get; set; } public string objId { get; set; } public int hash { get; set; } public string method { get; set; } public DateTime timestamp { get; set; } }
本來timestamp字段不想寫上去的，但是后來通過代碼取不到時間，也是一個蛋疼的問題。
那message的格式修改了，所以打日志的方法也就要變了，由於Append的方式改變了，所以布局方式需要重新修改，只要在程序運行前加一段代碼就好,代碼里面用的AsJosn和AsJosnString是封裝好的json序列化和反序列化的方法，所以大家要用的話就直接用json原生的方法就好了。另外在配置文件中需要改變layout的布局方式，將layout="${message}修改成layout="${json}
private static void Main(string[] args) { ConfigurationItemFactory.Default.LayoutRenderers.RegisterDefinition("json", typeof(JsonLayoutRenderer)); var log = LogManager.GetCurrentClassLogger(); while (true) { var josn1 = new JsonLogMessage("Main", -1, "high Hkaos one", "tester", "testName", "objName", "objId"); var josn2 = new JsonLogMessage("Main", -1, "high Hkaos two", "tester", "testName", "objName", "objId"); var josn3 = new JsonLogMessage("Main", -1, "high Hkaos three", "tester", "testName", "objName", "objId"); var josn4 = new JsonLogMessage("Main", -1, "high Hkaos four", "tester", "testName", "objName", "objId"); log.Info(josn1.AsJsonString()); log.Debug(josn2.AsJsonString()); log.Warn(josn3.AsJsonString()); log.Error(josn4.AsJsonString()); Console.WriteLine("success"); Console.ReadKey(); } }
運行！
完蛋了，看到這個我就知道有錯了，雖然日志出來了，但是我們在head插件或者kibana中看看（我用的是head插件）
日志的信息全部打印到message里面，操蛋了。我要的不是這樣子的。去Google了一下，發現要是用json的話，需要在input里面加codec=>"json"，好了，那就修改一下input
input { stdin{ } udp{ host=>"192.168.4.12" port=>4561 codec=>"json" } }
重啟一下logstash，再來一遍
這次明顯打印的不一樣了，再看看head里面數據
yes!要的就是這個效果。
之后我吧Nlog的配置改成了代碼寫的，使用配置文件總有一些不方便的地方，比如說地址。下面是代碼
private static void Main(string[] args) { ConfigurationItemFactory.Default.LayoutRenderers.RegisterDefinition("json", typeof(JsonLayoutRenderer)); var log = LogManager.GetCurrentClassLogger(); var udpTarget = new NetworkTarget() { Address = "udp://192.168.4.12:4561", Encoding = Encoding.UTF8, Layout = "${json}", NewLine = true, }; var config = new LoggingConfiguration(); config.LoggingRules.Add(new LoggingRule("*", LogLevel.Debug, udpTarget)); LogManager.Configuration = config; while (true) { var josn1 = new JsonLogMessage("Main", -1, "high Hkaos one", "tester", "testName", "objName", "objId"); var josn2 = new JsonLogMessage("Main", -1, "high Hkaos two", "tester", "testName", "objName", "objId"); var josn3 = new JsonLogMessage("Main", -1, "high Hkaos three", "tester", "testName", "objName", "objId"); var josn4 = new JsonLogMessage("Main", -1, "high Hkaos four", "tester", "testName", "objName", "objId"); log.Info(josn1.AsJsonString()); log.Debug(josn2.AsJsonString()); log.Warn(josn3.AsJsonString()); log.Error(josn4.AsJsonString()); Console.WriteLine("success"); Console.ReadKey(); } }
配置文件里面直接刪除原來添加的東西就好了。
就寫到這里吧，下一篇准備些一下如何用C#鏈接日志服務，根據條件查詢日志，如何配置模板和映射等。