IIS日志存入數據庫之二：ETW

在上一篇文章《IIS日志存入數據庫之一：ODBC》中，我提到了ODBC方式保存的缺點，即：無法保存響應時間以及接收和響應的字節數。

 

如果一定要獲取響應時間以及接收和響應的字節數的話，就要另想辦法了。備選的方法有：

（1）尋找有沒有現成的IIS日志模塊。

（2）重寫IIS的日志模塊。

（3）在現有的IIS日志模塊的基礎上進行改造。

 

下面是對三種備選方法的探索：

（1）針對方法1，在IIS的官網上找到了一個名為Adanced logging的日志模塊，，，然並卵。

（2）針對方法2，改寫的工作量較大，且可以會性能問題，故拋棄。

（3）針對方法3，發現iis日志的保存目標可以為ETW事件，故采用。如下圖所示：

 

下面介紹一下如何訂閱IIS的ETW事件。ps：關於ETW事件的介紹，請查看我的另外一篇文章：《在.net中使用ETW事件的方法》

核心代碼

        private void button1_Click(object sender, EventArgs e)
        {
            try
            {

                using (var session = new TraceEventSession("IIS-Logging"))         // 創建一個session
                {
                    session.EnableProvider("Microsoft-Windows-IIS-Logging"); // Microsoft-Windows-IIS-Logging 是IIS日志模塊提供的provider的名稱

                    session.Source.Registered.All += Registered_All;  // 注冊事件處理函數

                    session.Source.Process();  // Wait for incoming events (forever).  
                }
            }
            catch
            {
            }
        }


        /// <summary>
        /// 事件處理函數
        /// </summary>
        /// <param name="data"></param>
        void Registered_All(TraceEvent data)
        {
            try
            {
                string logString = data.FormattedMessage; // 返回日志項的字符串形式
                
                // 將文本轉換成對象
                IISLogEntry logEntry = new IISLogEntry(logString);

                IISLogEntry.Add(logEntry);
            }
            catch
            {
            }
        }

    　上述代碼創建會話了，綁定了事件源（IIS的ETW事件提供者），訂閱了事件源。這段代碼有兩個關鍵點：

　　（1）怎么知道IIS日志模塊的事件提供程序的名稱是“Microsoft-Windows-IIS-Logging”呢？答案是通過命令行指令：logman query providers。下面是這個指令返回的結果:

 

　　（2）在綁定ETW事件處理程序的時候，我們使用了session.Source.Registered,　session.Source.Registered返回了一個RegisteredTraceEventParser對象，通過這個對象我們才能在事件處理程序中使用data.FormattedMessage來取得日志項的內容。有關RegisteredTraceEventParser，官方文檔中有這么一句：

　　RegisteredTraceEventParser – which knows about any event provider that registers itself with the operating system (using the wevtutil command)).  

　　This includes most providers that ship with the windows operating system that are NOT the kernel provider or EventSources.  You can see a list of such providers with the ‘logman query providers’ command.

 

外圍代碼（解析日志字符串，存入數據庫）

using System;
using System.Collections.Generic;
using System.ComponentModel.DataAnnotations;
using System.ComponentModel.DataAnnotations.Schema;





[Table("IISLogEntry")]
public class IISLogEntry
{
    [Key]
    public long Id { get; set; }


    /// <summary>
    /// 服務端信息
    /// </summary>
    public Server Server { set; get; }

    /// <summary>
    /// 客戶端信息
    /// </summary>
    public Client Client { get; set; }


    /// <summary>
    /// 請求信息
    /// </summary>
    public Request Request { get; set; }


    /// <summary>
    /// 響應信息
    /// </summary>
    public Response Response { get; set; }




    /// <summary>
    /// 構造函數
    /// </summary>
    public IISLogEntry() { }



    /// <summary>
    /// 構造函數。使用字符串來構造一個日志對象
    /// </summary>
    /// <param name="logString"></param>
    public IISLogEntry(string logString)
    {
        try
        {
            string[] array = logString.Trim().Split(new char[] { ' ' });

            Dictionary<string, string> dictionary = new Dictionary<string, string>();
            //將數組中的值放入到字典中，奇數項為key，偶數項為value
            for (int i = 0; i < array.Length; i++)
            {
                if (i % 2 == 0)
                {
                    dictionary.Add(array[i], "");
                }
                if (i % 2 == 1)
                {
                    dictionary[array[i - 1]] = array[i];
                }
            }

            this.Server = new Server()
            {
                IP = dictionary["s-ip"],
                Port = int.Parse(dictionary["s-port"]),
                Name = dictionary["s-computername"]
            };
            this.Client = new Client()
            {
                IP = dictionary["c-ip"],
                UserAgent = dictionary["cs(User-Agent)"],
                UserName = dictionary["cs-username"]
            };
            this.Request = new Request()
            {
                RequestDateTime = DateTime.Now,
                Method = dictionary["cs-method"],
                UriResource = dictionary["cs-uri-stem"],
                UriQuery = dictionary["cs-uri-query"],
                BytesReceived = this.ConvertToLong(dictionary["cs-bytes"])
            };
            this.Response = new Response()
            {
                TimeTaken = this.ConvertToLong(dictionary["time-taken"]),
                BytesSent = this.ConvertToLong(dictionary["sc-bytes"]),
                Status = int.Parse(dictionary["sc-status"]),
                SubStatus = int.Parse(dictionary["sc-substatus"]),
                Win32Status = int.Parse(dictionary["sc-win32-status"]),
            };
        }
        catch (Exception exp)
        {
            throw new Exception("格式轉換失敗。\n日志字符串為：" + logString + "\n異常信息：" + exp.Message);
        }
    }





    //**************************** CRUD ************************************
    public static bool Add(IISLogEntry data)
    {
        using (IISLogDbContext db = new IISLogDbContext())
        {
            db.IISLogEntries.Add(data);

            try
            {
                db.SaveChanges();
                return true;
            }
            catch
            {
                return false;
            }
        }
    }





    /// <summary>
    /// 將帶千分號的字符串轉換成長整型。如：4,939
    /// </summary>
    /// <param name="str"></param>
    /// <returns></returns>
    private long ConvertToLong(string str)
    {
        string str2 = str.Replace(",", "");
        return long.Parse(str2);
    }

}





/// <summary>
/// 服務端信息
/// </summary>
[ComplexType]
public class Server
{
    /// <summary>
    /// 服務器名稱。對應：s-computername
    /// </summary>
    [MaxLength(50)]
    public string Name { set; get; }


    /// <summary>
    /// 服務器IP。對應：s-ip
    /// </summary>
    [MaxLength(15)]
    public string IP { set; get; }


    /// <summary>
    /// 服務器端口。對應：s-port
    /// </summary>
    public int Port { set; get; }


}



/// <summary>
/// 客戶端信息
/// </summary>
[ComplexType]
public class Client
{
    /// <summary>
    /// 客戶端IP。對應：c-ip
    /// </summary>
    [MaxLength(15)]
    public string IP { set; get; }


    /// <summary>
    /// 客戶端所使用的用戶代理。對應： cs(User-Agent)
    /// </summary>
    [MaxLength(200)]
    public string UserAgent { set; get; }


    /// <summary>
    /// 登錄的用戶名。對應： cs-username
    /// </summary>
    [MaxLength(20)]
    public string UserName { set; get; }


}






/// <summary>
/// 請求信息
/// </summary>
[ComplexType]
public class Request
{
    /// <summary>
    /// 請求時間。對應：date和time
    /// </summary>
    public DateTime RequestDateTime { set; get; }


    /// <summary>
    /// 方法。對應：cs-method
    /// </summary>
    [MaxLength(10)]
    public string Method { set; get; }


    /// <summary>
    /// uri資源。對應：cs-uri-stem 
    /// </summary>
    [MaxLength(1000)]
    public string UriResource { get; set; }


    /// <summary>
    /// uri查詢。對應：cs-uri-query 
    /// </summary>
    [MaxLength(1000)]
    public string UriQuery { get; set; }



    /// <summary>
    /// 接收的字節數，單位為byte。對應：cs-bytes
    /// </summary>
    public long BytesReceived { get; set; }



}



/// <summary>
/// 響應信息
/// </summary>
[ComplexType]
public class Response
{
    /// <summary>
    /// 狀態碼。對應：sc-status 
    /// </summary>
    public int Status { get; set; }


    /// <summary>
    /// 子狀態碼。 對應：sc-substatus
    /// </summary>
    public int SubStatus { get; set; }

    /// <summary>
    /// win32狀態碼。 對應：sc-win32-status
    /// </summary>
    public int Win32Status { get; set; }


    /// <summary>
    ///  發送的字節數，單位為byte。對應：sc-bytes
    /// </summary>
    public long BytesSent { get; set; }


    /// <summary>
    ///  所用時間，單位為ms。對應： time-taken
    /// </summary>
    public long TimeTaken { get; set; }


}

 上述代碼是日志項實體。這里我們使用了EF作為ORM框架，mssql作為數據庫。

using System.Data.Entity;
using System.Data.Entity.ModelConfiguration.Conventions;


public class IISLogDbContext : DbContext
{

    public IISLogDbContext()
        : base("IISLog")
    {
    }


    /// <summary>
    /// 這個類的注釋中的值，只用於在開發的時候進行選配
    /// </summary>
    static IISLogDbContext()
    {
        // Database.SetInitializer(new DropCreateDatabaseAlways<IISLogDbContext>());
        //  Database.SetInitializer(new CreateDatabaseIfNotExists<IISLogDbContext>());
        // Database.SetInitializer(new DropCreateDatabaseIfModelChanges<IISLogDbContext>());
    }


    /// <summary>
    /// 初始化，當模型創建的時候，
    /// </summary>
    /// <param name="modelBuilder"></param>
    protected override void OnModelCreating(DbModelBuilder modelBuilder)
    {
        modelBuilder.Conventions.Remove<PluralizingTableNameConvention>(); // 移除協定：表名復數化
        base.OnModelCreating(modelBuilder);
    }



    // *********************  DbSet **************************

    public DbSet<IISLogEntry> IISLogEntries { get; set; }


}

 上述代碼是數據上下文。

 

 最后提一句，怎么找到官方文檔呢？在使用nuget獲取Microsoft TraceEvent Library之后，工程文件中就會多一個名為“_TraceEventProgrammersGuide.docx”的文件，它就是官方文檔。如下所示：