使用MongoDB 記錄業務日志

      最近公司有個需求，要對業務日志進行記錄並根據日志排查問題，以前都是使用log4net之類的日志組件來記錄到文件，這種方式已經不能滿足業務的需要，因為日志文件會很大，即使進行分割后，查找也是很不方便，何況現在項目基本都是分布式，會有多台應用服務器，那么就需要把多台服務器上的日志弄到一起，十分的麻煩，經過選擇后ELK進入視線，測試環境也搭建了一套，現在唯一的問題就是怎么把多台服務器上的日子泵出到elstaticsearch中，我們的應用服務器都是windows，所以需要在每一台應用服務器上安裝一個服務，如：NXlog之類的，經過考慮覺得這種方式太麻煩，所以決定把日志先記錄到MongoDb，先實現簡單的日志查詢，再統一從MongoDb將數據泵出到elstaticsearch中，思路有了，開始動手測試。

第一步，插入測試數據，MongoDb數據庫我是安裝在本地一個linux虛擬機里，插入1000000條數據耗時8分鍾，有興趣的童鞋自己測試一下，用來存儲日志完全沒有問題，廢話不多說了，上代碼：

        static void Main(string[] args)
        {
            try
            {
#region 插入測試數據
                //var sw = new Stopwatch();
                //sw.Start();
                //string tableName = "InsuranceLog";
                //for (var i = 0; i < 1000000; i++)
                //{
                //    var lb = new LogBase<InsuranceLog>()
                //    {
                //        Message = new InsuranceLog
                //        {
                //            BusinessKey = i.ToString(),
                //            BusinessName = "政策查詢" + i,
                //            BusinessParameters = "根據實際需要組織<xml><OrderId>AutoHome" + i + "</OrderId></xml>"
                //        }
                //    };

                //    InsertOneLogToMongoDbAsync(lb, tableName);
                //}
                //sw.Stop();
                //Console.WriteLine("插入100000條數據耗時：" + sw.ElapsedMilliseconds + "ms");
#endregion

#region 根據條件從1000000條數據中獲取指定數據
                var sw = new Stopwatch();
                sw.Start();
                var obj = GetList();
                sw.Stop();
                Console.WriteLine("從100000條數據獲取指定數據耗時：" + sw.ElapsedMilliseconds + "ms");
                foreach (var o in obj)
                {
                    if (o.Message != null)
                    {
                        Console.WriteLine("調用時間："+o.CallTime);
                        Console.WriteLine("業務key：" + o.Message.BusinessKey);
                        Console.WriteLine("業務名稱：" + o.Message.BusinessName);
                        Console.WriteLine("業務參數：" + o.Message.BusinessParameters);
                    }
                }
#endregion
                Console.ReadKey();
            }
            catch (Exception ex)
            {
                throw;
            }
        }


        /// <summary>
        /// 從MongoDb 獲取數據
        /// </summary>
        /// <returns></returns>
        static List<LogBase<InsuranceLog>> GetList()
        {
            try
            {
                var client = new MongoClient("mongodb://192.168.21.129:27017");
                var database = client.GetDatabase("logs");
                var collection = database.GetCollection<LogBase<InsuranceLog>>("InsuranceLog");
                var b = (from x in collection.AsQueryable()
                         where x.CallTime.StartsWith("201604281414")
                         && x.CallTime.EndsWith("000")
                         select x).ToList();
                return b;
            }
            catch (Exception ex)
            {
                throw;
            }
        }


        /// <summary>
        /// 插入單條數據
        /// </summary>
        /// <typeparam name="T"></typeparam>
        /// <param name="t"></param>
        /// <param name="name"></param>
        static async Task InsertOneLogToMongoDbAsync<T>(T t, string name)
        {
            try
            {
                var client = new MongoClient("mongodb://192.168.21.129:27017");
                var database = client.GetDatabase("logs");
                var collection = database.GetCollection<T>(name);
                await collection.InsertOneAsync(t);
            }
            catch (Exception ex)
            {
                throw;
            }
        }

主要測試點在查詢上，要根據條件快速檢索出需要的數據，我測試了一下，單條數據大概是800ms左右，我的查詢條件取出來38條數據，耗時842ms，

 

重點：日志基類，擴展性很好，支持自定義實體類

    /// <summary>
    ///     日志基類
    /// </summary>
    [BsonIgnoreExtraElements]
    public class LogBase<T>
    {
        public LogBase()
        {
            CallTime = DateTime.Now.ToString("yyyyMMddHHmmssfff");
            SerialNo = Guid.NewGuid().ToString("N");
            ClientType = "1";
            Message = default(T);
            var myEntry = Dns.GetHostEntry(Dns.GetHostName());
            var address = myEntry.AddressList.FirstOrDefault(e => e.AddressFamily.ToString().Equals("InterNetwork"));
            if (address == null) return;
            var ip = address.ToString();
            HostIp = ip;
        }

        /// <summary>
        ///     調用時間，格式：yyyyMMddHH24mmss
        /// </summary>
        public string CallTime { get; private set; }

        /// <summary>
        ///     消息序列號 UUID
        /// </summary>
        public string SerialNo { get; private set; }

        /// <summary>
        ///     客戶端IP地址
        /// </summary>
        public string HostIp { get; private set; }

        /// <summary>
        ///     客戶端類型:1:pc 2:手機
        /// </summary>
        public string ClientType { get; private set; }

        /// <summary>
        ///     業務信息
        /// </summary>
        public T Message { get; set; }

    }

測試程序用到的自定義日志類：

public class InsuranceLog
    {
        /// <summary>
        ///     當前登錄用戶
        /// </summary>
        public string UserName { get; set; }

        /// <summary>
        ///     業務key
        /// </summary>
        public string BusinessKey { get; set; }

        /// <summary>
        ///     業務名稱 如：查詢政策  下訂單  查看訂單
        /// </summary>
        public string BusinessName { get; set; }

        /// <summary>
        ///     業務參數
        /// </summary>
        public string BusinessParameters { get; set; }
    }

未完待續