MySQL 按日期分表

一、表不存在時則創建

　　之前做項目實在是太趕了，很多東西都沒記錄。是時候補回來了

　　MySQL做一個大表，由於要存歷史記錄，所以數據量很大，查詢很慢。恰好查詢的時候，又不需要時間太久的冷數據。現在將其實現原理提取成一個控制台小程序。

　　首先，創建一個簡單的數據庫訪問類。

    public static class CommonDao
    {
        private static MySqlConnection conn = new MySqlConnection(ConfigurationManager.AppSettings["DB"]);        //創建連接

        /// <summary>
        /// Insert Update Delete語句的執行
        /// </summary>
        /// <param name="SQL">SQL語句</param>
        /// <returns>返回影響行數</returns>
        public static int ExecuteNonQuerySQL(string SQL)
        {
            MySqlCommand cmd = conn.CreateCommand();
            cmd.CommandText = SQL;
            if (conn.State != ConnectionState.Open)
            {
                conn.Open();
            }
            int Count = cmd.ExecuteNonQuery();
            conn.Close();
            return Count;
        }
    }

　　由於是按分鍾分表，所以寫個定時器，每一分鍾往里面插入5條數據：

        static void Main(string[] args)
        {
            //每分鍾執行一次，插入5條數據
            Timer t = new Timer(60000);
            t.Enabled = true;       //到達時間就執行一次，或者是持續執行
            t.AutoReset = true;     //一直執行

            t.Elapsed += (sender, eea) =>
            {
                for (int i = 0; i < 5; i++)
                {
                    DateTime dt = DateTime.Now;
                    string TableName = "person" + dt.ToString("yyyyMMddHHmm");
                    string sql = "INSERT INTO " + TableName + " VALUES(null,'superman','" + dt.ToString("yyyy-MM-dd HH:mm:ss") + "')";
                    try
                    {
                        CommonDao.ExecuteNonQuerySQL(sql);
                    }
                    catch (Exception e)
                    {
                        MySqlException ex = e as MySqlException;
                        //1146的代號就是表不存在的錯誤
                        if (ex.Number == 1146)
                        {
                            //如果表不存在，則先創建這個表
                            string SQLCreateTable = "CREATE TABLE " + TableName + " LIKE person";  //從模板表來創建新表，這樣的好處是索引、自增什么的可以一次性建好
                            CommonDao.ExecuteNonQuerySQL(SQLCreateTable);
                        }
                    }
                }

            };

            Console.ReadKey();
        }

　　第一張Person模板表的格式如下：

CREATE TABLE `person` (
  `Id` int(11) NOT NULL AUTO_INCREMENT,
  `Name` varchar(255) DEFAULT NULL,
  `OperateTime` datetime DEFAULT NULL,
  PRIMARY KEY (`Id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

　　

　　於是就每分鍾都會創建表並添加數據。

　　

二、分表后跨表查詢的問題

　　分表后有很多問題要處理，簡單做兩個，maybe會有其他問題。

　　1、數據在哪個表里；

　　2、數據跨表了，那么就需要表連接；

　　通常對這種大表，都肯定要加時間的了，所以要根據時間來判斷查哪張表和如何表連接。

　　增加一個查詢的方法：

        /// <summary>
        /// 根據SQL語句查詢DataTable
        /// </summary>
        /// <param name="SQL">SQL語句</param>
        /// <returns>返回DataTable</returns>
        public static DataTable GetDataTableBySQL(string SQL)
        {
            DataSet ds = new DataSet();
            MySqlDataAdapter Msda = new MySqlDataAdapter(SQL, conn);
            Msda.Fill(ds);
            DataTable dt = new DataTable();
            if (ds.Tables.Count > 0)
            {
                dt = ds.Tables[0];
            }
            return dt;
        }

　　數據定位的方法：

        public static string GetTableName(DateTime dtStart, DateTime dtEnd)
        {
            if(dtStart.ToString("yyyyMMddHHmm") == dtEnd.ToString("yyyyMMddHHmm"))
            {
                return "person" + dtStart.ToString("yyyyMMddHHmm");
            }
            else
            {
                string TableName = "(SELECT * FROM person" + dtStart.ToString("yyyyMMddHHmm");
                DateTime dt = dtStart.AddMinutes(1);
                while(dt.ToString("yyyyMMddHHmm") != dtEnd.ToString("yyyyMMddHHmm"))
                {
                    TableName += " UNION ALL SELECT * FROM person" + dt.ToString("yyyyMMddHHmm");
                    dt = dt.AddMinutes(1);
                }
                TableName += " UNION ALL SELECT * FROM person" + dt.ToString("yyyyMMddHHmm") + ") AS T";
                return TableName;
            }
        }

　　測試查詢：

            string sql = "SELECT * FROM " + GetTableName(Convert.ToDateTime("2016-04-21 17:54:00"),Convert.ToDateTime("2016-04-21 17:56:00"));
            DataTable dt = CommonDao.GetDataTableBySQL(sql);
            foreach(DataRow dr in dt.Rows)
            {
                Console.WriteLine(dr[0] + " " + dr[1] + " " + dr[2]);
            }

　　結果如下：

　　

　　很明顯上面的代碼暴露出了一個問題，ID重復了。

　　本處提供的可選解決方案是。

　　1、ID使用GUID。

　　2、自增數字的前面加上表名的日期前綴，如，如果你是按月分表，自增Id設置long類型，然后起止值設置為"201604000000000000000 + Id"。這樣就不會重復啦。

　　自定數字的方式只需多執行以下一條SQL語句：

ALTER TABLE person201604211757 AUTO_INCREMENT=2016042100;

　　然后生成的ID列的值如下：

　　簡單示例就是如此