使用【數據牛刀】輕松駕馭日增長100萬級的大流水數據表

【數據牛刀】是本人貢獻的一款提供大數據表自動分割、歸檔和清理過期數據的服務。它使用C# /.NET CORE實現，當前支持Mysql數據源以及在docker容器中運行。

項目地址：https://github.com/mfjiang/DataNiuKnife

 

核心功能：

1、通過簡單的配置，可管理任意多個數據庫節點上的大數據表的定期數據分割、歸檔和清理。

2、每日執行數據復制。

3、按指定天數移除過期數據。

4、按月歸檔數據。

 

希望使用此服務的大數據表，有如下要求：

1. 數據表存在自增長ID；
2. 數據表存在時間列，數據以時間順序增長；
3. 數據表不存在外鍵約束；
4. 提供一個擁有讀取數據表元數據和建表權限的數據庫賬號；

配置示例：

{
"AppSettings": {
    "LogManPath": "/app/LogMan/"       
},
"MySqlClusterSettings": {
    "Nodes": [
        {    
           {
            "MysqlNode": {
                "ID":1,
                "IsSlave": false,
                "DataBasesName": "data_sharding_a",
                "ConnStr": "server=192.168.3.250;database=data_sharding_a;user=app_user;password=your pwd;charset=utf8;",
                "DevideFromNodeID": 0,
                "DevideDataSet": "table 1:hash key,table 2:hash key,table n:hash key",
                "AutoMoveDataSet": "table_name=data_shard,key_name=id,date_field=created,data_hold_days=180,archive_node_id=2,schedule_time=23:00:00;"
            }
        },
        {
            "MysqlNode": {
                "ID": 2,
                "IsSlave": false,
                "DataBasesName": "data_sharding_b",
                "ConnStr": "server=192.168.3.250;database=data_sharding_b;user=app_user;password=your pwd;charset=utf8;",
                "DevideFromNodeID": 0,
                "DevideDataSet": "",
                "AutoMoveDataSet": ""
            }
        }
    ]
},
"AllowedHosts": "*"
}

理解這一段配置：

"AutoMoveDataSet": "table_name=data_shard,key_name=id,date_field=created,data_hold_days=180,archive_node_id=2,schedule_time=23:00:00;"

table_name: 要列入自動管理的數據表名。

key_name: 主鍵名。 

date_field: 時間列名。 

data_hod_days: 數據保留期的天數。 

archive_node_id: 本配置中作為歸檔庫的數據庫節點ID。 

schedule_time: 每日運行的計划時間。

 

如果一個DB節點有多個數據表要配置，只需用;號拼接配置行即可。

 

本服務可以在docker容器中運行：

docker build -f Dockfile -t data_niu_knife:demo .
docker run --name data_niu_knife_hosted --mount type=bind,source=/home/docker_data/DataNiuKnife/LogMan/,target=/app/LogMan/ -d data_niu_knife:demo .

 

正常運行后，可以看到類似如下日志：

[root@localhost ~]# cat /home/docker_data/DataNiuKnife/LogMan/MysqlDataWorker-2019-07-29-pid1.log
====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:00 ======
MysqlDataWorker已在服務環境啟動，源表名:data_shard
====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:00 ======
開始自動創建分表，表名:data_shard_spt_201907
====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:00 ======
開始創建分表:
CREATE TABLE IF NOT EXISTS `data_shard_spt_201907`   (
  `id` bigint(10) unsigned NOT NULL AUTO_INCREMENT,
  `value` varchar(255) DEFAULT NULL,
  `created` datetime NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=51 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:01 ======
成功創建分表:data_shard_spt_201907
====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:01 ======
成功自動創建分表，表名:data_shard_spt_201907
====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:01 ======
開始自動復制數據，源表名:data_shard,分表名:data_shard_spt_201907
====== DataNiuKnife.MysqlDataWorker Info 07/29/2019 11:00:02 ======
自動復制了50筆數據，源表名:data_shard,分表名:data_shard_spt_201907