ClickHouse MaterializeMySQL 數據庫引擎

本文轉載自查看原文 2020-12-20 20:57 1430 Clickhouse

ClickHouse 20.8將新增 MaterializeMySQL引擎 ,可通過binlog日志實時物化mysql數據，極大提升了數倉的查詢性能和數據同步的時效性；原有mysql中承擔的數據分析工作可交由clickhouse去做，這么做可顯著降低線上mysql的負載，從此OLTP與OLAP業務實現完美融合。

MaterializeMySQL database engine 支持的情況：

1.支持mysql 庫級別的數據同步，暫不支持表級別的。

2.MySQL 庫映射到clickhouse中自動創建為ReplacingMergeTree 引擎的表

3.支持全量和增量同步，首次創建數據庫引擎時進行一次全量復制，之后通過監控binlog變化進行增量數據同步

4.支持的MySQL版本：5.6 、5.7、8.0

5.支持的操作:insert，update，delete，alter，create，drop，truncate等大部分DDL操作

6.支持的MySQL復制為GTID復制

我的環境：

RedHat 7

ClickHouse 20.8.3.18

Mysql 5.7（window上安裝的mysql服務）

1）查看當前mysql配置情況

show variables like '%log%bin%';

show variables like '%binlog_format%';

show variables like 'server_id';

select version();

2)設置mysql配置參數

需要的配置為：

log-bin=mysqlbin.log
binlog_format=ROW
server-id=1

我這邊需要配置的是開啟binlog

編輯my.ini （linux下是my.conf文件）

重啟mysql服務

重啟之后：show variables like '%log%bin%';可以看到已經開啟binlog.

3）設置clickhouse配置參數，開啟mysql物理化引擎

查看clickhouse的版本

select version()

查看allow_experimental_database_materialize_mysql的值

select * from system.settings where name ='allow_experimental_database_materialize_mysql';

設置allow_experimental_database_materialize_mysql=1 （# 因為該功能目前還處於實驗階段，在使用之前需要開啟）

set allow_experimental_database_materialize_mysql=1

4）在mysql中創建clickhouse_test數據庫，並創建user表，添加了2條數據，如下圖

5）在clickhouse中創建mysql的復制管道

先查看下clickhouse中的數據庫信息

創建clickhouse_mysql數據庫，關聯到本地的clickhouse_test數據庫

CREATE DATABASE clickhouse_mysql ENGINE = MaterializeMySQL('192.168.31.250:3306', 'clickhouse_test', 'root', '123456')

上圖可以看到clickhouse_mysql數據庫創建好了

現在進入到clickhouse_mysql，查看user表

報錯：需要在MySQL端開啟GTID模式

確保MySQL版本在5.6. 以上，在MySQL 5.7版本支持熱部署，即不停止服務的情況下開啟GTID模式

查看mysql的gtid_mode值

查看mysql的 enforce_gtid_consistency值

開啟enforce_gtid_consistency和gtid_mode：

 SET GLOBAL ENFORCE_GTID_CONSISTENCY = 'WARN';
 SET GLOBAL ENFORCE_GTID_CONSISTENCY = 'ON';
 SET GLOBAL GTID_MODE = 'OFF_PERMISSIVE';
 SET GLOBAL GTID_MODE = 'ON_PERMISSIVE';
 SET GLOBAL GTID_MODE = 'ON';