clickhouse編譯安裝以及搭建mysql實時復制（20200909）

本文轉載自查看原文 2020-09-11 11:12 751 clickhouse

由於clickhouse的發布比較頻繁，目前版本為20.7 尚未支持與mysql同步，故編譯了git上最新的版本 20200909--版本號為20.9

環境信息

系統版本：Red Hat Enterprise Linux Server release 7.7 (Maipo)
uname -a:3.10.0-1062.el7.x86_64
服務器配置：32c 250g 1T（使用8c16g虛擬機編譯失敗，原因為內存不足導致編譯進程OOM）
mysql版本：8.0.19
gcc版本：9.3.0
cmake版本：3.14.5
ninja版本：1.9.0

一.安裝前檢查

grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"

二.安裝依賴包

yum install git cmake ninja-build libicu-devel clang libicu-devel readline-devel mysql-devel openssl-devel unixODBC_devel bzip2 -y

三.源碼獲取

git clone --recursive https://github.com/ClickHouse/ClickHouse

四.安裝高版本 gcc

見鏈接-gcc 9.3.0 離線安裝

五.安裝cmake 3版本

見鏈接- cmake 3.14安裝

六.安裝ninja-1.9.0

見鏈接- ninja 1.9.0 安裝

七.源碼安裝Clickhouse

cd ClickHouse
mkdir build
cd build
export CC=gcc-9
export CXX=g++-9
cmake ..
ninja
該過程耗時大概3小時

安裝成功后，將clickhouse命令以及參數文件拷貝到指定目錄

mkdir -p /usr/local/clickhouse/etc

cd /tools/ClickHouse/programs/server  ---其中/tools/ClickHouse 為clickhouse git文件根目錄
##/programs/server/preprocessed_configs 忽略

cp config.xml /usr/local/clickhouse/etc 
cp users.xml /usr/local/clickhouse/etc 

#將clickhouse執行文件copy 到/usr/local/clickhouse/bin 

mkdir -p /usr/local/clickhouse/bin 

cp /tools/ClickHouse/build/programs/clickhouse /usr/local/clickhouse/bin

配置環境變量

vim /etc/profile

添加
:/usr/local/clickhouse/bin

source /etc/profiel

啟動clickhouse-server ---注意啟動之前設置配置文件中PATH目錄（clickhouse數據目錄並給對應目錄賦權）

nohup clickhouse server --config-file=/usr/local/clickhouse/etc/config.xml  > /tmp/clickhouse.log 2>&1 &

啟動客戶端

clickhouse client

clickhouse client
ClickHouse client version 20.9.1.1.
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.9.1 revision 54439.

XXXXXXXX :)

至此clickhouse搭建完成，以下為搭建mysql復制過程

准備一套與clickhouse服務器網絡通暢的mysql，本文使用的MySQL版本為8.0.19

一.創建復制用戶(需要的最小權限未測試)

mysql> create user clickhouse@'%' identified WITH mysql_native_password  by 'rpl_user';
mysql> grant ALL PRIVILEGES on *.* to clickhouse@'%';

二.調整clickhouse參數

clickhouse :) SET allow_experimental_database_materialize_mysql=1;

clickhouse創建復制（目前以 database 為單位進行復制，不同的 database 可以來自不同的 MySQL master，這樣就可以實現多個 MySQL 源數據同步到一個 ClickHouse 做 OLAP 分析功能。）

CREATE DATABASE sbtest ENGINE = MaterializeMySQL('MYSQL_IP:MYSQL_PORT', 'DATABASE_NAME', 'USER_NAME', 'PASSWORD');

CREATE DATABASE sbtest ENGINE = MaterializeMySQL('XXXXXXXX:3306', 'clickhouse', 'clickhous', 'rpl_user');

如報錯

Received exception from server (version 20.9.1):
Code: 537. DB::Exception: Received from localhost:9000. DB::Exception: Illegal MySQL variables, the MaterializeMySQL engine requires default_authentication_plugin='mysql_native_password'. 


在MYSQL端調整改參數並重啟（read_only參數）
default_authentication_plugin='mysql_native_password'

三.創建數據庫和表，並寫入數據

mysql> create database clickhouse;
mysql> use clickhouse;

mysql> CREATE TABLE `sbtest1` (
    `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
    `k` int(10) unsigned NOT NULL DEFAULT '0',
    `c` char(120) NOT NULL DEFAULT '',
    `pad` char(60) NOT NULL DEFAULT '',
    PRIMARY KEY (`id`),
    KEY `k_1` (`k`)
) ENGINE = InnoDB AUTO_INCREMENT = 5000001 DEFAULT CHARSET = utf8mb4 MAX_ROWS = 1000000;

mysql> INSERT INTO `sbtest1` VALUES (1,49929,'83868641912-28773972837-60736120486-75162659906-27563526494-20381887404-41576422241-93426793964-56405065102-33518432330','67847967377-48000963322-62604785301-91415491898-96926520291'),(2,50198,'38014276128-25250245652-62722561801-27818678124-24890218270-18312424692-92565570600-36243745486-21199862476-38576014630','23183251411-36241541236-31706421314-92007079971-60663066966'),(3,50427,'33973744704-80540844748-72700647445-87330233173-87249600839-07301471459-22846777364-58808996678-64607045326-48799346817','38615512647-91458489257-90681424432-95014675832-60408598704'),(4,50202,'37002370280-58842166667-00026392672-77506866252-09658311935-56926959306-83464667271-94685475868-28264244556-14550208498','63947013338-98809887124-59806726763-79831528812-45582457048'),(5,49982,'44257470806-17967007152-32809666989-26174672567-29883439075-95767161284-94957565003-35708767253-53935174705-16168070783','34551750492-67990399350-81179284955-79299808058-21257255869'),(6,50059,'37216201353-39109531021-11197415756-87798784755-02463049870-83329763120-57551308766-61100580113-80090253566-30971527105','05161542529-00085727016-35134775864-52531204064-98744439797'),(7,50138,'33071042495-29920376648-91343430102-79082003121-73317691963-02846712788-88069761578-14885283975-44409837760-90760298045','91798303270-64988107984-08161247972-12116454627-22996445111'),(8,49994,'73754818686-04889373966-18668178968-56957589012-31352882173-91882653509-59577900152-88962682169-52981807259-62646890059','76460662325-41613089656-42706083314-81833284991-17063140920'),(9,52727,'26482547570-00155460224-12388481921-23289186371-78242522654-77998886134-73270876420-50821093220-31442690639-11588920653','30508501104-50823269125-88107014550-70202920684-95842308929'),(10,50338,'05677017559-47107518969-97509137401-28934334557-14497052050-61906823704-44077628507-24840441785-05187301456-27797851637','29489382504-13697582598-09964978366-26554639515-36136545002'),(11,54956,'69916792160-36263343577-60040896157-93749675091-85349848150-51324584648-99894376828-35106327881-24322876464-85736660000','87387995487-76363627904-22109071019-39590329504-09541621871'),(12,48776,'06636928111-91412549319-87017689961-79500497523-29051692073-64380774874-78643769852-73373361096-34215043106-34370178281','89292458800-98111883088-45119613990-18776802947-72334127545'),(13,45018,'66692787527-64669315176-31954384866-40167063199-20714065413-78429761915-37156169484-48536455204-68184091915-53509501438','38086179531-74613680033-74030836539-16618852001-68255032383'),(14,49947,'03057970397-76844598219-57919615042-40446066254-53006176529-07928677880-76521527831-33188464243-14751964794-48299542958','58289547349-70221859996-98108169071-42919560989-03199891667'),(15,49758,'46727919633-45146044920-86415428832-97681745441-41127226689-79274197453-43262911115-03302568793-24793907254-41889251160','16558229746-31933003433-90307278632-58399899267-20471559033'),(16,62371,'66674934079-61932070973-59260913966-95805894865-93643781508-42542760387-65244531372-94908882784-73015194138-09444593269','57753529930-52222322149-80867581160-08150406969-39000857332'),(17,49789,'42863854528-01081829164-15763552981-12403743290-73250276677-11227646213-34508938444-96091116410-30361051807-02401305678','30113872711-60560384806-74864932945-57589062046-96056547221'),(18,49766,'82991834540-27107960725-55255797929-15631102224-93218976341-02587259718-39218801679-60059023868-06269782489-88220383890','22351958118-81193937039-05255492720-04288594638-80971142475'),(19,49987,'50775217476-73338282083-95609959533-46458517058-43224921897-04845035863-09371954537-79862351894-56643259241-35384026860','56408658831-01630576472-82254536572-63286619302-57396238088'),(20,50108,'82095294113-46718689069-93751429117-94982456004-28879831505-39496075815-87005112245-60372548581-07992589471-35458088958','78183819052-54767035794-64034000286-75682734084-27025271045');    ---sysbench數據

clickhouse> use sbtest;
clickhouse> show tables;

SHOW TABLES

┌─name────┐
│ sbtest1 │
└─────────┘

1 rows in set. Elapsed: 0.002 sec.

clickhouse>

select * from sbtest1;

SELECT *
FROM sbtest1

┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐
│ 12 │ 48776 │ 06636928111-91412549319-87017689961-79500497523-29051692073-64380774874-78643769852-73373361096-34215043106-34370178281 │ 89292458800-98111883088-45119613990-18776802947-72334127545 │
│ 3 │ 50427 │ 33973744704-80540844748-72700647445-87330233173-87249600839-07301471459-22846777364-58808996678-64607045326-48799346817 │ 38615512647-91458489257-90681424432-95014675832-60408598704 │
│ 16 │ 62371 │ 66674934079-61932070973-59260913966-95805894865-93643781508-42542760387-65244531372-94908882784-73015194138-09444593269 │ 57753529930-52222322149-80867581160-08150406969-39000857332 │
└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘
┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐
│ 18 │ 49766 │ 82991834540-27107960725-55255797929-15631102224-93218976341-02587259718-39218801679-60059023868-06269782489-88220383890 │ 22351958118-81193937039-05255492720-04288594638-80971142475 │
└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘
┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐
│ 5 │ 49982 │ 44257470806-17967007152-32809666989-26174672567-29883439075-95767161284-94957565003-35708767253-53935174705-16168070783 │ 34551750492-67990399350-81179284955-79299808058-21257255869 │
└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘
┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐
│ 6 │ 50059 │ 37216201353-39109531021-11197415756-87798784755-02463049870-83329763120-57551308766-61100580113-80090253566-30971527105 │ 05161542529-00085727016-35134775864-52531204064-98744439797 │
│ 2 │ 50198 │ 38014276128-25250245652-62722561801-27818678124-24890218270-18312424692-92565570600-36243745486-21199862476-38576014630 │ 23183251411-36241541236-31706421314-92007079971-60663066966 │
│ 10 │ 50338 │ 05677017559-47107518969-97509137401-28934334557-14497052050-61906823704-44077628507-24840441785-05187301456-27797851637 │ 29489382504-13697582598-09964978366-26554639515-36136545002 │
└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘
┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐
│ 15 │ 49758 │ 46727919633-45146044920-86415428832-97681745441-41127226689-79274197453-43262911115-03302568793-24793907254-41889251160 │ 16558229746-31933003433-90307278632-58399899267-20471559033 │
│ 1 │ 49929 │ 83868641912-28773972837-60736120486-75162659906-27563526494-20381887404-41576422241-93426793964-56405065102-33518432330 │ 67847967377-48000963322-62604785301-91415491898-96926520291 │
└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘
┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐
│ 17 │ 49789 │ 42863854528-01081829164-15763552981-12403743290-73250276677-11227646213-34508938444-96091116410-30361051807-02401305678 │ 30113872711-60560384806-74864932945-57589062046-96056547221 │
│ 14 │ 49947 │ 03057970397-76844598219-57919615042-40446066254-53006176529-07928677880-76521527831-33188464243-14751964794-48299542958 │ 58289547349-70221859996-98108169071-42919560989-03199891667 │
│ 8 │ 49994 │ 73754818686-04889373966-18668178968-56957589012-31352882173-91882653509-59577900152-88962682169-52981807259-62646890059 │ 76460662325-41613089656-42706083314-81833284991-17063140920 │
└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘
┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐
│ 20 │ 50108 │ 82095294113-46718689069-93751429117-94982456004-28879831505-39496075815-87005112245-60372548581-07992589471-35458088958 │ 78183819052-54767035794-64034000286-75682734084-27025271045 │
│ 7 │ 50138 │ 33071042495-29920376648-91343430102-79082003121-73317691963-02846712788-88069761578-14885283975-44409837760-90760298045 │ 91798303270-64988107984-08161247972-12116454627-22996445111 │
│ 4 │ 50202 │ 37002370280-58842166667-00026392672-77506866252-09658311935-56926959306-83464667271-94685475868-28264244556-14550208498 │ 63947013338-98809887124-59806726763-79831528812-45582457048 │
│ 9 │ 52727 │ 26482547570-00155460224-12388481921-23289186371-78242522654-77998886134-73270876420-50821093220-31442690639-11588920653 │ 30508501104-50823269125-88107014550-70202920684-95842308929 │
└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘
┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐
│ 19 │ 49987 │ 50775217476-73338282083-95609959533-46458517058-43224921897-04845035863-09371954537-79862351894-56643259241-35384026860 │ 56408658831-01630576472-82254536572-63286619302-57396238088 │
└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘
┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐
│ 13 │ 45018 │ 66692787527-64669315176-31954384866-40167063199-20714065413-78429761915-37156169484-48536455204-68184091915-53509501438 │ 38086179531-74613680033-74030836539-16618852001-68255032383 │
└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘
┌─id─┬─────k─┬─c───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─pad─────────────────────────────────────────────────────────┐
│ 11 │ 54956 │ 69916792160-36263343577-60040896157-93749675091-85349848150-51324584648-99894376828-35106327881-24322876464-85736660000 │ 87387995487-76363627904-22109071019-39590329504-09541621871 │
└────┴───────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────────┘

20 rows in set. Elapsed: 0.004 sec.

查看同步位點

看下 ClickHouse 的同步位點：
cat /var/lib/clickhouse/metadata/clickhouse/.metadata

Version:        2
Binlog File:    bin.000004
Executed GTID:  45b22def-f329-11ea-acf1-3497f600d5bb:1-69:1000068
Binlog Position:        10006

至此slave搭建成功

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 源碼分析 | ClickHouse和他的朋友們（9）MySQL實時復制與實現 ClickHouse之集群搭建以及數據復制 ClickHouse之集群搭建以及數據復制 clickhouse編譯安裝【Clickhouse】Mac M1編譯安裝Clickhouse MySQL到ClickHouse實時同步-CloudCanal實戰 Linux CentOS 安裝MySql以及搭建MySql主從復制 StreamSets Data Collector 實時同步 PostgreSQL/MySQL 數據到 Clickhouse 騰訊大牛教你ClickHouse實時同步MySQL數據 clickhouse通過MaterializeMySQL庫引擎實現mysql實時同步