clickhouse 的数据迁移 remote 方法,1千多万数据 ,秒速完成


背景介绍

作为一名资深软件人,数据安全一定要放到第一位,要保证生产库坏了,也要很快恢复,数据冗余是常用手段,数据转储是必备的,下面说一下我clickhouse的数据备份方式。
本方式适用于亿级别的数据,因为是全量备份;如果是百亿级别的数据,建议增量备份。

准备

准备一台服务器,性能不要求很高,因为这是存储一些数据 ,我是搞了一个docker容器;
安装clickhouse ,在docker 容器里安装,分分钟搞定;
创建数据库、创建需要备份的表;

CREATE DATABASE IF NOT EXISTS dbname;

CREATE TABLE dbname.tablename(
ts Date DEFAULT toDate(now()),
ID UInt32 COMMENT '主键id',
OIL_FACTORY_ID UInt32 COMMENT '',
DEPT_ID UInt32 COMMENT '部门ID',
DEPT_name String COMMENT '部门名字'

) ENGINE = MergeTree() PARTITION BY toYYYYMMDD(ts) ORDER BY ts SETTINGS index_granularity = 8192;

开始转储数据

insert into 目的数据库.表 select * from remote('数据源的ip',数据库.表,'登录名','登录密码')

效果


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM