clickhouse从Kafka中导入数据

操作步骤

1. 在ClickHouse集群中新建Kafka消费表。
    

   CREATE TABLE default.kafka_src_table ON CLUSTER default ( //定义表结构的字段 id Int32, age Int32, msg String ) ENGINE = Kafka() SETTINGS kafka_broker_list = '*', kafka_topic_list = 'test', kafka_group_name = 'test', kafka_format = 'JSONEachRow';

   参数说明

   • kafka_broker_list：对应的Kafka集群地址
   • kafka_topic_list：对应消费的topic。
   • kafka_group_name：消费topic的group，需要先在Kafka中创建
   • kafka_format：ClickHouse可以处理的数据类型。
     • JSONEachRow表示每行一条数据的json格式。一般如果是json格式的话，设置JSONEachRow即可。
     • 如果需要输入嵌套的json，请设置input_format_import_nested_json=1。
     关于ClickHouse支持的各种格式，可以参考官网：Formats for Input and Output Data。

   更多属性设置，可以参考：ClickHouse集成kafka。

2. 创建ClickHouse目的表。
   1. 创建本地表。
       

      create table default.kafka_table_local ON CLUSTER default ( id Int32, age UInt32, msg String ) ENGINE = ReplicatedMergeTree( '/clickhouse/tables/kafka_sink_table/{shard}', '{replica}') ORDER BY (id);

   2. 创建分布式表。
       

      CREATE TABLE kafka_table_distributed ON CLUSTER default AS default.kafka_table_local ENGINE = Distributed(default, default, kafka_table_local, id);

3. 创建view把Kafka消费表消费到的数据导入ClickHouse目的表。
    

   CREATE MATERIALIZED VIEW consumer TO kafka_table_distributed AS SELECT * FROM kafka_src_table;

    

   说明 Kafka消费表不能直接作为结果表使用。Kafka消费表只是用来消费Kafka数据，没有真正的存储所有数据。