Flink 源码 | 自定义 Format 消费 Maxwell CDC 数据
Flink 1.11 最重要的 Feature —— Hive Streaming 之前已经和大家分享过了，今天就和大家来聊一聊另一个特别重要的功能 —— CDC。 CDC概述 何为CDC？Change Data Capture，将数据库中的’增’、’改’、’删’操作记录下来。在很早之前 ...
原文：自定义flink-kafka特定结束消费位置
自定义flink kafka connector 背景：消费特定开始和结束位置的kafka数据，需求是执行flink任务消费完特定位置数据后，任务自行停止。但批任务并不支持消费kafka数据，而流任务不会自行停止，因此需要自定义kafka连接器。flink . 版本中，DataStream Connectors 有一个属性setBounded,可以设定消费的结束位置，但Table API目前并不支 ...
2022-03-28 11:44 0 1656 推荐指数：
相关推荐
Flink sql kafka source 自定义并行度
本文参考康琪大佬的博客：使Flink SQL Kafka Source支持独立设置并行度 一直觉得 Flink Sql 需要指定算子并行度的功能，哪怕是基于 SQL 解析出来的算子不能添加并行度，source、sink、join 的算子也应该有修改并行度的功能。 恰好看到大佬的博客 ...
Flink自定义Sink
Flink自定义Sink Flink 自定义Sink，把socket数据流数据转换成对象写入到mysql存储。 Step2:继承RichSinkFunction，自定义Sink Step3：在mysql创建存储表 Step4： 将socket流转成Student对象，并存 ...
flink消费kafka
https://www.cnblogs.com/huxi2b/p/7456936.html ...
flink 根据时间消费kafka
经常遇到这样的场景,13点-14点的时候flink程序发生了故障,或者集群崩溃,导致实时程序挂掉1小时,程序恢复的时候想把程序倒回13点或者更前,重新消费kafka中的数据. 下面的代码就是根据指定时间戳(也可以换算成时间)开始消费数据,支持到这样就灵活了,可以在启动命令中加个参数,然后再 ...
Flink 消费RabbitMQ 和 Kafka
在消息RabbitMQ时,我们关心的一个问题是手动ack还是自动ack,如果是自动ack就怕出现丢消息的情况 Flink以RabbitMQ作为Source,是怎么保证消息唯一性的呢,是怎么保证ack的. 首先引入依赖包 <dependency> ...
Kafka-生产者、消费者、自定义分区器
记录下和kafka相关的生产者和消费者，文中很多理解参考文末博文、书籍还有某前辈。 生产者 包含原理和代码两部分。 原理相关 如果要写生产者代码，需要先了解其发送的大致过程，即消息经历了什么才存储到对应topic的对应分区，大致如下。 （1）执行生产者代码后，会在JVM中启动一个 ...