flink-connector-kafka consumer的topic分区分配源码
转载请注明原创地址 http://www.cnblogs.com/dongxiao-yang/p/7200599.html flink官方提供了连接kafka的connector实现，由于调试的时候发现部分消费行为与预期不太一致，所以需要研究一下源码 ...
原文：flink-connector-kafka consumer checkpoint源码分析
转发请注明原创地址：http: www.cnblogs.com dongxiao yang p .html flink connector kafka consumer的topic分区分配源码 一文提到了在flink connector kafka的consumer初始化的时候有三种offset提交模式：KAFKA PERIODIC，DISABLED和ON CHECKPOINTS。 其中ON CH ...
2017-10-20 17:28 0 1218 推荐指数：
相关推荐
flink checkpoint 源码分析 （二）
转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/8260370.html flink checkpoint 源码分析 （一）一文主要讲述了在JobManager端定时生成TriggerCheckpoint的代码部分，本文继续研究 ...
flink checkpoint 源码分析 （一）
转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/8029356.html checkpoint是Flink Fault Tolerance机制的重要构成部分，flink checkpoint的核心类名为 ...
Flink源码阅读（二）——checkpoint源码分析
前言 在Flink原理——容错机制一文中，已对checkpoint的机制有了较为基础的介绍，本文着重从源码方面去分析checkpoint的过程。当然本文只是分析做checkpoint的调度过程，只是尽量弄清楚整体的逻辑，没有弄清楚其实现细节，还是有遗憾的，后期还是努力去分析实现细节。文中 ...
Flink 非对齐Unaligned的checkpoint（源码分析）
本文源码基于flink1.14 在帮助用户排查任务的时候，经常会发现部分task处理的慢，在Exactly once语义时需要等待快照的对齐而白白柱塞的情况 在flink1.11版本引入了非对齐的checkpoint，来解决这种柱塞问题，所以来看看这个新特性的源码是如何实现的 先看下官网的图 ...
【译】Apache Flink Kafka consumer
Flink提供了Kafka connector用于消费/生产Apache Kafka topic的数据。Flink的Kafka consumer集成了checkpoint机制以提供精确一次的处理语义。在具体的实现过程中，Flink不依赖于Kafka内置的消费组位移管理，而是在内部自行记录和维护 ...
《Flink SQL任务自动生成与提交》后续：修改flink源码实现kafka connector BatchMode
目录 问题 思路 kafka参数问题 支持batchmode的问题 参数提交至kafkasource的问题 group by支持问题 实现 编译 测试 因为在一篇博文上看到介绍“汽车之家介绍flink ...
读Kafka Consumer源码
最近一直在关注阿里的一个开源项目：OpenMessaging OpenMessaging, which includes the establishment of industry guide ...