原文:【译】Apache Flink Kafka consumer

Flink提供了Kafka connector用于消费 生产Apache Kafka topic的数据。Flink的Kafka consumer集成了checkpoint机制以提供精确一次的处理语义。在具体的实现过程中,Flink不依赖于Kafka内置的消费组位移管理,而是在内部自行记录和维护consumer的位移。 用户在使用时需要根据Kafka版本来选择相应的connector,如下表所示: ...

2017-09-08 14:49 1 8788 推荐指数:

查看详情

Kafka设计解析(二十)Apache Flink Kafka consumer

转载自 huxihx,原文链接 Apache Flink Kafka consumer Flink提供了Kafka connector用于消费/生产Apache Kafka topic的数据。FlinkKafka consumer集成了checkpoint机制以提供精确一次 ...

Mon Aug 27 06:43:00 CST 2018 0 3310
Apache Kafka(九)- Kafka Consumer 消费行为

1. Poll Messages 在Kafka Consumer 中消费messages时,使用的是poll模型,也就是主动去Kafka端取数据。其他消息管道也有的是push模型,也就是服务端向consumer推送数据,consumer仅需等待即可。 Kafka Consumer的poll模型 ...

Fri Sep 13 05:14:00 CST 2019 0 565
flink-connector-kafka consumer checkpoint源码分析

转发请注明原创地址:http://www.cnblogs.com/dongxiao-yang/p/7700600.html 《flink-connector-kafka consumer的topic分区分配源码》一文提到了在flink-connector-kafkaconsumer ...

Sat Oct 21 01:28:00 CST 2017 0 1218
flink-connector-kafka consumer的topic分区分配源码

转载请注明原创地址 http://www.cnblogs.com/dongxiao-yang/p/7200599.html flink官方提供了连接kafka的connector实现,由于调试的时候发现部分消费行为与预期不太一致,所以需要研究一下源码 ...

Wed Jul 19 03:29:00 CST 2017 0 3358
】调优Apache Kafka集群

  今天带来一篇译文“调优Apache Kafka集群”,里面有一些观点并无太多新颖之处,但总结得还算详细。该文从四个不同的目标出发给出了各自不同的参数配置,值得大家一读~ 原文地址请参考:https://www.confluent.io/blog ...

Sat Jun 03 19:44:00 CST 2017 0 2866
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM