今天我们要讲的大数据公司叫作Confluent，这个公司是前LinkedIn员工出来后联合创办的，而创业的基础是一款叫作Apache Kafka的开源软件。 Confluen联合创始人Jun Rao即将在QCon北京2018分享Apache Kafka的前世今生和未来的相关话题。 在整个 ...

从16年4月5号开始学习kafka，后来由于项目需要又涉及到了storm。 经过几天的扫盲，到今天16年4月13日，磕磕碰碰的总算是写了一个kafka+storm的HelloWorld的例子。 为了达到前人栽树后人乘凉的知识共享的目的，我尝试着梳理一下过程。 ====实例需求 ...

上个章节我们讲了kafka的环境安装（这里），现在主要来了解下Kafka使用，基于.net实现kafka的消息队列应用，本文用的是Confluent.Kafka，版本0.11.6 1、安装： 在NuGet程序包中搜索“Confluent.Kafka”下载安装即可 2、producer ...

我们把Kafka比作Linux的内核,Confluent就相当于Linux的某个发行版。Confluent提供了Kafka没有的组件和功能，比如完善的跨数据中心数据备份以及集群监控解决方案。 Confluent还分开源版本和企业版本,企业版本中提供了对底层Kafka集群完整的可视化监控解决方案 ...

Kafka Connect 是一种用于在 Kafka 和其他系统之间可扩展的、可靠的的流式传输数据的工具。它使得能偶快速定义将大量数据集合移入和移除 kafka 连接器变得简单。 kafka connect 可以从数据库或者应用程序服务器收到数据到 kafka topic ,使数据可以用于低 ...

针对golang的 kafka client 有很多开源package，例如sarama, confluent等等。在使用sarama 包时，高并发中偶尔遇到crash。于是改用confluent-kafka-go，其简单易用，并且表现稳定。 本文主要介绍 ...

之前写过两篇关于重置offset的博文，后来使用过程中都有问题。 经过各种尝试，终于找到了解决方案。 直接上代码： 代码中的while循环是防止有时连不上kafka服务器报错。 很奇怪，我直接用c.commit(offsets=[tp_c])不起作用，非要我消费后它自动重置 ...

项目中需要使用python 向Kafka生产和消费数据，最初使用pykafka 。后来发现pykafka不支持client.id. 最后，终于找到confluent-kafka。 python kafka推荐使用confluent-kafka，官方推荐的。 Confluent's ...