今天我們要講的大數據公司叫作Confluent，這個公司是前LinkedIn員工出來后聯合創辦的，而創業的基礎是一款叫作Apache Kafka的開源軟件。 Confluen聯合創始人Jun Rao即將在QCon北京2018分享Apache Kafka的前世今生和未來的相關話題。 在整個 ...

從16年4月5號開始學習kafka，后來由於項目需要又涉及到了storm。 經過幾天的掃盲，到今天16年4月13日，磕磕碰碰的總算是寫了一個kafka+storm的HelloWorld的例子。 為了達到前人栽樹后人乘涼的知識共享的目的，我嘗試着梳理一下過程。 ====實例需求 ...

上個章節我們講了kafka的環境安裝（這里），現在主要來了解下Kafka使用，基於.net實現kafka的消息隊列應用，本文用的是Confluent.Kafka，版本0.11.6 1、安裝： 在NuGet程序包中搜索“Confluent.Kafka”下載安裝即可 2、producer ...

我們把Kafka比作Linux的內核,Confluent就相當於Linux的某個發行版。Confluent提供了Kafka沒有的組件和功能，比如完善的跨數據中心數據備份以及集群監控解決方案。 Confluent還分開源版本和企業版本,企業版本中提供了對底層Kafka集群完整的可視化監控解決方案 ...

Kafka Connect 是一種用於在 Kafka 和其他系統之間可擴展的、可靠的的流式傳輸數據的工具。它使得能偶快速定義將大量數據集合移入和移除 kafka 連接器變得簡單。 kafka connect 可以從數據庫或者應用程序服務器收到數據到 kafka topic ,使數據可以用於低 ...

針對golang的 kafka client 有很多開源package，例如sarama, confluent等等。在使用sarama 包時，高並發中偶爾遇到crash。於是改用confluent-kafka-go，其簡單易用，並且表現穩定。 本文主要介紹 ...

之前寫過兩篇關於重置offset的博文，后來使用過程中都有問題。 經過各種嘗試，終於找到了解決方案。 直接上代碼： 代碼中的while循環是防止有時連不上kafka服務器報錯。 很奇怪，我直接用c.commit(offsets=[tp_c])不起作用，非要我消費后它自動重置 ...

項目中需要使用python 向Kafka生產和消費數據，最初使用pykafka 。后來發現pykafka不支持client.id. 最后，終於找到confluent-kafka。 python kafka推薦使用confluent-kafka，官方推薦的。 Confluent's ...