1. Kafka的Producer 　　不論將kafka作為什么樣的用途，都少不了的向Broker發送數據或接受數據，Producer就是用於向Kafka發送數據。如下： 　　 2. 添加依賴 　　pom.xml文件如下： 3. 發送消息 ...

概述 第一篇隨筆從消息隊列的定義和各種應用，以及kafka的分類定義和基本知識，第二篇就寫一篇關於kafka的基本實際配置和使用的隨筆，包括kafka的集群參數的配置，生產者使用機制，消費者使用機制。總之我會使用由淺到深，由概括到具體的介紹kafka的每個功能。 kafka集群的配置 ...

概述 上一篇隨筆主要介紹了kafka的基本使用包括集群參數，生產者基本使用，consumer基本使用，現在來介紹一下kafka的使用技巧。 分區機制 我們在使用 Apache Kafka 生產和消費消息的時候，肯定是希望能夠將數據均勻地分配到所有服務器上。比如很多公司使用 Kafka 收集 ...

日常工作中有時候需要向kafka中發送消息來測試功能或者性能，這時候我們怎么辦呢？我之前是自己寫個簡單的python腳本來模擬發送消息的，其實用Jmeter來實現也比較簡單方便。 1、我們必須有kafka相關的jar包。 我是直接下載的相關jar包，鏈接：https ...

目錄： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一種用於Kafka和其它系統之間（其它數據源）流式數據傳輸的工具，如Mysql >> Oracle，Json ...

關於 Topic 和 Partition Topic 在 kafka 中，topic 是一個存儲消息的邏輯概念，可以認為是一個消息集合。每條消息發送到 kafka 集群的消息都有一個類別。物理上來說，不同的 topic 的消息是分開存儲的，每個 topic 可以有多個生產者向它發送消息 ...

之前寫了一篇關於kafka集群搭建的點擊打開鏈接。想了解的可以看下。 今天這個實現是和前面集群對應的。使用的是新版的API。屬性如果想定制自己的，需要到官方網址上面去查看一下對應的值。 推介大家多去看看官方的介紹和demo。網上有些翻譯過來的例子並不完善，最好是知己知彼，才能百戰不殆 ...

Spark streaming 和kafka 處理確保消息不丟失的總結 接入kafka 我們前面的1到4 都在說 spark streaming 接入 kafka 消息的事情。講了兩種接入方式，以及spark streaming 如何和kafka協作接收數據，處理數據生成rdd的 主要有 ...