Kafka consumer group位移重設
本文闡述如何使用Kafka自帶的kafka-consumer-groups.sh腳本隨意設置消費者組(consumer group)的位移。需要特別強調的是， 這是0.11.0.0版本提供的新功能且只適用於新版本consumer。 在新版本之前，如果要為已有的consumer group ...
原文：Kafka controller重設計
本文主要參考社區 . 版本Controller的重設計方案，試圖給大家梳理一下Kafka controller這個組件在設計上的一些重要思考。眾所周知，Kafka中有個關鍵組件叫controller，負責管理和協調Kafka集群。網上關於controller的源碼分析也有很多，本文就不再大段地列出代碼重復做這件事情了。實際上，對於controller的代碼我一直覺得寫的非常混亂，各種調用關系十分 ...
2017-06-10 21:39 9 4693 推薦指數：
相關推薦
Kafka的Controller
控制器組件（Controller），是 Apache Kafka 的核心組件。它的主要作用是在 Apache ZooKeeper 的幫助下管理和協調整個 Kafka 集群。集群中任意一台 Broker 都能充當控制器的角色，但是，在運行過程中，只能有一個 Broker 成為控制器，行使其管理和協調 ...
Kafka consumer group位移0ffset重設
本文闡述如何使用Kafka自帶的kafka-consumer-groups.sh腳本隨意設置消費者組(consumer group)的位移。需要特別強調的是， 這是0.11.0.0版本提供的新功能且只適用於新版本consumer。 在新版本之前，如果要為已有 ...
高並發下接口防重設計和冪等設計
前言 接口冪等性問題，對於開發人員來說，是一個跟語言無關的公共問題。本文分享了一些解決這類問題非常實用的辦法，絕大部分內容我在項目中實踐過的，給有需要的小伙伴一個參考。 不知道你 ...
kafka controller重構
Kafka Controller 是 Kafka 的核心組件，在前面的文章中，已經詳細講述過 Controller 部分的內容。在過去的幾年根據大家在生產環境中應用的反饋，Controller 也積累了一些比較大的問題，而針對這些問題的修復，代碼的改動量都是非常大的，無疑是一次重構，因此，社區准備 ...
kafka controller腦裂（多個controller）問題
問題：情況一：創建topic成功，但是produce的時候，卻報unknown partition的錯誤，但zk上卻顯示了每個partition的leader信息；情況二： 給某個topic增加分區，zk顯示已有增加的分區信息，但是依舊報找不到新增加的分區信息錯誤原因：多個controller ...
kafka學習筆記（六）kafka的controller模塊
概述 今天我們主要看一下kafka的controller的代碼，controller代碼是kafka的非常重要的代碼，需要我們深入學習。從某種意義上來說，它是kafka最核心的組件，一方面，他要為集群中的所有主題分區選取領導者副本；另一方面，它還承載着集群的全部元數據信息，並負責講這些元數據信息 ...
Kafka設計解析（七）Kafka Stream
轉載自 技術世界，原文鏈接 Kafka設計解析（七）- Kafka Stream 本文介紹了Kafka Stream的背景，如Kafka Stream是什么，什么是流式計算，以及為什么要有Kafka Stream。接着介紹了Kafka Stream的整體架構，並行模型，狀態存儲 ...