Kafka學習筆記（六、Kafka Connect）
目錄： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一種用於Kafka和其它系統之間（其它數據源）流式數據傳輸的工具，如Mysql >> Oracle，Json ...
原文：Kafka學習筆記（二、Kafka中的角色）
目錄： Kafka Broker和集群 Kafka主題和分區 Kafka Producer和Consumer Kafka Broker和集群： Broker：一個獨立的Kafka服務器被稱為broker，它用於接收生產者的消息，並設置消息的偏移量，還會把消息保存到磁盤中。 集群：多個Kafka實例組成Kafka集群，每個實例都被稱為broker。其中每個Kafka集群中都會有一個節點被選為領導節點 ...
2020-01-11 21:49 0 672 推薦指數：
相關推薦
kafka學習筆記（二）kafka的基本使用
概述 第一篇隨筆從消息隊列的定義和各種應用，以及kafka的分類定義和基本知識，第二篇就寫一篇關於kafka的基本實際配置和使用的隨筆，包括kafka的集群參數的配置，生產者使用機制，消費者使用機制。總之我會使用由淺到深，由概括到具體的介紹kafka的每個功能。 kafka集群的配置 ...
Kafka 學習筆記
為什么使用消息隊列？ 以用戶下單購買商品的行為舉例，在使用微服務架構時，我們需要調用多個服務。傳統的調用方式是同步調用，這會存在一定的性能問題 使用消息隊列可以實現異步的通信方式，相比於同步的通信⽅式，異步的⽅式可以讓上游快速成功，極大提高系統的吞吐量。在分布式系統中，通過下游多個服務 ...
Kafka 學習筆記之 架構
Kafka的概念： 1、 AMQP協議 Advanced Message Queuing Protocol （高級消息隊列協議） The Advanced Message Queuing Protocol (AMQP)： 是一個標准開放的應用層 ...
kafka學習筆記
kafka學習筆記 參考文檔 Kafka背景及架構介紹 Kafka背景 對網站使用情況做報表，如活動數據（page view、查看內容、搜索內容等）和運營數據（CPU、IO使用率、請求時間、服務器日志等）要用到的數據的收集和分析。 Kafka簡介 Kafka是一個分布式的，基於發布 ...
Kafka學習筆記之Kafka日志刪出策略
0x00 概述 kafka將topic分成不同的partitions，每個partition的日志分成不同的segments，最后以segment為單位將陳舊的日志從文件系統刪除。 假設kafka的在server.properity文件中設置的日志目錄為tmp/kafka-logs，對於名為 ...
kafka學習筆記（三）kafka的使用技巧
概述 上一篇隨筆主要介紹了kafka的基本使用包括集群參數，生產者基本使用，consumer基本使用，現在來介紹一下kafka的使用技巧。 分區機制 我們在使用 Apache Kafka 生產和消費消息的時候，肯定是希望能夠將數據均勻地分配到所有服務器上。比如很多公司使用 Kafka 收集 ...
Kafka學習筆記（五、Kafka偏移量）
目錄： MetaData信息 Kafka偏移量 客戶端負載均衡 MetaData信息 客戶端如何知道該往哪個節點發送請求來獲取數據：通過元數據。 元數據（MetaData）是什么：topic、topic的分區、每個分區有哪些副本、哪個副本是leader等信息。 一般 ...