kafka學習筆記（二）kafka的基本使用
概述 第一篇隨筆從消息隊列的定義和各種應用，以及kafka的分類定義和基本知識，第二篇就寫一篇關於kafka的基本實際配置和使用的隨筆，包括kafka的集群參數的配置，生產者使用機制，消費者使用機制。總之我會使用由淺到深，由概括到具體的介紹kafka的每個功能。 kafka集群的配置 ...
原文：kafka學習筆記（三）kafka的使用技巧
概述 上一篇隨筆主要介紹了kafka的基本使用包括集群參數，生產者基本使用，consumer基本使用，現在來介紹一下kafka的使用技巧。 分區機制 我們在使用 Apache Kafka 生產和消費消息的時候，肯定是希望能夠將數據均勻地分配到所有服務器上。比如很多公司使用 Kafka 收集應用服務器的日志數據，這種數據都是很多的，特別是對於那種大批量機器組成的集群環境，每分鍾產生的日志量都能以 G ...
2020-08-09 20:17 0 672 推薦指數：
相關推薦
Kafka學習筆記（六、Kafka Connect）
目錄： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一種用於Kafka和其它系統之間（其它數據源）流式數據傳輸的工具，如Mysql >> Oracle，Json ...
Kafka學習筆記（6）----Kafka使用Producer發送消息
1. Kafka的Producer 不論將kafka作為什么樣的用途，都少不了的向Broker發送數據或接受數據，Producer就是用於向Kafka發送數據。如下： 2. 添加依賴 pom.xml文件如下： 3. 發送消息 ...
Kafka學習筆記（7）----Kafka使用Cosumer接收消息
1. 什么是KafkaConsumer? 應用程序使用KafkaConsul'le 「向Kafka 訂閱主題，並從訂閱的主題上接收消息。Kafka的消息讀取不同於從其他消息系統讀取數據，它涉及了一些獨特的概念和想法。 1.1 消費者和消費者群組 單個的消費者就跟前面的消息系統 ...
Kafka 學習筆記
為什么使用消息隊列？ 以用戶下單購買商品的行為舉例，在使用微服務架構時，我們需要調用多個服務。傳統的調用方式是同步調用，這會存在一定的性能問題 使用消息隊列可以實現異步的通信方式，相比於同步的通信⽅式，異步的⽅式可以讓上游快速成功，極大提高系統的吞吐量。在分布式系統中，通過下游多個服務 ...
Kafka 學習筆記之 架構
Kafka的概念： 1、 AMQP協議 Advanced Message Queuing Protocol （高級消息隊列協議） The Advanced Message Queuing Protocol (AMQP)： 是一個標准開放的應用層 ...
kafka學習筆記
kafka學習筆記 參考文檔 Kafka背景及架構介紹 Kafka背景 對網站使用情況做報表，如活動數據（page view、查看內容、搜索內容等）和運營數據（CPU、IO使用率、請求時間、服務器日志等）要用到的數據的收集和分析。 Kafka簡介 Kafka是一個分布式的，基於發布 ...
Kafka學習筆記之Kafka日志刪出策略
0x00 概述 kafka將topic分成不同的partitions，每個partition的日志分成不同的segments，最后以segment為單位將陳舊的日志從文件系統刪除。 假設kafka的在server.properity文件中設置的日志目錄為tmp/kafka-logs，對於名為 ...