kafka學習筆記（二）kafka的基本使用
概述 第一篇隨筆從消息隊列的定義和各種應用，以及kafka的分類定義和基本知識，第二篇就寫一篇關於kafka的基本實際配置和使用的隨筆，包括kafka的集群參數的配置，生產者使用機制，消費者使用機制。總之我會使用由淺到深，由概括到具體的介紹kafka的每個功能。 kafka集群的配置 ...
原文：Kafka學習筆記（六、Kafka Connect）
目錄： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一種用於Kafka和其它系統之間 其它數據源 流式數據傳輸的工具，如Mysql gt gt Oracle，Json gt gt Mysql，MongoDB gt gt Elastic等。 常用於報表等，因為他們都需要從多個數據源中抽取需要的數據，然 ...
2020-01-31 19:46 0 1028 推薦指數：
相關推薦
Kafka: Connect
轉自：http://www.cnblogs.com/f1194361820/p/6108025.html Kafka Connect 簡介 Kafka Connect 是一個可以在Kafka與其他系統之間提供可靠的、易於擴展的數據流處理工具。使用它能夠使得數據進出Kafka變得 ...
Kafka 學習筆記
的分布式事務的保障，也能保障業務執行之后的最終⼀致性 Kafka 概述 1. 介紹 Ka ...
Kafka 學習筆記之 架構
Kafka的概念： 1、 AMQP協議 Advanced Message Queuing Protocol （高級消息隊列協議） The Advanced Message Queuing Protocol (AMQP)： 是一個標准開放的應用層 ...
kafka學習筆記
kafka學習筆記 參考文檔 Kafka背景及架構介紹 Kafka背景 對網站使用情況做報表，如活動數據（page view、查看內容、搜索內容等）和運營數據（CPU、IO使用率、請求時間、服務器日志等）要用到的數據的收集和分析。 Kafka簡介 Kafka是一個分布式的，基於發布 ...
Kafka學習筆記之Kafka日志刪出策略
0x00 概述 kafka將topic分成不同的partitions，每個partition的日志分成不同的segments，最后以segment為單位將陳舊的日志從文件系統刪除。 假設kafka的在server.properity文件中設置的日志目錄為tmp/kafka-logs，對於名為 ...
kafka學習筆記（三）kafka的使用技巧
概述 上一篇隨筆主要介紹了kafka的基本使用包括集群參數，生產者基本使用，consumer基本使用，現在來介紹一下kafka的使用技巧。 分區機制 我們在使用 Apache Kafka 生產和消費消息的時候，肯定是希望能夠將數據均勻地分配到所有服務器上。比如很多公司使用 Kafka 收集 ...
Kafka學習筆記（五、Kafka偏移量）
目錄： MetaData信息 Kafka偏移量 客戶端負載均衡 MetaData信息 客戶端如何知道該往哪個節點發送請求來獲取數據：通過元數據。 元數據（MetaData）是什么：topic、topic的分區、每個分區有哪些副本、哪個副本是leader等信息。 一般 ...