分布式消息流平台：不要只想着Kafka，還有Pulsar
摘要：Pulsar作為一個雲原生的分布式消息流平台，越來越頻繁地出現在人們的視野中，大有替代Kafka江湖地位的趨勢。 本文分享自華為雲社區《MRS Pulsar：下一代分布式消息流平台全新發布！》，作者： Lothar。 Pulsar的前世今生 Apache Pulsar是一個發布 ...
原文：分布式流平台Kafka
提到Kafka很多人的第一印象就是它是一個消息系統，但Kafka發展至今，它的定位已遠不止於此，而是一個分布式流處理平台。對於一個流處理平台通常具有三個關鍵能力： . 發布和訂閱消息流，在這一點上它與消息隊列或企業消息系統類似 . 以容錯的持久化方式存儲消息流 . 在消息流產生時處理它們 目前，Kafka通常應用於兩大類應用： . 構建實時的流數據管道，可靠地在系統和應用程序之間獲取數據 . 構建 ...
2020-11-13 09:14 0 654 推薦指數：
相關推薦
Apache Kafka分布式流處理平台及大廠面試寶典v3.0.0
概述 **本人博客網站 **IT小神 www.itxiaoshen.com 定義 Apache Kafka官網地址 http://kafka.apache.org/ 最新版本為 3.0.0 Apache Kafka是一個開源的分布式事件流平台，使用Scala和Java混合 ...
(持續更新中~~~)kafka--消息引擎與分布式流處理平台
kafka概述 kafka是一個分布式的基於發布/訂閱模式的消息隊列(message queue)，一般更願意稱kafka是一款開源的消息引擎系統，只不過消息隊列會耳熟一些。kafka主要應用於大數據實時領域。 為什么會有消息隊列，主要是為了異步處理，提高效率。我們來看一張圖 使用消息 ...
分布式緩存 — kafka
Kafka是一個分布式、支持分區的（partition）、多副本的（replica），基於zookeeper協調的分布式消息系統，它的最大的特性就是可以實時的處理大量數據以滿足各種需求場景：比如基於hadoop的批處理系統、低延遲的實時系統、storm/Spark流式處理引擎，web/nginx ...
Pulsar雲原生分布式消息和流平台v2.8.0
Pulsar雲原生分布式消息和流平台 **本人博客網站 **IT小神 www.itxiaoshen.com Pulsar官方網站 Apache Pulsar是一個雲原生的分布式消息和流媒體平台，最初創建於雅虎!現在是Apache軟件基金會的頂級項目 官網首頁列舉一些關鍵特性 ...
Kafka分布式查詢引擎
1.概述 Kafka是一個分布式消息中間件系統，里面存儲着實際場景中的數據。Kafka原生是不支持點查詢的，如果我們想對存儲在Topic中的數據進行查詢，可能需要對Topic中的數據進行消費落地，然后構建索引（或者數據落地到自帶所以的存儲系統中，例如HBase、Hive等）。今天，筆者就為 ...
Kafka分布式的消息順序
Kafka分布式的單位是partition，同一個partition用一個write ahead log組織，所以可以保證FIFO的順序。不同partition之間不能保證順序。 但是絕大多數用戶都可以通過message key來定義，因為同一個key的message可以保證只發送到 ...
Kafka分布式集群搭建
環境說明 kafka自0.9之后增加了connector的特性。本文主要是搭建一個分布式的kafka connector和broker。 本文用了三台機器進行部署，使用centos 6.6。 hostname ip role ...