最佳實踐：Pulsar 為批流處理提供融合存儲
非常榮幸有機會和大家分享一下 Apache Pulsar 怎樣為批流處理提供融合的存儲。希望今天的分享對做大數據處理的同學能有幫助和啟發。 這次分享，主要分為四個部分： 介紹與其他消息系統相比， Apache Pulsar 的獨特優勢 分析批流處理中的存儲需求 講述 Apache ...
原文：Flink 和 Pulsar 的批流融合
簡介：如何通過 Apache Pulsar 原生的存儲計算分離的架構提供批流融合的基礎，以及 Apache Pulsar 如何與 Flink 結合，實現批流一體的計算。 簡介：StreamNative 聯合創始人翟佳在本次演講中介紹了下一代雲原生消息流平台 Apache Pulsar，並講解如何通過 Apache Pulsar 原生的存儲計算分離的架構提供批流融合的基礎，以及 Apache Pul ...
2021-05-27 09:48 0 192 推薦指數：
相關推薦
flink流批一體
同步。 flink流批一體橫空處理，為大數據處理帶來了一套新的解決方案。 今年雙11，Flink流批一體 ...
FLINK與流批一體
當我們談論批流一體，我們在談論什么？ 目錄 當我們談論批流一體，我們在談論什么？ 一、流計算與批計算 一）流計算與批計算 二）流計算與批計算的比較 三）為什么要搞流批一體 二、流批一體的場景 一）數據集成的流 ...
Flink 是如何統一批流引擎的
關注公眾號：大數據技術派，回復“資料”，領取1000G資料。 本文首發於我的個人博客：Flink 是如何統一批流引擎的 2015 年，Flink 的作者就寫了 Apache Flink: Stream and Batch Processing in a Single Engine 這篇 ...
統一批處理流處理——Flink批流一體實現原理
實現批處理的技術許許多多，從各種關系型數據庫的sql處理，到大數據領域的MapReduce，Hive，Spark等等。這些都是處理有限數據流的經典方式。而Flink專注的是無限流處理，那么他是怎么做到批處理的呢？ 無限流處理：輸入數據沒有盡頭；數據處理從當前或者過去的某一個時間 點開 ...
Flink on Hive構建流批一體數倉
Flink使用HiveCatalog可以通過批或者流的方式來處理Hive中的表。這就意味着Flink既可以作為Hive的一個批處理引擎，也可以通過流處理的方式來讀寫Hive中的表，從而為實時數倉的應用和流批一體的落地實踐奠定了堅實的基礎。本文將以Flink1.12為例，介紹Flink ...
Flink學習（三） 批流版本的wordcount JAVA版本
Flink 開發環境通常來講，任何一門大數據框架在實際生產環境中都是以集群的形式運行，而我們調試代碼大多數會在本地搭建一個模板工程，Flink 也不例外。 Flink 一個以 Java 及 Scala 作為開發語言的開源大數據項目，通常我們推薦使用 Java 來作為開發語言，Maven 作為編譯 ...
Flink學習（三） 批流版本的wordcount Scala版本
批處理代碼： 流處理代碼： ...