零、步驟 一、Flink SQL集成Kafka 1.創建topic(一分區一備份) flink-topic 2.准備flink-sql-connector-kafka_2.12-1.13.1.jar，放入flink/lib下 ...

CDC概念 CDC全稱是Change data Cpature，即變更數據捕獲，主要面向數據庫的變更，是數據庫領域非常常見的技術，主要用於捕獲數據庫的一些變更，然后可以把變更數據發送到下游。 CDC類型 1.基於查詢的，客戶端會通過SQL方式 ...

# Flink SQL 寫 hudi 最近在做一個數據湖項目，基於 Hudi 的湖倉一體項目，計算引擎是 Flink + Spark 之前稍稍研究了一下數據湖的三個主要技術組件 IceBerg，以為可能會用，在網上看資料的時候，同樣也發現，IceBerg 對 Flink 比較親和，Hudi ...

一、安裝部署Flink 1.12 Apache Flink是一個框架和分布式處理引擎，用於對無界和有界數據流進行有狀態計算。Flink被設計在所有常見的集群環境中運行，以內存執行速度和任意規模來執行計算。 1.准備tar包 ...

hadoop、spark、flink、kafka、zookeeper安裝參照本博客部署安裝 組件版本選擇 maven安裝(版本>=3.3.1) Hudi安裝 flink cdc編譯安裝 flink集群添加cdc jar flink cdc測試 ...

環境准備 集成jar包：hudi-hadoop-mr-bundle-0.10.1.jar，放入$HIVE_HOME/lib目錄下 建外部表 手動加入分區 查看分區 SHOW PARTITIONS db_hudi.tbl_hudi ...

1. 什么是Debezium Debezium是一個開源的分布式平台，用於捕捉變化數據（change data capture）的場景。它可以捕捉數據庫中的事件變化（例如表的增、刪、改等），並將其轉為事件流，使得下游應用可以看到這些變化，並作出指定響應。 2. Debezium常規使用 ...

問題導讀：1、數據庫、數據倉庫如何理解？2、數據湖有什么用途？解決什么問題？3、數據倉庫的加載鏈路如何實現？4、Hudi新一代數據湖項目有什么優勢？在近期的 Apache Kylin × Apache Hudi Meetup 直播上，Apache Kylin PMC Chair 史少鋒 ...