數據湖的前世今生 互聯網技術發展的當下，數據是各大公司最寶貴的資源之一已經是不爭的事實。收據的收集、存儲和分析已經成為科技公司最重要的技術組成部分。大數據領域經過近十年的高速發展，無論是實時計算還是離線計算、無論是數據倉庫還是數據中台，都已經深入各大公司的各個業務。 "數據湖"這個概念 ...

導讀：今天主要和大家交流的是網易在數據湖 Iceberg 的一些思考與實踐。從網易在數據倉庫建設中遇到的痛點出發，介紹對數據湖 Iceberg 的探索以及實踐之路。 主要內容包括： 數據倉庫平台建設的痛點 數據湖 Iceberg 的核心原理 數據湖 Iceberg ...

Apache Flink 是大數據領域非常流行的流批統一的計算引擎，數據湖是順應雲時代發展潮流的新型技術架構。那么當 Apache Flink 遇見數據湖時，會碰撞出什么樣的火花呢？本次分享主要包括以下核心內容： 數據湖的相關背景介紹； 經典業務場景介紹； 為什么選擇 Apache ...

1. Iceberg構建數據湖 核心思想 在時間軸上跟蹤表的所有變化； 快照表示表數據文件的一個完整集合； 每次更新操作會生成一個新的快照； 特性 ① 優化數據入庫流程 Iceberg提供ACID事務能力，上游數據寫入即可見，不影響當前數據處理任務，這大大簡化 ...

目錄 數據湖(datalake) 對象存儲 Iceberg 功能 Schema 變更 隱式分區和分區布局變更 查詢特定版本和版本回滾 Iceberg in Spark 表格式說明 數據湖(datalake) 傳統數據 ...

知識點： 1、依賴 2、處理類 3、binlog結果 4、如果需要將數據進行etl，解析數據，然后自定義實現sink 5、測試代碼 ...

使用flink-cdc實現實時數據庫同步 本文地址：https://www.cnblogs.com/muphy/p/16043924.html Flink CDC Connectors 是Apache Flink的一組源連接器，使用變更數據捕獲 (CDC) 從不同的數據庫中獲取 ...

目前市面上流行的三大開源數據湖方案分別為：delta、Apache Iceberg和Apache Hudi。 其中，由於Apache Spark在商業化上取得巨大成功，所以由其背后商業公司Databricks推出的delta也顯得格外亮眼。 Apache Hudi是由Uber ...