順豐科技 Hudi on Flink 實時數倉實踐
簡介： 介紹了順豐科技數倉的架構，趟過的一些問題、使用 Hudi 來優化整個 job 狀態的實踐細節，以及未來的一些規划。 本文作者為劉傑，介紹了順豐科技數倉的架構，趟過的一些問題、使用 Hudi 來優化整個 job 狀態的實踐細節，以及未來的一些規划。主要內容為： 數倉架構 ...
相關推薦
基於Apache Hudi + Flink的億級數據入湖實踐
本次分享分為5個部分介紹Apache Hudi的應用與實踐 實時數據落地需求演進 基於Spark+Hudi的實時數據落地應用實踐 基於Flink自定義實時數據落地實踐 基於Flink+Hudi的應用實踐 后續應用規划及展望 1. 實時數據落地需求演進 實時平台 ...
基於 Flink CDC + Hudi 湖倉一體方案實踐
一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一個 source 端的連接器，目前 2.0 版本支持從 MySQL 以及 Postgres 兩種數據源中獲取數據，2.1 版本社區確定會支持 Oracle，MongoDB 數據源 ...
Flink 在 58 同城的應用與實踐
簡介： 58 同城的實時 SQL 建設以及如何從 Storm 遷移至 Flink。 本文整理自 58 同城實時計算平台負責人馮海濤在 Flink Forward Asia 2020 分享的議題《Flink 在 58 同城應用與實踐》，內容包括： 實時計算平台架構 實時 ...
Flink SQL 寫 hudi
# Flink SQL 寫 hudi 最近在做一個數據湖項目，基於 Hudi 的湖倉一體項目，計算引擎是 Flink + Spark 之前稍稍研究了一下數據湖的三個主要技術組件 IceBerg，以為可能會用，在網上看資料的時候，同樣也發現，IceBerg 對 Flink 比較親和，Hudi ...
37 手游基於 Flink CDC + Hudi 湖倉一體方案實踐
簡介： 介紹了 37 手游為何選擇 Flink 作為計算引擎，並如何基於 Flink CDC + Hudi 構建新的湖倉一體方案。 本文作者是 37 手游大數據開發徐潤柏，介紹了 37 手游為何選擇 Flink 作為計算引擎，並如何基於 Flink CDC + Hudi 構建新的湖倉一體 ...
Apache Hudi與Apache Flink集成
感謝王祥虎@wangxianghu 投稿 Apache Hudi是由Uber開發並開源的數據湖框架，它於2019年1月進入Apache孵化器孵化，次年5月份順利畢業晉升為Apache頂級項目。是當前最為熱門的數據湖框架之一。 1. 為何要解耦 Hudi自誕生至今一直使用Spark ...
Hudi-集成Flink(Flink操作hudi表)
一、安裝部署Flink 1.12 Apache Flink是一個框架和分布式處理引擎，用於對無界和有界數據流進行有狀態計算。Flink被設計在所有常見的集群環境中運行，以內存執行速度和任意規模來執行計算。 1.准備tar包 ...