項目實戰 從 0 到 1 學習之Flink（9）flink實時數倉從入門到實戰
第一章、flink實時數倉入門 一、依賴 二、Flink DataSet API編程指南 Flink最大的亮點是實時處理部分，Flink認為批處理是流處理的特殊情況，可以通過一套引擎處理批量和流式數據，而Flink在未來也會重點投入更多的資源到批流融合中。我在Flink ...
原文：項目實戰 從 0 到 1 學習之 Flink（8）大數據之Hudi + Kylin的准實時數倉實現
問題導讀： 數據庫 數據倉庫如何理解 數據湖有什么用途 解決什么問題 數據倉庫的加載鏈路如何實現 Hudi新一代數據湖項目有什么優勢 在近期的 Apache Kylin Apache Hudi Meetup 直播上，Apache Kylin PMC Chair 史少鋒和 Kyligence 解決方案工程師劉永恆就 Hudi Kylin 的准實時數倉實現進行了介紹與演示。下文是分享現場的回顧。我的分 ...
2020-05-27 09:46 0 1489 推薦指數：
相關推薦
融合趨勢下基於 Flink Kylin Hudi 湖倉一體的大數據生態體系
簡介： 本文由 T3 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink、Kylin 和 Hudi 湖倉一體的大數據生態體系以及在 T3 的相關應用場景。 本文由 T3 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink、Kylin ...
【實戰篇】大數據實時數倉項目從架構設計到落地實施
注：由於文章篇幅有限，獲取資料可直接掃二維碼，更有深受好評的大數據實戰精英+架構師好課等着你。 大數據技術交流QQ群：207540827 速點鏈接加入高手戰隊：http://www.dajiangtai.com/course/112.do 項目概述 某電商平台擬對電商網站的各種行為 ...
順豐科技 Hudi on Flink 實時數倉實踐
簡介： 介紹了順豐科技數倉的架構，趟過的一些問題、使用 Hudi 來優化整個 job 狀態的實踐細節，以及未來的一些規划。 本文作者為劉傑，介紹了順豐科技數倉的架構，趟過的一些問題、使用 Hudi 來優化整個 job 狀態的實踐細節，以及未來的一些規划。主要內容為： 數倉架構 ...
大數據必須了解的Flink實時數據架構
本文從上述現狀及實時數據需求出發，結合工業界案例、筆者的實時數據開發經驗， 梳理總結了實時數據體系建設的總體方案。 作者：劉大龍@唯品會；來源：Flink 中文社區 隨着互聯網的發展進入下半場，數據的時效性對企業的精細化運營越來越重要， 商場如戰場，在每天產生的海量數據中，如何能 ...
基於 Hudi 和 Kylin 構建准實時高性能數據倉庫
+ Kylin 的准實時數倉實現進行了介紹與演示。下文是分享現場的回顧。 我的分享主題是《基於 Hu ...
准實時數倉設計方案
原文出處：大數據最佳實踐 鏈接：https://mp.weixin.qq.com/s/VlYyzLvTECM5XSRLklGrOg 目前的數倉大概分為離線數倉和實時數倉。離線數倉一般是T+1的數據ETL方案；實時數倉一般是分鍾級別甚至更短的時間內的ETL方案。實時數倉一般是將上游業務庫的數據 ...
“准實時數倉”設計方案
目前的數倉大概分為離線數倉和實時數倉。離線數倉一般是T+1的數據ETL方案；實時數倉一般是分鍾級別甚至更短的時間內的ETL方案。實時數倉一般是將上游業務庫的數據通過binlog等形式，實時抽取到Kafka，進行實時ETL。但目前主流的實時數倉也會細分為兩類，一類是標准的實時數倉 ...