離線實時一體化數倉與湖倉一體—雲原生大數據平台的持續演進
、機器學習PAI平台技術負責人 本篇內容將從三個部分為讀者講述離線實時一體化數倉與湖倉一體—雲原生大數據平 ...
原文：Apache Hudi在華米科技的應用-湖倉一體化改造
徐昱 Apache Hudi Contributor 華米高級大數據開發工程師 巨東東 華米大數據開發工程師 . 應用背景及痛點介紹 華米科技是一家基於雲的健康服務提供商，擁有全球領先的智能可穿戴技術。在華米科技，數據建設主要圍繞兩類數據：設備數據和APP數據，這些數據存在延遲上傳 更新頻率高且廣 可刪除等特性，基於這些特性，前期數倉ETL主要采取歷史全量 增量模式來每日更新數據。隨着業務的持續 ...
2021-11-14 21:44 0 223 推薦指數：
相關推薦
基於 Flink CDC + Hudi 湖倉一體方案實踐
一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一個 source 端的連接器，目前 2.0 版本支持從 MySQL 以及 Postgres 兩種數據源中獲取數據，2.1 版本社區確定會支持 Oracle，MongoDB 數據源 ...
融合趨勢下基於 Flink Kylin Hudi 湖倉一體的大數據生態體系
簡介： 本文由 T3 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink、Kylin 和 Hudi 湖倉一體的大數據生態體系以及在 T3 的相關應用場景。 本文由 T3 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink、Kylin ...
37 手游基於 Flink CDC + Hudi 湖倉一體方案實踐
簡介： 介紹了 37 手游為何選擇 Flink 作為計算引擎，並如何基於 Flink CDC + Hudi 構建新的湖倉一體方案。 本文作者是 37 手游大數據開發徐潤柏，介紹了 37 手游為何選擇 Flink 作為計算引擎，並如何基於 Flink CDC + Hudi 構建新的湖倉一體 ...
雲倉系統開發雲商倉配一體化模式詳解
雲倉系統開發（蘇銘.188.1414.7927）雲倉系統，雲倉模式，雲倉平台，雲商系統，雲商模式，雲商平台，雲倉管理系統，倉配一體化，雲倉是個什么概念呢?隨便問一個物流經理人可能未必說的會很全面，但是隨着雲倉的普及和發展，我們需要去梳理一下雲倉產生的原因，形式以及由雲倉所帶來的創新 ...
Hudi，Hive Sync，實現湖倉一體操作
一、將Hudi數據同步到Hive 1）需要將編譯好的hudi-hadoop-mr-bundle-0.10.0.jar，放到對應的環境中，../CDH/jars 和 ../CDH/lib/hive/lib下面，具體步驟可以參考Flink1.3.1+Hudi0.10初探 ...
一文讀懂雲原生一體化數倉
簡介：阿里雲雲原生一體化數倉產品技術深度解讀。 本文大綱 一、雲原生一體化數倉的發布背景 1 市場情況 2 挑戰和痛點 二、雲原生一體化數倉是什么 三、雲原生一體化數倉的技術理念 1 離線實時一體 2 湖倉一體 3 分析服務一體 4 全鏈路數據治理 一、雲原生 ...
觸寶科技基於Apache Hudi的流批一體架構實踐
1. 前言 當前公司的大數據實時鏈路如下圖，數據源是MySQL數據庫，然后通過Binlog Query的方式消費或者直接客戶端采集到Kafka，最終通過基於Spark/Flink實現的批流一體計算引擎處理，最后輸出到下游對應的存儲。 2. 模型特征架構的演進 2.1 第一代架構 ...