基於Apache Hudi + Flink的億級數據入湖實踐
本次分享分為5個部分介紹Apache Hudi的應用與實踐 實時數據落地需求演進 基於Spark+Hudi的實時數據落地應用實踐 基於Flink自定義實時數據落地實踐 基於Flink+Hudi的應用實踐 后續應用規划及展望 1. 實時數據落地需求演進 實時平台 ...
原文：Hudi自帶工具DeltaStreamer的實時入湖最佳實踐
摘要：本文介紹如何使用Hudi自帶入湖工具DeltaStreamer進行數據的實時入湖。 本文分享自華為雲社區 華為FusionInsight MRS實戰 Hudi實時入湖之DeltaStreamer工具最佳實踐 ，作者： 晉紅輕 。 背景 傳統大數據平台的組織架構是針對離線數據處理需求設計的，常用的數據導入方式為采用sqoop定時作業批量導入。隨着數據分析對實時性要求不斷提高，按小時 甚至分鍾 ...
2021-08-02 13:09 0 183 推薦指數：
相關推薦
Apache Hudi 在 B 站構建實時數據湖的實踐
保障 數據入湖實踐 增量數據湖平台收益 社區貢獻 未來的發展與思考 ...
基於Apache Hudi 的CDC數據入湖
作者：李少鋒 文章目錄： 一、CDC背景介紹 二、CDC數據入湖 三、Hudi核心設計 四、Hudi未來規划 1. CDC背景介紹 首先我們介紹什么是CDC？CDC的全稱是Change data Capture，即變更數據捕獲，它是數據庫領域非常常見的技術，主要用於捕獲數據庫的一些 ...
基於 Flink CDC + Hudi 湖倉一體方案實踐
一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一個 source 端的連接器，目前 2.0 版本支持從 MySQL 以及 Postgres ...
MySQL 自帶工具使用介紹
MySQL 數據庫不僅提供了數據庫的服務器端應用程序，同時還提供了大量的客戶端工具程序，如mysql，mysqladmin，mysqldump 等等，都是大家所熟悉的。雖然有些人對這些工具的功能都已經比較了解了，但是真正能將這些工具程序物盡其用的人可能並不是太多，或者知道的不全，也可能並不完全了解 ...
如何使用JDK自帶工具JConsole
前言 jconsole.exe為jdk自帶的監控工具，操作簡便，比較容易上手。jconsole可以實時的監控Java程序在運行過程中的內存，cpu，線程的使用情況，並可以對加載的相關類進行分析。下面開始一起看看如何使用jconsole吧！ 打開jconsole步驟： 1、首先進入到jdk ...
Uber基於Apache Hudi構建PB級數據湖實踐
1. 引言 從確保准確預計到達時間到預測最佳交通路線，在Uber平台上提供安全、無縫的運輸和交付體驗需要可靠、高性能的大規模數據存儲和分析。2016年，Uber開發了增量處理框架Apache Hudi，以低延遲和高效率為關鍵業務數據管道賦能。一年后，我們開源了該解決方案，以使得其他有需要的組織 ...
VS自帶工具：dumpbin的使用
有時候我們想查看一個exe引用了哪些動態庫，或者我們想看某個動態庫包含哪些接口函數，這個時候可以使用dumpbin.exe工具： 1.輸入Dumpbin -imports calldll.exe查看它的輸入信息，可以看到它加載了***.dll 2.輸入dumpbin –exports ...