基于Apache Hudi + Flink的亿级数据入湖实践
本次分享分为5个部分介绍Apache Hudi的应用与实践 实时数据落地需求演进 基于Spark+Hudi的实时数据落地应用实践 基于Flink自定义实时数据落地实践 基于Flink+Hudi的应用实践 后续应用规划及展望 1. 实时数据落地需求演进 实时平台 ...
原文：Hudi自带工具DeltaStreamer的实时入湖最佳实践
摘要：本文介绍如何使用Hudi自带入湖工具DeltaStreamer进行数据的实时入湖。 本文分享自华为云社区 华为FusionInsight MRS实战 Hudi实时入湖之DeltaStreamer工具最佳实践 ，作者： 晋红轻 。 背景 传统大数据平台的组织架构是针对离线数据处理需求设计的，常用的数据导入方式为采用sqoop定时作业批量导入。随着数据分析对实时性要求不断提高，按小时 甚至分钟 ...
2021-08-02 13:09 0 183 推荐指数：
相关推荐
Apache Hudi 在 B 站构建实时数据湖的实践
保障 数据入湖实践 增量数据湖平台收益 社区贡献 未来的发展与思考 ...
基于Apache Hudi 的CDC数据入湖
作者：李少锋 文章目录： 一、CDC背景介绍 二、CDC数据入湖 三、Hudi核心设计 四、Hudi未来规划 1. CDC背景介绍 首先我们介绍什么是CDC？CDC的全称是Change data Capture，即变更数据捕获，它是数据库领域非常常见的技术，主要用于捕获数据库的一些 ...
基于 Flink CDC + Hudi 湖仓一体方案实践
一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一个 source 端的连接器，目前 2.0 版本支持从 MySQL 以及 Postgres ...
MySQL 自带工具使用介绍
MySQL 数据库不仅提供了数据库的服务器端应用程序，同时还提供了大量的客户端工具程序，如mysql，mysqladmin，mysqldump 等等，都是大家所熟悉的。虽然有些人对这些工具的功能都已经比较了解了，但是真正能将这些工具程序物尽其用的人可能并不是太多，或者知道的不全，也可能并不完全了解 ...
如何使用JDK自带工具JConsole
前言 jconsole.exe为jdk自带的监控工具，操作简便，比较容易上手。jconsole可以实时的监控Java程序在运行过程中的内存，cpu，线程的使用情况，并可以对加载的相关类进行分析。下面开始一起看看如何使用jconsole吧！ 打开jconsole步骤： 1、首先进入到jdk ...
Uber基于Apache Hudi构建PB级数据湖实践
1. 引言 从确保准确预计到达时间到预测最佳交通路线，在Uber平台上提供安全、无缝的运输和交付体验需要可靠、高性能的大规模数据存储和分析。2016年，Uber开发了增量处理框架Apache Hudi，以低延迟和高效率为关键业务数据管道赋能。一年后，我们开源了该解决方案，以使得其他有需要的组织 ...
VS自带工具：dumpbin的使用
有时候我们想查看一个exe引用了哪些动态库，或者我们想看某个动态库包含哪些接口函数，这个时候可以使用dumpbin.exe工具： 1.输入Dumpbin -imports calldll.exe查看它的输入信息，可以看到它加载了***.dll 2.输入dumpbin –exports ...