Flink1.3.1+Hudi0.10初探
由于业务需要调研数据湖的使用，这里以Hudi0.10为例，使用的是CDH6.2.1的集群。 一、编译Hudi0.10 在centos7上编译，需要配置maven，安装scala环境和docker环境，使用集群环境为CDH6.2.1 maven配置 ...
原文：实战案例：Flink1.3.1 ON Hudi0.10，同步数据到Hive
由于业务需要调研数据湖的使用，这里以Hudi . 为例，使用的是CDH . . 的集群。 一 编译Hudi . 在centos 上编译，需要配置maven，安装scala环境和docker环境，使用集群环境为CDH . . maven配置 下载hudi . 的源码包进行编译 二 配置Flink环境 . . 将hudi flink bundle . . . SNAPSHOT.jar和hadoop m ...
2022-02-22 14:52 2 1445 推荐指数：
相关推荐
Spark2.4-cdh6.2.1集成hudi0.10初探
一、hudi编译 1）下载0.10版本的hudi，因为cdh6..2自带spark是2.4.0版本的，需要改下代码，注释掉整个if内容，否则会报错 2）将编译完成的hudi-spark-bundle_2.11-0.10.0.jar放到spark home的jars下 ...
Hudi-通过Hive查询hudi表数据
环境准备 集成jar包：hudi-hadoop-mr-bundle-0.10.1.jar，放入$HIVE_HOME/lib目录下 建外部表 手动加入分区 查看分区 SHOW PARTITIONS db_hudi.tbl_hudi ...
项目实战 从 0 到 1 学习之 Flink（8）大数据之Hudi + Kylin的准实时数仓实现
问题导读：1、数据库、数据仓库如何理解？2、数据湖有什么用途？解决什么问题？3、数据仓库的加载链路如何实现？4、Hudi新一代数据湖项目有什么优势？在近期的 Apache Kylin × Apache Hudi Meetup 直播上，Apache Kylin PMC Chair 史少锋 ...
Hudi-Flink CDC将MySQL数据写入hudi
CDC概念 CDC全称是Change data Cpature，即变更数据捕获，主要面向数据库的变更，是数据库领域非常常见的技术，主要用于捕获数据库的一些变更，然后可以把变更数据发送到下游。 CDC类型 1.基于查询的，客户端会通过SQL方式 ...
Hudi-Flink SQL实时读取Hudi表数据
代码如下（hudi表实时写入参考上一篇[Hudi-Flink消费kafka将增量数据实时写入Hudi]） ...
Flink数据倾斜调优实战案例解析
案例功能说明 通过socketTextStream读取9999端口数据，统计在一定时间内不同类型商品的销售总额度，如果持续销售额度为0，则执行定时器通知老板，是不是卖某种类型商品的员工偷懒了（只做功能演示，根据个人业务来使用，比如统计UV等操作）。 案例代码 使用 ...
项目实战从 0 到 1 学习之Flink （16）Flink DataStream之Kafka数据写入HDFS，并分区到Hive
因业务要求，我们需要从Kafka中读取数据，变换后最终Sink到业务的消息队列中，为保证数据的可靠性，我们同时对Sink的结果数据，进行保存。最终选择将流数据Sink到HDFS上，在Flink中，同时也提供了HDFS Connector。下面就介绍如何将流式数据写入HDFS，同时将数据 ...