一、背景 每天上百亿的日志数据实时查询是个挑战，在架构设计上采用了Kafka + Flink + Clickhouse+Redash，实现海量数据的实时分析。计算层，我们开发了基于Flink ...

视频地址 PyFlink 核心功能介绍 文章概述：PyFlink 的核心功能原理介绍及相关 demo 演示。 作者：程鹤群（军长）（Apache Flink Committer，阿里巴巴 ...

1，读取实现了，也是找的资料，核心就是实现了 HCatInputFormatHCatInputFormatBase 上面这两个类，底层也是 继承实现了 RichInputFormat： publ ...

代码地址 一、flink编程方法 获取执行环境（execution environment） 加载/创建初始数据集 对数据集进行各种转换操作（生成新的数据集） 指定将计算的结果放 ...

一、高性能Flink SQL优化技巧 1、Group Aggregate优化技巧 开启MicroBatch或MiniBatch（提升吞吐） MicroBatch和MiniBatch都是微批 ...

代码地址 一、Source 输入 Controlling Latency（控制延迟）默认情况下，流中的元素并不会一个一个的在网络中传输(这会导致不必要的网络流量消耗) ，而是缓存起来，缓存 的大小 ...

接一下以一个示例配置来介绍一下如何以Flink连接HDFS 1. 依赖HDFS pom.xml 添加依赖 2. 配置 HDFS 将hdf ...

说明 读取kafka数据并且经过ETL后，通过JDBC存入clickhouse中 代码 定义POJO类： ...

本文摘自书籍《Flink 基础教程》 一、一致性的三种级别 当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是“正确性级别”的另一种说法，即在成功处理故障并恢复之后得到的结果，与没 ...

实体类： mongodb工具类： MongoDBSink FlinkTest pom文件 kafka_2.11-0.10.1.0zoo ...