Flink-1.10中的StreamingFileSink相关特性
一切新知识的学习，都离不开官网得相关阅读，那么StreamingFileSink的官网介绍呢？ https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/connectors/streamfile_sink.html ...
原文：【源码】Flink StreamingFileSink 处理流程
前两天试了下 Flink SQL 写 Hive，对 Sink 部分写数据到 HDFS 的部分比较疑惑，特别是基于 checkpoint 的文件提交，所以看了下 StreamingFileSink 的源码 Flink SQL 写 hive 复用了这部分代码 StreamingFileSink 是 . 版本社区优化后推出的，为了替换 BucketingSink，BucketingSink 在 Flin ...
2020-10-20 17:41 0 1423 推荐指数：
相关推荐
Flink FileSink 自定义输出路径——StreamingFileSink、BucketingSink 和 StreamingFileSink简单比较
接上篇：Flink FileSink 自定义输出路径——BucketingSink 上篇使用BucketingSink 实现了自定义输出路径，现在来看看 StreamingFileSink( 据说是StreamingFileSink 是社区优化后添加的connector，推荐使用 ...
【源码】flink 窗口数据触发清理流程
前言： Flink 窗口会将当前窗口的数据存储在状态中，等待窗口结束的时候触发计算，那窗口状态什么时候清理？ （前提： 窗口的主要逻辑是在 WindowOperator 中完成的） 翻一下 WindowOperator 的代码，可以看到下面这个方法，“Drops all state ...
【源码解析】Flink 是如何处理迟到数据
相信会看到这篇文章的都对Flink的时间类型（事件时间、处理时间、摄入时间）和Watermark有些了解，当然不了解可以先看下官网的介绍：https://ci.apache.org/projects/flink/flink-docs-master/dev/event_time.html ...
flink源码解析（1）透过源码看懂Flink核心框架的执行流程
前言 Flink是大数据处理领域最近很火的一个开源的分布式、高性能的流式处理框架，其对数据的处理可以达到毫秒级别。本文以一个来自官网的WordCount例子为引，全面阐述flink的核心架构及执行流程，希望读者可以借此更加深入的理解Flink逻辑。 本文跳过了一些基本概念，如果对相关概念 ...
Flink源码剖析：Jar包任务提交流程
Flink基于用户程序生成JobGraph，提交到集群进行分布式部署运行。本篇从源码角度讲解一下Flink Jar包是如何被提交到集群的。(本文源码基于Flink 1.11.3) 1 Flink run 提交Jar包流程分析 首先分析run脚本可以找到入口类CliFrontend ...
Flink CDC 2.0 数据处理流程全面解析
Interface 的设计及对Debezium Api的不了解。本文重点对 Flink CDC 的处理逻 ...
源码解析Java Attach处理流程
前言 当Java程序运行时出现CPU负载高、内存占用大等异常情况时，通常需要使用JDK自带的工具jstack、jmap查看JVM的运行时数据，并进行分析。 什么是Java Attach 那么JV ...