公司主要做的事物联网和数字孪生，下半年我们项目要接入大数据，要进行处理再整合Drools，进行规则预警。最近几个月一直在忙pmp考试和平时工作，也没有进行学习整理，最近就开始学习flink和kafka，记点笔记。 Flink组件栈 一个计算框架要有长远的发展，必须打造一个完整的 Stack ...

前言 Flink 是一种流式计算框架，为什么我会接触到 Flink 呢？因为我目前在负责的是监控平台的告警部分，负责采集到的监控数据会直接往 kafka 里塞，然后告警这边需要从 kafka topic 里面实时读取到监控数据，并将读取到的监控数据做一些 聚合/转换/计算 等操作 ...

1. 系统架构 Flink是一个分布式系统，用于有状态的并行数据流处理。也就是说，Flink会分布式地运行在多个机器上。在分布式系统中，常见的挑战有：如何对集群中的资源进行分配与管理、协调进程、数据存储的高可用、以及异常恢复。 Flink自身并未实现这些功能，而仅关注在它自身的核心 ...

今天才知道，我之所以漂泊就是在向你靠近 一、Flink内部graph转换图 DataStream API（特有的） 二、graph的简介 StreamGraph 1、根据用户代码生成最初的图 2、程序拓扑 3、Client端生成 JobGraph 1、优化 ...

Flink系列博客，基于Flink1.6，打算分为三部分：原理、源码、实例以及API使用分析，后期等系列博客完成后再弄一个目录。 该系列博客是我自己学习过程中的一些理解，若有不正确、不准确的地方欢迎大伙留言分享。文中引用均已标注，若有侵权，请联系我，立马删除！ 1、前言 　　在讲 ...

状态管理 之前我们提到过大多数流应用是有状态的。很多operators会不断的访问并更新某中状态，例如一个window中收集了多少条记录，输入源中当前读到的位置，亦或是用户定义的特定operators的状态。无论是内置的operator还是用户定义的operators，Flink对待 ...

序 工作中用Flink做批量和流式处理有段时间了，感觉只看Flink文档是对Flink ProgramRuntime的细节描述不是很多， 程序员还是看代码最简单和有效。所以想写点东西，记录一下，如果能对别人有所帮助，善莫大焉。 说一下我的工作，在一个项目里 ...

行内大数据平台流计算： 一个作业启动一个flink集群，各个作业的flink集群是隔离的，在web ui点击cancel后将job cancel掉，同时将集群终止，将作业终止。 on k8s：一个tm一个slot。 on yarn：一个tm可有多个slot。 kafka topic ...