Flink源码阅读（一）——Per-job之Yarn的作业调度（一）
1、前言 Flink作业提交到Yarn上之后，后续的AM的生成、Job的处理过程和Flink基本没什么关系了，但是为大致了解Flink on yarn的Per-Job模式的整体过程，这里还是将这系列博客归到Flink源码阅读系列了，本系列博客计划三篇。 本文着重分析 ...
原文：Flink源码阅读（一）——Flink on Yarn的Per-job模式源码简析
一 前言 个人感觉学习Flink其实最不应该错过的博文是Flink社区的博文系列，里面的文章是不会让人失望的。强烈安利：https: ververica.cn developers resources 。 本文是自己第一次尝试写源码阅读的文章，会努力将原理和源码实现流程结合起来。文中有几个点目前也是没有弄清楚，若是写在一篇博客里，时间跨度太大，但又怕后期遗忘，所以先记下来，后期进一步阅读源码后再添 ...
2019-10-15 01:58 0 1250 推荐指数：
相关推荐
flink源码阅读（概览）
clone官方1.6.2版本flink，成功编译。（一般PC还真跑不动，我是用服务器编译的） 编译完后，略微修改了一下启动脚本后，成功跑起来。 sh bin/start-cluster.sh 红色部分是我改过的地方： vim start-cluster.sh bin=`dirname ...
flink源码阅读（2）
Flink面试--源码篇 1、Flink Job的提交流程？ 2、Flink所谓"三层图"结构是哪几个"图"？ 3、JobManger在集群中扮演了什么角色？ 4、JobManger在集群启动过程中起到什么作用 ...
Flink源码阅读(1.7.2)
目录 Client提交任务 flink的图结构 StreamGraph OptimizedPlan JobGraph ExecutionGraph flink部署与执行模型 Single Job ...
flink on yarn部分源码解析
flink on yarn的 single job模式（每个flink job 单独在yarn上声明一个fl ...
Flink源码阅读（二）——checkpoint源码分析
前言 在Flink原理——容错机制一文中，已对checkpoint的机制有了较为基础的介绍，本文着重从源码方面去分析checkpoint的过程。当然本文只是分析做checkpoint的调度过程，只是尽量弄清楚整体的逻辑，没有弄清楚其实现细节，还是有遗憾的，后期还是努力去分析实现细节。文中 ...
Flink的Job启动Driver端(源码分析)
整个Flink的Job启动是通过在Driver端通过用户的Envirement的execute()方法将用户的算子转化成StreamGraph 然后得到JobGraph通过远程RPC将这个JobGraph提交到JobManager对应的接口 JobManager转化成 ...
Flink的Job启动TaskManager端(源码分析)
前面说到了 Flink的TaskManager启动(源码分析) 启动了TaskManager 然后 Flink的Job启动JobManager端(源码分析) 说到JobManager会将转化得到的TDD发送到TaskManager的RPC 这篇主要就讲一下，Job ...