原文:Flink源码阅读(1.7.2)

目录 Client提交任务 flink的图结构 StreamGraph OptimizedPlan JobGraph ExecutionGraph flink部署与执行模型 Single Job JobManager ResourceManager TaskManager YARN Dispatcher JobMaster YarnTaskExecutorRunner 源码分析 flink源码阅 ...

2019-03-21 21:49 0 2556 推荐指数:

查看详情

flink源码阅读(概览)

clone官方1.6.2版本flink,成功编译。(一般PC还真跑不动,我是用服务器编译的) 编译完后,略微修改了一下启动脚本后,成功跑起来。 sh bin/start-cluster.sh 红色部分是我改过的地方: vim start-cluster.sh bin=`dirname ...

Wed Oct 31 02:33:00 CST 2018 0 1311
flink源码阅读(2)

Flink面试--源码篇 1、Flink Job的提交流程? 2、Flink所谓"三层图"结构是哪几个"图"? 3、JobManger在集群中扮演了什么角色? 4、JobManger在集群启动过程中起到什么作用 ...

Fri May 08 07:03:00 CST 2020 1 568
flink 1.7.2 安装详解

##flink 1.7.2 安装需要java环境 下载地址 https://flink.apache.org/downloads.html#1、单机版 #创建用户flinkuseradd flink -d /home/flinkecho "flink123" | passwd flink ...

Thu Jun 27 01:52:00 CST 2019 0 641
Flink源码阅读(二)——checkpoint源码分析

前言   在Flink原理——容错机制一文中,已对checkpoint的机制有了较为基础的介绍,本文着重从源码方面去分析checkpoint的过程。当然本文只是分析做checkpoint的调度过程,只是尽量弄清楚整体的逻辑,没有弄清楚其实现细节,还是有遗憾的,后期还是努力去分析实现细节。文中 ...

Wed Oct 30 10:33:00 CST 2019 0 574
Flink源码阅读(一)--Checkpoint触发机制

Checkpoint触发机制   Flink的checkpoint是通过定时器周期性触发的。checkpoint触发最关键的类是CheckpointCoordinator,称它为检查点协调器。   CheckpointCoordinator主要作用是协调operators ...

Thu Jun 28 07:07:00 CST 2018 0 5266
Flink1.7.2安装部署的几种方式

原文链接:https://blog.csdn.net/a_drjiaoda/article/details/88037282 前言:Flink的运行一般分为三种模式,即local、Standalone、On Yarn。 在安装Flink之前,需要对安装环境进行检查。本文是建立在 ...

Sun Sep 29 19:13:00 CST 2019 0 678
Flink源码阅读(一)——Per-job之Yarn的作业调度(一)

1、前言   Flink作业提交到Yarn上之后,后续的AM的生成、Job的处理过程和Flink基本没什么关系了,但是为大致了解Flink on yarn的Per-Job模式的整体过程,这里还是将这系列博客归到Flink源码阅读系列了,本系列博客计划三篇。   本文着重分析 ...

Tue May 12 07:58:00 CST 2020 0 857
Flink源码阅读(一)——Flink on Yarn的Per-job模式源码简析

一、前言   个人感觉学习Flink其实最不应该错过的博文是Flink社区的博文系列,里面的文章是不会让人失望的。强烈安利:https://ververica.cn/developers-resources/。     本文是自己第一次尝试写源码阅读的文章,会努力将原理和源码实现流程结合起来 ...

Tue Oct 15 09:58:00 CST 2019 0 1250
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM