Flink源碼閱讀（一）——Per-job之Yarn的作業調度（一）
1、前言 Flink作業提交到Yarn上之后，后續的AM的生成、Job的處理過程和Flink基本沒什么關系了，但是為大致了解Flink on yarn的Per-Job模式的整體過程，這里還是將這系列博客歸到Flink源碼閱讀系列了，本系列博客計划三篇。 本文着重分析 ...
原文：Flink源碼閱讀（一）——Flink on Yarn的Per-job模式源碼簡析
一 前言 個人感覺學習Flink其實最不應該錯過的博文是Flink社區的博文系列，里面的文章是不會讓人失望的。強烈安利：https: ververica.cn developers resources 。 本文是自己第一次嘗試寫源碼閱讀的文章，會努力將原理和源碼實現流程結合起來。文中有幾個點目前也是沒有弄清楚，若是寫在一篇博客里，時間跨度太大，但又怕后期遺忘，所以先記下來，后期進一步閱讀源碼后再添 ...
2019-10-15 01:58 0 1250 推薦指數：
相關推薦
flink源碼閱讀（概覽）
clone官方1.6.2版本flink，成功編譯。（一般PC還真跑不動，我是用服務器編譯的） 編譯完后，略微修改了一下啟動腳本后，成功跑起來。 sh bin/start-cluster.sh 紅色部分是我改過的地方： vim start-cluster.sh bin=`dirname ...
flink源碼閱讀（2）
Flink面試--源碼篇 1、Flink Job的提交流程？ 2、Flink所謂"三層圖"結構是哪幾個"圖"？ 3、JobManger在集群中扮演了什么角色？ 4、JobManger在集群啟動過程中起到什么作用 ...
Flink源碼閱讀(1.7.2)
目錄 Client提交任務 flink的圖結構 StreamGraph OptimizedPlan JobGraph ExecutionGraph flink部署與執行模型 Single Job ...
flink on yarn部分源碼解析
flink on yarn的 single job模式（每個flink job 單獨在yarn上聲明一個fl ...
Flink源碼閱讀（二）——checkpoint源碼分析
前言 在Flink原理——容錯機制一文中，已對checkpoint的機制有了較為基礎的介紹，本文着重從源碼方面去分析checkpoint的過程。當然本文只是分析做checkpoint的調度過程，只是盡量弄清楚整體的邏輯，沒有弄清楚其實現細節，還是有遺憾的，后期還是努力去分析實現細節。文中 ...
Flink的Job啟動Driver端(源碼分析)
整個Flink的Job啟動是通過在Driver端通過用戶的Envirement的execute()方法將用戶的算子轉化成StreamGraph 然后得到JobGraph通過遠程RPC將這個JobGraph提交到JobManager對應的接口 JobManager轉化成 ...
Flink的Job啟動TaskManager端(源碼分析)
前面說到了 Flink的TaskManager啟動(源碼分析) 啟動了TaskManager 然后 Flink的Job啟動JobManager端(源碼分析) 說到JobManager會將轉化得到的TDD發送到TaskManager的RPC 這篇主要就講一下，Job ...