Flink基本架構之graph(三)


今天才知道,我之所以漂泊就是在向你靠近

一、Flink內部graph轉換圖

DataStream API(特有的)

二、graph的簡介

StreamGraph
1、根據用戶代碼生成最初的圖
2、程序拓撲
3、Client端生成

JobGraph
1、優化streamgraph
2、將多個符合條件的node chain在一起
3、Client端生成

ExecutionGraph
1、jobManager根據JobGraph生成,並行化

物理執行圖
實際執行圖,不可見
StreamGraph對象會根據代碼進行解析,將計算鏈條上的算子,根據其類型加到list中去。其中的類型父類為一下若干種:

三、graph之間的關系


可以看出streamGraph根據將streamGraph中加載的算子,按照先后順序生成一個拓撲結構的計算流程圖,然后將計算流程圖
傳送給JobManager,然后根據chain的方式,以及shuffle階段和並行度 綜合考慮將計算流程圖,根據不同sharingGroup分成不同並行的job。
JobGraph

excutionGraph

根據JobGraph的分組(slotSharingGroup)以及並行度的關系,將實際的並行度的圖進行展開,然后將展開的圖,進行具體的job生成。不同的代碼
分配到不同的機器上,指定taskslot進行計算。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM