前面說到了 Flink的TaskManager啟動(源碼分析) 啟動了TaskManager
然后 Flink的Job啟動JobManager端(源碼分析) 說到JobManager會將轉化得到的TDD發送到TaskManager的RPC
這篇主要就講一下,Job在TaskManager端是如何啟動的
先來看一下,TaskManager端用來接收JobManager發送過來的TDD對象的RPC接口
在TaskExecutor.java中
這個方法用於接收了一個TaskDeploymentDescriptor對象用於啟動任務(上一篇知道這里executionGraph的每一個並行度都會調用deploy方法生成一個TDD)
來看一下具體接收到以后做了什么
創建了一個Task並且將其內部的一個線程啟動起來了
注意這里從TDD中得到了InputGate,Partition的信息,用於創建InputGate,ResultPartition
InputGate用於對接上游產生的數據(消費)
ResultPartition用於往下游發送自己產生的數據(生產)
來看一下Task創建,在Task的構造方法中
這里看到創建了對應往下游發送數據的ResultPartition
ResultPartition中創建的SubPartition具體分為
可以看到就是說三個參數分別對應
PIPELINED 可以邊消費邊生產,是有背壓的,這個partition沒有buffer數量的限制
(因為背壓的控制是通過,接收數據端公用同一個指定大小的bufferPool,以后背壓的時候講)
其他同理
這里看一下不同類型的ResultPartitionType是創建的什么subpartitions
BLOCKING 這種創建了一個SpillableSubpartition並且傳進去了一個ioManager(這個ioManager以后io管理細講)
大致看了一下就是說這種Subpartition是會落盤的
PIPELINED 而這種方式是完全基於內存的
根據上游的信息創建好ResultPartition以后
接着創建了InputGate用於接收上游的數據,並且在create方法中
會根據partition的位置創建對應的channel,這里可以分為
Local 就是說下游和自己是在同一台機器
Remote 下游是需要通過網絡發送的
並且在這里將inputGate和它所有的inputChannels關聯了起來
創建完inputGate以后Task就初始化完了,然后會被start()起來,來看下Task的run方法
在run方法中
這個地方會為初始化inputGate與ResultPartition的bufferPool(以后講到反壓在講)
繼續
這里通過反射創建了一個StreamTask的實例
並且
調用了他的invoke()方法,這里也是Job開始的邏輯,來看一下invoke方法
在invoke方法中
只要知道這里會初始化OperatorChain這里包含了我們用戶算子的邏輯(這里不細講,隨緣講到Task操作責任鏈的時候講)
然后得到了operatorChain的頭headoperator其實這里的頭就包含了用戶的第一個算子邏輯在里面
然后init()方法中用上面的headoperator初始化了一個inputProcess對象並且關聯上了上面創建的inputGate(也是留到責任鏈講)
接着
這里就是上面在init方法中創建的inputProcess,並且調用了他的processInput方法
重頭戲來了,來看一下processInput方法
這里有個while(true)也就是說這里會一直循環下去
來看一下他循環做什么
這里!!!!這個streamOperator就是上面構造inputProcess時傳入的headOperator
這個processElement方法里面就是調用用戶的方法啦
也就是不停的從上游接收到數據以后,調用用戶具體的處理邏輯
這里job就啟動完成了
注意這個while循環內既然開始走我們用戶的邏輯,那肯定會先從inputGate關聯到的上游獲取數據
這里就非常重要了,因為接收數據就包含了很多的機制的實現
包含了watermark處理的邏輯,水印對齊的邏輯,水印更新的邏輯,如下
以及idle停滯流邏輯,流狀態更新邏輯
以及如何接收數據邏輯,接收端反壓的邏輯,barriers對齊的邏輯,checkpoint觸發的邏輯
所以這個StreamInputProcessor.processInput()方法是一個非常重要的方法,以后隨緣更新各種機制的時候也會經常看到