flink源碼閱讀(概覽)


clone官方1.6.2版本flink,成功編譯。(一般PC還真跑不動,我是用服務器編譯的)

編譯完后,略微修改了一下啟動腳本后,成功跑起來。

sh bin/start-cluster.sh 

紅色部分是我改過的地方:

vim start-cluster.sh

bin=`dirname "$0"`
bin=`cd "$bin"; pwd`
FLINK_BIN_DIR=$bin
cd $bin

. config.sh

 

啟動成功后就可以看界面,也可以運行job了。

 

flink的源碼大部分是java寫的,少部分是scala寫的(運行時模塊)

 

入口類(啟動后兩個進程,兩個入口類):
org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint
org.apache.flink.runtime.taskexecutor.TaskManagerRunner

 

再介紹一下基本概念Stream和DataSet,前者用於流處理,后者用於批處理。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM