flink源码阅读(概览)


clone官方1.6.2版本flink,成功编译。(一般PC还真跑不动,我是用服务器编译的)

编译完后,略微修改了一下启动脚本后,成功跑起来。

sh bin/start-cluster.sh 

红色部分是我改过的地方:

vim start-cluster.sh

bin=`dirname "$0"`
bin=`cd "$bin"; pwd`
FLINK_BIN_DIR=$bin
cd $bin

. config.sh

 

启动成功后就可以看界面,也可以运行job了。

 

flink的源码大部分是java写的,少部分是scala写的(运行时模块)

 

入口类(启动后两个进程,两个入口类):
org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint
org.apache.flink.runtime.taskexecutor.TaskManagerRunner

 

再介绍一下基本概念Stream和DataSet,前者用于流处理,后者用于批处理。

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM