Flink从入门到精通(二) - 安装和部署


1. 本地模式

 

建议环境:
Linux: CentOS 6.x版本
(笔者用的是macOS Catalina)
JDK: 8以上版本(需要配置好JAVA_HOME)
(笔者用的是JDK14)

 

1-1) 从官网下载Flink安装包

笔者使用的是flink-1.10.1-bin-scala_2.12.tgz

解压安装包,拷贝到/usr/local目录下

1-2) 配置bash脚本

编辑bash配置文件:

(Mac) vi ~/.bash_profile

(CentOS) vi /etc/profile

添加FLINK_HOME
# flink
export FLINK_HOME=/usr/local/flink-1.10.1
export PATH=$PATH:$FLINK_HOME/bin

保存

(Mac) source ~/.bash_profile
(CentOS) source /etc/profile

1-3) 启动Flink

start-cluster.sh

运行结果:
Starting cluster.
Starting standalonesession daemon on host KGdeMacBook-Pro.local.
Starting taskexecutor daemon on host KGdeMacBook-Pro.local.

访问http://localhost:8081/

 

 

 

 

1-4) 关闭Flink

stop-cluster.sh

运行结果:
Stopping taskexecutor daemon (pid: 6058) on host KGdeMacBook-Pro.local.
Stopping standalonesession daemon (pid: 5791) on host KGdeMacBook-Pro.local.

 

2. Standalone集群模式

Standalone模式是Flink的独立部署模式,它不依赖于其它平台。
如果想搭建一套独立的Flink集群,可以考虑使用这种模式。

规划集群信息:

节点名 机器名
Master   master
Slave1 data1
Slave2 data2

 

 

 

 

 

注: 3台机器都安装了JDK8以上版本,配置了JAVA_HOME, 并且配置了各节点之间ssh免密登陆。

Master运行JobManager进程
Slave运行TaskManager进程

笔者的3台机器虚拟机配置如下:

节点名 操作系统 JDK版本
master Ubuntu 18 JDK8
data1 Ubuntu 18 JDK8
data2 Ubuntu 18 JDK8


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM