1. 本地模式
建議環境:
Linux: CentOS 6.x版本
(筆者用的是macOS Catalina)
JDK: 8以上版本(需要配置好JAVA_HOME)
(筆者用的是JDK14)
1-1) 從官網下載Flink安裝包
筆者使用的是flink-1.10.1-bin-scala_2.12.tgz
解壓安裝包,拷貝到/usr/local目錄下
1-2) 配置bash腳本
編輯bash配置文件:
(Mac) vi ~/.bash_profile
(CentOS) vi /etc/profile
添加FLINK_HOME
# flink
export FLINK_HOME=/usr/local/flink-1.10.1
export PATH=$PATH:$FLINK_HOME/bin
保存
(Mac) source ~/.bash_profile
(CentOS) source /etc/profile
1-3) 啟動Flink
start-cluster.sh
運行結果:
Starting cluster.
Starting standalonesession daemon on host KGdeMacBook-Pro.local.
Starting taskexecutor daemon on host KGdeMacBook-Pro.local.
訪問http://localhost:8081/
1-4) 關閉Flink
stop-cluster.sh
運行結果:
Stopping taskexecutor daemon (pid: 6058) on host KGdeMacBook-Pro.local.
Stopping standalonesession daemon (pid: 5791) on host KGdeMacBook-Pro.local.
2. Standalone集群模式
Standalone模式是Flink的獨立部署模式,它不依賴於其它平台。
如果想搭建一套獨立的Flink集群,可以考慮使用這種模式。
規划集群信息:
節點名 | 機器名 |
Master | master |
Slave1 | data1 |
Slave2 | data2 |
注: 3台機器都安裝了JDK8以上版本,配置了JAVA_HOME, 並且配置了各節點之間ssh免密登陸。
Master運行JobManager進程
Slave運行TaskManager進程
筆者的3台機器虛擬機配置如下:
節點名 | 操作系統 | JDK版本 |
master | Ubuntu 18 | JDK8 |
data1 | Ubuntu 18 | JDK8 |
data2 | Ubuntu 18 | JDK8 |