Flink on Yarn -CDH5部署
1.1 Flink模式
Flink有開發模式，Local-cluster模式，Standalone模式，Yarn模式
這里我們搭建在CDH集群上，我們采Flink on Yarn，由Yarn統一管理集群資源
1.2 Yarn模式部署
獨立部署（Standalone）模式由Flink自身提供計算資源，無需其他框架提供資源，這種方式降低了和其他第三方資源框架的耦合性，獨立性非常強。
但是Flink主要是計算框架，而不是資源調度框架，所以本身提供的資源調度並不是它的強項，所以還選擇Yarn模式。把Flink應用提交給Yarn的ResourceManager, Yarn的ResourceManager會申請容器從Yarn的NodeManager上面. Flink會創建JobManager和TaskManager在這些容器上.Flink會根據運行在JobManger上的job的需要的slot的數量動態的分配TaskManager資源
1.2.1 Yarn模式配置
-
下載Flink1.12.0的安裝包
https://archive.apache.org/dist/flink/flink-1.12.0/
-
上傳到/opt目錄下，解壓，重命名
mv ink-1.12.0 flink-yarn -
配置環境變量HADOOP_CLASSPATH和HADOOP_CONF_DIR。
新建/etc/profile.d/my.sh文件，並在其中添加配置export HADOOP_CLASSPATH=`hadoop classpath` export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn/分發環境變量到要安裝的3個節點上，並分別執行如下命令，使之生效
source /etc/profile.d/my.sh
1.2.2 Yarn模式高可用
Yarn模式的高可用和Standalone模式的高可用原理不一樣。
Standalone模式中, 同時啟動多個Jobmanager, 一個為leader其他為standby的, 當leader掛了, 其他的才會有一個成為leader。（依賴）
yarn的高可用是同時只啟動一個Jobmanager, 當這個Jobmanager掛了之后, yarn會再次啟動一個, 其實是利用的yarn的重試次數來實現的高可用.
-
登錄CDH管理客戶端，進入yarn配置，搜索框輸入：max-attempts，將ApplicationMaster重試次數修改為4
-
回到主頁面重啟相關的組件
-
在flink-conf.yaml中添加配置
yarn.application-attempts: 3 high-availability: zookeeper high-availability.storageDir: hdfs://mn1.bigdata.newcapec.org:8020/flink/yarn/ha high-availability.zookeeper.quorum: cm.bigdata.newcapec.org:2181,mn1.bigdata.newcapec.org:2181,mn2.bigdata.newcapec.org:2181 high-availability.zookeeper.path.root: /flink-yarn high-availability.cluster-id: /cluster_flink_yarn -
修改bin/yarn-session.sh，添加配置
#操作hdfs的用戶
export HADOOP_USER_NAME=hdfs
-
將/opt/flink-yarn/ 文件夾同步到另外2台節點上
-
在其中一台啟動yarn-session
bin/yarn-session.sh -d -
啟動一個編寫好的任務。/opt/flink-yarn目錄下jar包已上傳
一個窗口使用9899端口發送數據
進入/opt/flink-yarn目錄下啟動任務
bin/flink run -c com.along.pratice.BoundedStreamWorldCount ./flink01-1.0-SNAPSHOT.jar
-
根據提示訪問Flink頁面
-
產看任務運行結果
-
驗證高可用
打開yarn webUI，查看任務列表，找到Flink session cluster，查找JobManager進程所在的節點![image-20210420164016281]
進入任務.可知在dn3上
連接dn3，輸入jps命令
29618 YarnSessionClusterEntrypoint
殺掉29618進程
[root@dn3 ~]# kill -9 29618
刷新任務頁面
連接dn2，發現JobManager進程YarnSessionClusterEntrypoint已經啟動
root@dn2 ~]# jps
5376 Application
23378 YarnChild
26676 YarnSessionClusterEntrypoint