【大數據】flink 1.10.1 安裝

目錄

• 1.環境
• 2.下載軟件
  • 2.1 下載flink
  • 2.2 集成 hadoop
• 3.standalone 集群模式配置多台機器
  • 3.1 配置 masters
  • 3.2 配置 slaves
  • 3.4 配置 flink 相關參數
  • 3.5 將 flink文件夾 復制到所有的 slave 機器
  • 3.6 啟動 standalone 集群
  • 3.7 訪問 http://172.16.122.20:8088/
  • 3.8 運行 flink demo
• 4.yarn 模式
  • 4.1 standalone 集群模式
  • 4.2 yarn-session 模式
  • 4.3 yarn per-job 模式
• 5.一些注意點

1.環境

centos7 + flink 1.10.1 + Hadoop 2.6.0-cdh5.16.1

2.下載軟件

2.1 下載flink

# 下載 flink
wget https://mirror.bit.edu.cn/apache/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz
# 解壓
tar -zxf flink-1.10.1-bin-scala_2.11.tgz
# 重命名
mv flink-1.10.1-bin-scala_2.11.tgz flink

2.2 集成 hadoop

# 下載 對應版本的 flink-shaded-hadoop.jar
wget https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.6.5-10.0/flink-shaded-hadoop-2-uber-2.6.5-10.0.jar
# 移到到 flink/lib/
mv flink-shaded-hadoop-2-uber-2.6.5-10.0.jar flink/lib/
# 添加 HADOOP_CONF_DIR 環境變量
vi /etc/profile
HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hadoop/etc/hadoop

3.standalone 集群模式配置多台機器

3.1 配置 masters

vi conf/masters # 注意端口要和 conf/flink-conf.yaml 的 rest.port 一致，默認 8081

3.2 配置 slaves

vi conf/slaves 

3.4 配置 flink 相關參數

vi conf/flink-conf.yaml 
# 調優參數很多，主要注意下面這兩個
jobmanager.rpc.address: gfdatastandby  # 需要配置到統一的 master
rest.port: 8088   # 默認 8081, 如果端口占用，可以更改此端口

3.5 將 flink文件夾 復制到所有的 slave 機器

scp -r flink root@gfdata07:/opt/soft/

3.6 啟動 standalone 集群

./bin/start-cluster.sh 

3.7 訪問 http://172.16.122.20:8088/

3.8 運行 flink demo

./bin/flink run examples/streaming/WordCount.jar

4.yarn 模式

4.1 standalone 集群模式

啟動 standalone 集群

./bin/start-cluster.sh 

停止 standalone 集群

./bin/stop-cluster.sh 

4.2 yarn-session 模式

./bin/yarn-session.sh -jm 1024m -tm 4096m

4.3 yarn per-job 模式

./bin/flink run -m yarn-cluster -p 4 -yjm 1024m -ytm 4096m ./examples/batch/WordCount.jar

5.一些注意點

standalone 集群模式配置多台機器的模式下，在 master 運行 yarn-session 、yarn per-job 模式均會報錯；在 slave 可以運行 yarn-session 、yarn per-job 模式