Flink 集群安裝配置


以下操作均在主節點進行

1.環境變量

添加FLINK_HOME以及path的內容:

export FLINK_HOME=/bigdata/flink-1.6.1

export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$KAFKA_HOME/bin:${FLINK_HOME}/bin

2.修改conf/flink-conf.yaml

這幾乎是最簡單的配置方式了,主要注意要修改jobmanager.rpc.address為集群中jobManager的IP或hostname。檢查點以及HA的參數都沒有配置。

jobmanager.rpc.address: master

3.修改slaves文件

這個文件中存放的信息是taskmanager的hostname。

4.復制flink目錄到集群中其他的機器

[root@master ~]# scp -r /bigdata/flink-1.6.1/ root@192.168.36.27:/bigdata/
[root@master ~]# scp -r /bigdata/flink-1.6.1/ root@192.168.36.28:/bigdata/

5.啟動Flink集群

先啟動zookeeper、kafka、HDfS。

啟動Flink:[root@master ~]# start-cluster.sh

master:

[root@master ~]# jps 961 Kafka
22306 QuorumPeerMain
16786 ResourceManager
858 StandaloneSessionClusterEntrypoint
15996 SecondaryNameNode
1404 TaskManagerRunner
13853 NameNode
32701 DataNode
431 Jps

worker1:

[root@worker1 ~]# jps
32372 StandaloneSessionClusterEntrypoint
25285 Kafka
19046 QuorumPeerMain
16726 Jps
8137 NodeManager
5660 DataNode
351 TaskManagerRunner

worker2:

[root@worker2 ~]# jps
14592 TaskManagerRunner
7602 NodeManager
18388 QuorumPeerMain
4984 DataNode
14139 StandaloneSessionClusterEntrypoint
16060 Jps
23422 Kafka

關閉Flink:[root@master ~]# stop-cluster.sh

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM