一、依賴文件安裝
1.1 JDK
參見博文:http://www.cnblogs.com/liugh/p/6623530.html
二、文件准備
2.1 文件名稱
flink-1.3.2-bin-hadoop27-scala_2.11.tgz
2.2 下載地址
http://flink.apache.org/downloads.html
三、工具准備
3.1 Xshell
一個強大的安全終端模擬軟件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 協議。
Xshell 通過互聯網到遠程主機的安全連接以及它創新性的設計和特色幫助用戶在復雜的網絡環境中享受他們的工作。
3.2 Xftp
一個基於 MS windows 平台的功能強大的SFTP、FTP 文件傳輸軟件。
使用了 Xftp 以后,MS windows 用戶能安全地在UNIX/Linux 和 Windows PC 之間傳輸文件。
四、部署圖
五、Flink安裝
以下操作,均使用root用戶
5.1 通過Xftp將下載下來的Flink安裝文件上傳到Master的/usr目錄下
5.2 通過Xshell連接到虛擬機,在Master上,執行如下命令,解壓文件:
# tar zxvf flink-1.3.2-bin-hadoop27-scala_2.11.tgz
5.3 在Master上,使用Vi編輯器,設置環境變量
# vi /etc/profile
在文件最后,添加如下內容:
#Flink Env
export FLINK_HOME=/usr/flink-1.3.2
export PATH=$PATH:$FLINK_HOME/bin
5.4 退出vi編輯器,使環境變量設置立即生效
# source /etc/profile
通過scp命令,將/etc/profile拷貝到兩個Slave節點:
#scp /etc/profile root@DEV-SH-MAP-02:/etc
#scp /etc/profile root@DEV-SH-MAP-03:/etc
分別在兩個Salve節點上執行# source /etc/profile使其立即生效
六、Flink配置
以下操作均在Master節點,配置完后,使用scp命令,將所有文件拷貝到兩個Worker節點即可。
切換到/usr/flink-1.3.2/conf目錄下,修改如下文件:
6.1 flink-conf.yaml
#JobManager的地址
jobmanager.rpc.address: DEV-SH-MAP-01
#JobManager Java 堆大小
jobmanager.heap.mb: 1024
#TaskManager Java 堆大小
taskmanager.heap.mb: 1024
taskmanager.numberOfTaskSlots: 2
6.2 masters
這個文件中存放的信息是JobManager的HostName,使用vi編輯器,打開masters,在文件最后,添加如下內容:
DEV-SH-MAP-01:8081
6.3 slaves
這個文件中存放的信息是TaskManager的HostName,使用vi編輯器,打開slaves,在文件最后,添加如下內容:
DEV-SH-MAP-01 DEV-SH-MAP-02 DEV-SH-MAP-03
6.4 拷貝配置文件到兩個Worker節點
在Master節點,執行如下命令:
# scp -r /usr/flink-1.3.2/ root@DEV-SH-MAP-02:/usr/
# scp -r /usr/flink-1.3.2/ root@DEV-SH-MAP-03:/usr/
七、Flink使用
7.1 啟動
Master節點上,執行如下命令:
#start-cluster.sh
在Master節點上,使用jps命令,查看Java進程:
41361 JobManager
41724 TaskManager
在Worker節點上,使用jps命令,查看Java進程:
37723 TaskManager
7.3 通過瀏覽器查看Flink信息
瀏覽器中,輸入http://10.10.0.1:8081
7.4 停止節點
#stop-cluster.sh