Flink的部署

環境准備：windows7系統，本地連接。如果打開更改適配器設置后沒有本地連接，可以通過驅動精靈等軟件安裝網卡驅動。為了使部署在虛擬機上的服務器可以與物理機進行連通，必須使物理機的網卡和虛擬機上服務器的網卡在同一個網段上，在此我們規定一個網段192.168.0.*為標准，我的物理機的IP地址是192.168.0.99。根據以下的附圖對網絡進行配置。

 

 

1.windows下安裝VMware並且在VMware上新建三台虛擬機，分別在這三台虛擬機上安裝Ubuntu16.04 Server版系統，虛擬機上的網絡設置采用橋接模式。

2.使用命令vim /etc/network/interfaces對文件interfaces中的網卡信息進行修改。

 

如下附圖為服務器上所要配置的網卡的信息，我的服務器的IP地址為192.168.0.103

 

按照同樣的方法配置另外兩台服務器，它們的IP地址分別為192.168.0.104,192.168.0.105

測試連通性：在一台服務器上使用命令ping 192.168.0.104去ping另外一台服務器，產生如下附圖的效果即為拼接成功。三台服務器相互ping都可以拼接成功。

服務器上的環境：為三台Ubuntu服務器配置Java環境，jdk的版本要求為1.8或者更高，本實例的flink集群有三個節點，一主兩從。Flink 有三種部署模式，分別是 Local、Standalone Cluster 和 Yarn Cluster。對於 Local 模式來說，JobManager 和 TaskManager 共用一個 JVM，Local模式的部署請點擊http://www.jianshu.com/p/26c9ef86fb19。如果要驗證一個簡單的應用，Local 模式是最方便的。實際應用中大多使用 Standalone 或者 Yarn Cluster。

模式一：單節點的Local模式

1.在http://flink.apache.org/downloads.html網站上下載需要的flink版本，我下載的如下附圖所示。

2.將tar包解壓后放置到/opt/data下，進入flink目錄，使用命令bin/start-local.sh運行flink，根據你的IP地址localhost:8081，進入flink的前端界面如下附圖所示即為啟動flink成功。

 

 

模式二：多節點的Standalone模式

1.在http://archive.apache.org/dist/flink/flink-1.3.2/上下載flink的版本，我下載的如下圖附圖所示的版本的tar包。

 

2.使用命令tar -zxvf flink-1.3.2-bin-hadoop26-scala_2.11.tgz對flink的tar包進行解壓，並將解壓后的文件改名為flink且將其安放到/usr/local/java/目錄下。（flink的安放目錄根據每個人的不同情況可進行自定義）

在flink目錄下，使用命令vim conf/flink-conf.yaml，增加master節點的IP地址，修改jobmanager.rpc.address:，其IP為master的IP地址。在fink目錄下使用命令vim conf/slaves，增加worker節點的IP地址。

（根據如下附圖所示進行修改，其他的兩台服務器使用相同的方法進行配置，具體配置可在Apache的官網上進行查看，官網的網址如下所示https://ci.apache.org/projects/flink/flink-docs-release-1.0/setup/config.html#full-reference）

注釋：

Jobmanager可用內存(jobmanager.heap.mb)

taskmanager可用內存(taskmanager.heap.mb)

每個機器可用cpu數量(taskmanager.numberOfTaskSlots)

集群中的總cpu數量(parallelism.default)

節點臨時目錄(taskmanager.tmp.dirs)

 

3.啟動flink集群。

下面的腳本將會在本機啟動一個jobmanager節點，然后通過SSH連接到slaves文件中的所有worker節點，在worker節點上面啟動taskmanager。現在flink啟動並且運行。在本地運行的jobmanager現在將會通過配置的RPC端口接收任務。

確保在master節點的終端下同時進入flink目錄：使用命令bin/start-cluster.sh啟動flink集群，使用命令bin/stop-cluster.sh停止flink集群。