Flink 1.3.2 Standalone模式安裝


一、依賴文件安裝

    1.1 JDK

         參見博文:http://www.cnblogs.com/liugh/p/6623530.html

二、文件准備

     2.1 文件名稱

         flink-1.3.2-bin-hadoop27-scala_2.11.tgz

     2.2 下載地址

        http://flink.apache.org/downloads.html

 

三、工具准備

    3.1 Xshell

      一個強大的安全終端模擬軟件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 協議。

      Xshell 通過互聯網到遠程主機的安全連接以及它創新性的設計和特色幫助用戶在復雜的網絡環境中享受他們的工作。

    3.2 Xftp

     一個基於 MS windows 平台的功能強大的SFTPFTP 文件傳輸軟件。

    使用了 Xftp 以后,MS windows 用戶能安全地在UNIX/Linux 和 Windows PC 之間傳輸文件。

四、部署圖

五、Flink安裝

    以下操作,均使用root用戶

   5.1 通過Xftp將下載下來的Flink安裝文件上傳到Master的/usr目錄下

   5.2 通過Xshell連接到虛擬機,在Master上,執行如下命令,解壓文件:

        # tar zxvf flink-1.3.2-bin-hadoop27-scala_2.11.tgz

   5.3 在Master上,使用Vi編輯器,設置環境變量

        # vi /etc/profile

        在文件最后,添加如下內容:       

#Flink Env
export FLINK_HOME=/usr/flink-1.3.2
export PATH=$PATH:$FLINK_HOME/bin

   5.4 退出vi編輯器,使環境變量設置立即生效

       # source /etc/profile

       通過scp命令,將/etc/profile拷貝到兩個Slave節點:

       #scp /etc/profile root@DEV-SH-MAP-02:/etc

       #scp /etc/profile root@DEV-SH-MAP-03:/etc

       分別在兩個Salve節點上執行# source /etc/profile使其立即生效

六、Flink配置

    以下操作均在Master節點,配置完后,使用scp命令,將所有文件拷貝到兩個Worker節點即可。

   切換到/usr/flink-1.3.2/conf目錄下,修改如下文件:

   6.1 flink-conf.yaml

#JobManager的地址
jobmanager.rpc.address: DEV-SH-MAP-01

#JobManager Java 堆大小

jobmanager.heap.mb: 1024

#TaskManager Java 堆大小

taskmanager.heap.mb: 1024

taskmanager.numberOfTaskSlots: 2

   6.2 masters

    這個文件中存放的信息是JobManager的HostName,使用vi編輯器,打開masters,在文件最后,添加如下內容:

DEV-SH-MAP-01:8081

 

 6.3 slaves

    這個文件中存放的信息是TaskManager的HostName,使用vi編輯器,打開slaves,在文件最后,添加如下內容:

DEV-SH-MAP-01
DEV-SH-MAP-02
DEV-SH-MAP-03

 

6.4 拷貝配置文件到兩個Worker節點

   在Master節點,執行如下命令:   

   # scp -r /usr/flink-1.3.2/ root@DEV-SH-MAP-02:/usr/

   # scp -r /usr/flink-1.3.2/ root@DEV-SH-MAP-03:/usr/

七、Flink使用

   7.1 啟動

      Master節點上,執行如下命令:

      #start-cluster.sh

     在Master節點上,使用jps命令,查看Java進程:

41361 JobManager
41724 TaskManager

     在Worker節點上,使用jps命令,查看Java進程:

37723 TaskManager

  7.3 通過瀏覽器查看Flink信息

    瀏覽器中,輸入http://10.10.0.1:8081

 

   7.4 停止節點

     #stop-cluster.sh


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM