Flink on Yarn三部曲之二：部署和設置

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容：所有原創文章分類匯總及配套源碼，涉及Java、Docker、Kubernetes、DevOPS等；

本文是《Flink on Yarn三部曲》系列的第二篇，上一篇《Flink on Yarn三部曲之一：准備工作》已將所需的機器和文件准備完畢，可以部署CDH和Flink了；

全文鏈接

1. 《Flink on Yarn三部曲之一：准備工作》
2. 《
   Flink on Yarn三部曲之二：部署和設置
   》
3. 《Flink on Yarn三部曲之三：提交Flink任務》

執行ansible腳本部署CDH和Flink(ansible電腦)

1. 進入ansible電腦的~/playbooks目錄，經過上一篇的准備工作，該目錄下應該是下圖這些內容：
   
2. 檢查ansible遠程操作CDH服務器是否正常，執行命令ansible deskmini -a "free -m"，正常情況下顯示CDH服務器的內存信息，如下圖：
   
3. 執行命令開始部署：ansible-playbook cm6-cdh5-flink1.7-single-install.yml
4. 整個部署過程涉及在線安裝、傳文件等耗時的操作，因此請耐心等待（半小時左右），如果部署期間出錯退出（例如網絡問題），只需重復執行上述命令即可，ansible保證了操作的冪等性；
5. 部署成功如下圖所示：
   

重啟CDH服務器

由於修改了selinux和swap的設置，需要重啟操作系統才能生效，因此請重啟CDH服務器；

執行ansible腳本啟動CDH服務(ansible電腦)

1. 等待CDH服務器重啟成功；
2. 登錄ansible電腦，進入~/playbooks目錄；
3. 執行初始化數據庫和啟動CDH的腳本：ansible-playbook cdh-single-start.yml
4. 啟動完成輸出如下信息：
   
5. ssh登錄CDH服務器，執行此命令觀察CDH服務的啟動情況：tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log，看到下圖紅框中的內容時，表示啟動完成，可以用瀏覽器登錄了：
   

設置(瀏覽器操作)

現在CDH服務已經啟動了，可以通過瀏覽器來操作：

1. 瀏覽器訪問：http://192.168.50.134:7180 ，如下圖，賬號密碼都是admin：
   
2. 一路next，在選擇版本頁面選擇60天體驗版：
   
3. 選擇主機頁面可見CDH服務器（deskmini）：
   
4. 在選擇CDH版本的頁面，請選擇下圖紅框中的5.16.2-1：
   
5. 進入安裝Parcel的頁面，由於提前上傳了離線parcle包，因此下載進度瞬間變成百分之百，此時請等待分配、解壓、激活的完成：
   
6. 接下來有一些推薦操作，這里選擇如下圖紅框，即可跳過：
   
7. 接下來是選擇服務的頁面，我選擇了自定義服務，然后選擇了HDFS、YARN、Zookeeper這三項，可以滿足運行Flink的需要：
   
8. 在選擇主機的頁面，都選擇CDH服務器：
   
9. 接下來是數據庫設置的頁面，您填寫的內容必須與下圖保持一致，即主機名為localhost，Activity Monitor的數據庫、用戶、密碼都是amon，Reports Manager的數據庫、用戶、密碼都是rman，這些內容在ansible腳本中已經固定了，此處的填寫必須保持一致：
   
10. 在設置參數的頁面，請按照您的硬盤實際情況設置，我這里/home目錄下空間充足，因此存儲位置都改為/home目錄下：
    
11. 等待服務啟動：
    
12. 各服務啟動完成：
    

YARN設置

默認的YARN參數是非常保守的，需要做一些設置才能順利執行Flink任務：

1. 點下圖紅框位置，進入YARN管理頁：
   
2. 如下圖所示，檢查參數yarn.nodemanager.resource.cpu-vcores的值，該值必須大於1，否則提交Flink任務后YARN不分配資源執行任務，（如果您的CDH服務器是虛擬機，當CPU只有單核時，則此參數就會被設置為1，解決辦法是先提升虛擬機CPU核數，再來修改此參數）：
   
3. yarn.scheduler.minimum-allocation-mb：單個容器可申請的最小內存，我這里設置為1G
4. yarn.scheduler.maximum-allocation-mb：單個容器可申請的最大內存，我這里設置為8G
5. yarn.nodemanager.resource.memory-mb：節點最大可用內存，我這里設置為8G
6. 上述三個參數的值，是基於我的CDH服務器有32G內存的背景，請您按照自己硬件資源自行調整；
7. 設置完畢后重啟YARN服務，操作如下圖所示：
   
   至此，部署和設置都已完成，Flink on Yarn的環境已經可用了，在下一篇文章中，我們就在此環境提交Flink任務，體驗Flink on Yarn；

歡迎關注公眾號：程序員欣宸

微信搜索「程序員欣宸」，我是欣宸，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos