歡迎訪問我的GitHub
https://github.com/zq2599/blog_demos
內容：所有原創文章分類匯總及配套源碼，涉及Java、Docker、Kubernetes、DevOPS等；
為什么要編譯flink源碼
用於學習，在IDEA上開發的flink job，能直接在IDEA運行，如果運行時依賴的flink框架是我們自己編譯構建的，就做到了從業務到框架都可以修改源碼並驗證，起到了很好的學習和動手實踐效果；
環境信息
- 電腦：2019版13寸MacBook Pro，2.3 GHz 四核Intel Core i5，8 GB 2133 MHz LPDDR3
- 操作系統：macOS Catalina 10.15.3
- JDK：1.8.0_211
- Maven：3.6.0
- IDEA：2018.3.5 (Ultimate Edition)
關於正版IDEA
如何免費使用正版IDEA，可以參考《免費申請和使用IntelliJ IDEA商業版License指南》
全文概覽
今天的實戰由以下內容組成：
- 開發一個最簡單的flink任務，在IDEA上以local模式運行；
- 下載flink1.9.2源碼；
- 修改flink1.9.2源碼，並且編譯構建；
- 設置，讓步驟1中的flink任務用上剛剛編譯的flink1.9.2框架；
- 再次運行flink任務，驗證修改后的flink框架是否生效；
IDEA上運行flink job工程
- 在IDEA上創建flink job的maven工程並運行，請參考《IDEA上運行Flink任務》
- 假設您已按上面的步驟在IDEA建好了flink job工程；
- 運行起來，在瀏覽器打開flink頁面，如下圖，綠框中顯示一共有8個Task Slot：
- 之所以會有8個Task Slot，和下圖紅框中的代碼有關，這是段flink框架源碼(StreamExecutionEnvironment.java)，入參parallelism是CPU核數，我這里是開了超線程的四核i5處理器，所以parallelism等於8：
- 今天的目標就是修改上圖紅框中的源碼，然后在網頁上看是不是生效了（Task Slot數量從8改成5）；
准備工作
- maven中央倉庫地址建議用阿里雲的，否則會經常遇到jar下載超時錯誤，地址：http://192.168.50.43:8081/repository/aliyun-proxy/
- flink1.9.2源碼的maven工程依賴了一個中央倉庫沒有的jar，GAV是io.confluent:kafka-schema-registry-client:3.3.1，您需要下載下來在本地倉庫做mvn install操作，下載地址：http://packages.confluent.io/maven/io/confluent/kafka-schema-registry-client/3.3.1/kafka-schema-registry-client-3.3.1.jar
- 上述准備工作都需要您在本地maven上操作，但是如果您的條件允許，還是強烈推薦在內網搭建maven私服nexus3，參考：《群暉DS218+做maven私服(nexus3)》、《Ubuntu部署和體驗Nexus3》、《Nexus3常用功能備忘》
下載flink1.9.2源碼
flink1.9.2源碼的下載地址：http://ftp.jaist.ac.jp/pub/apache/flink/flink-1.9.2/flink-1.9.2-src.tgz
修改和編譯構建
- 將下載好的flink-1.9.2-src.tgz解壓，得到文件夾flink-1.9.2
- 打開這個文件：flink-1.9.2/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/environment/StreamExecutionEnvironment.java
- 如下圖紅框，找到createLocalEnvironment方法，把setParallelism的入參改成一個固定的數字(每個Task Slot都要分配內存，所以這個數字請不要改得太大，否則啟動flink就會報錯了，我這里改成了5)：
- 在文件夾flink-1.9.2下，執行編譯構建的命令：mvn clean install -DskipTests -Dfast
- 經歷漫長等待后提示構建成功：
- 確認這個文件已生成，稍后就要用到：flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar
設置
- 為了用上剛剛構建出來的flink框架jar，要做些設置，打開之前運行的flink job應用，在項目上點擊右鍵，點擊菜單Open Module Settings，如下圖：
- 接下來要做三個和jar有關的操作，注意每一步都很重要：
- 下圖紅框1中的flink-dist_2.11-1.9.2.jar文件，是《IDEA上運行Flink任務》一文中添加的，目的是提供網頁服務，現在將其刪除，操作如下圖紅框所示：
- 下圖紅框1中的maven依賴：org.apache.flink:flink-streaming-java_2.11:1.9.2，也請刪除，操作如下圖紅框所示：
- 點擊下圖紅框中的加號：
- 在彈出的窗口選中剛才構建好的文件flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar：
- 記得點擊右下角的OK按鈕保存，修改完畢，接下來驗證咱們修改的flink框架源碼是否生效了
驗證
- 當前flink job工程來自《IDEA上運行Flink任務》一文，StreamingJob的工作是讀取本機18081端口的數據，所以我們要把18081端口的服務啟動起來，不然StreamingJob運行時是連不上端口的，打開一個控制台，執行命令：nc -l 18081
- 現在可以將StreamingJob運行起來，如下圖，右鍵點擊StreamingJob，選擇Run 'StreamingJob.main()'：即可啟動flink任務：
- 在IDEA的控制台搜索關鍵字localhost，如下圖紅框，可以查到flink網頁的端口，我這里是52704：
- 瀏覽器訪問http://localhost:52704，如下圖紅框，Total Task Slots數量是5，我們修改的flink1.9.2的源碼生效了：
- 至此，Flink1.9.2的源碼從修改到編譯構建，再到驗證都已經完成了，如果您也在學習flink，希望本文能給您一些參考，一起來動手實戰吧；
歡迎關注公眾號：程序員欣宸
微信搜索「程序員欣宸」，我是欣宸，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos