Apache Flink Local模式部署——批處理和流處理


Apache Flink部署模式有如下三種模式:
Flink Local 模式
Flink Standalone 模式
Flink ON YARN 模式

本文主要介紹Apache Flink的本地部署模式。

本地部署模式主要用於開發者程序調試測試使用。

1、啟動Flink

$ cd D:\dev\flink-1.9.2\bin $ start-cluster.bat ## 雙擊啟動Flink

 

通過web前端檢查服務是否正常運行
http://localhost:8081
Web前端可以看到有一個可用的TaskManager實例。

通過jps檢查服務啟動情況

還可以通過檢查logs目錄中的日志文件來驗證系統是否正在運行:

$ tail log/flink-*-standalonesession-*.log

 

2、Flink local模式-Java批處理命令

$ cd D:\dev\flink-1.9.2\bin $ flink run -c com.dajiangtai.batch.WordCount D:\jar\learning-flink-1.0.jar $ flink run -c com.dajiangtai.batch.WordCount D:\jar\learning-flink-1.0.jar --input D:\jar\in.txt --output D:\jar\out.txt

注意:--output指定的文件已存在,執行時報錯;正確做法是命令行指定輸出文件,不用創建out.txt文件。

3、Flink local模式-Java流處理命令

$ cd D:\dev\flink-1.9.2\bin $ flink run -c com.dajiangtai.stream.WordCount D:\jar\learning-flink-1.0.jar $ flink run -c com.dajiangtai.stream.WordCount D:\jar\learning-flink-1.0.jar --input D:\jar\in.txt --output D:\jar\out2.txt

 

問題一:

Exception in thread "main" java.lang.RuntimeException: The configuration directory was not specified. Please specify the directory containing the configuration file through the 'FLINK_CONF_DIR' environment variable. 原因:不將當前目錄定位到 Flink 的話,運行 job 會報 The configuration directory was not specified. 錯誤。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM