Apache Flink部署模式有如下三種模式:
Flink Local 模式
Flink Standalone 模式
Flink ON YARN 模式
本文主要介紹Apache Flink的本地部署模式。
本地部署模式主要用於開發者程序調試測試使用。
1、啟動Flink
$ cd D:\dev\flink-1.9.2\bin $ start-cluster.bat ## 雙擊啟動Flink
通過web前端檢查服務是否正常運行
http://localhost:8081
Web前端可以看到有一個可用的TaskManager實例。
通過jps檢查服務啟動情況
還可以通過檢查logs目錄中的日志文件來驗證系統是否正在運行:
$ tail log/flink-*-standalonesession-*.log
2、Flink local模式-Java批處理命令
$ cd D:\dev\flink-1.9.2\bin $ flink run -c com.dajiangtai.batch.WordCount D:\jar\learning-flink-1.0.jar $ flink run -c com.dajiangtai.batch.WordCount D:\jar\learning-flink-1.0.jar --input D:\jar\in.txt --output D:\jar\out.txt
注意:--output指定的文件已存在,執行時報錯;正確做法是命令行指定輸出文件,不用創建out.txt文件。
3、Flink local模式-Java流處理命令
$ cd D:\dev\flink-1.9.2\bin $ flink run -c com.dajiangtai.stream.WordCount D:\jar\learning-flink-1.0.jar $ flink run -c com.dajiangtai.stream.WordCount D:\jar\learning-flink-1.0.jar --input D:\jar\in.txt --output D:\jar\out2.txt
問題一:
Exception in thread "main" java.lang.RuntimeException: The configuration directory was not specified. Please specify the directory containing the configuration file through the 'FLINK_CONF_DIR' environment variable. 原因:不將當前目錄定位到 Flink 的話,運行 job 會報 The configuration directory was not specified. 錯誤。