Flink(二) —— 部署與任務提交


一、下載&啟動

官網上下載安裝包,執行下列命令即啟動完成。

./bin/start-cluster.sh

效果圖

Flink部署模式

  • Standalone模式
  • Yarn模式
  • k8s部署

二、配置文件

flink-conf.yaml


# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.

taskmanager.numberOfTaskSlots: 4

# The parallelism used for programs that did not specify and other parallelism.

parallelism.default: 1

三、提交任務

以UI的方式提交

以命令的方式提交

提交job

./flink run -c flink.StreamWordCount -p 2 myspark-1.0-SNAPSHOT.jar

查看當前所有job

> flink list

Waiting for response...
------------------ Running/Restarting Jobs -------------------
21.02.2020 03:35:27 : 97e8af8af740098de8e80a8aedd16839 : stream word count (RUNNING)
--------------------------------------------------------------
No scheduled jobs.

取消job

./flink cancel 97e8af8af740098de8e80a8aedd16839

異常

同樣的代碼,同樣的操作,該異常只有在windows上部署的時候,才會出現問題,在MacBook上則是正常的。

java.util.concurrent.CompletionException: 
org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: 
No pooled slot available and request to ResourceManager for new slot failed


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM