Flink的部署方式


local模式:適用於本地開發和測試環境,占用的資源較少,部署簡單 ,只需要部署JDK和flink即可達到功能開發和測試的目的。只需要一台主機即可。 standalone cluster:可以在測試環境功能驗證完畢到版本發布的時候使用,進行性能驗證。搭建需要ssh jdk和flink。至少需要3台主機,一個master兩個worker節點。 YARN:flink使用YARN進行調度。 Hadoop Integration:和hadoop生態進行整合,可以借用HDFS、YARN的功能,是用於整個大數據環境都用Hadoop全家桶的環境。 Docker: 在開發測試使用,docker方式很容易搭建。推薦的方式。 kubernetes:由於FLink使用的無狀態模式,只需要kubernetes提供計算資源即可。會是Flink以后運行的主流方式,可以起到節約硬件資源和便於管理的效果。 HA模式: 現在主流的方式有standalone cluster HA 和YARN cluster HA方式,適用於在生產上部署。 standalone cluster HA: 需要JDK、ssh、zookeeper HA、flink構建,至少需要三個物理機。 YARN cluster HA: 需要JDK、ssh、zookeeper HA、Hadoop HA、flink,需要更多的資源。 若flink運行於k8s則可以借助於kubernetes的集群提供高可用,充分的利用資源。 當前大部分公司還是將Flink運行在物理機上。

參考:http://www.manongjc.com/article/33154.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM