Flink的部署方式


local模式:适用于本地开发和测试环境,占用的资源较少,部署简单 ,只需要部署JDK和flink即可达到功能开发和测试的目的。只需要一台主机即可。 standalone cluster:可以在测试环境功能验证完毕到版本发布的时候使用,进行性能验证。搭建需要ssh jdk和flink。至少需要3台主机,一个master两个worker节点。 YARN:flink使用YARN进行调度。 Hadoop Integration:和hadoop生态进行整合,可以借用HDFS、YARN的功能,是用于整个大数据环境都用Hadoop全家桶的环境。 Docker: 在开发测试使用,docker方式很容易搭建。推荐的方式。 kubernetes:由于FLink使用的无状态模式,只需要kubernetes提供计算资源即可。会是Flink以后运行的主流方式,可以起到节约硬件资源和便于管理的效果。 HA模式: 现在主流的方式有standalone cluster HA 和YARN cluster HA方式,适用于在生产上部署。 standalone cluster HA: 需要JDK、ssh、zookeeper HA、flink构建,至少需要三个物理机。 YARN cluster HA: 需要JDK、ssh、zookeeper HA、Hadoop HA、flink,需要更多的资源。 若flink运行于k8s则可以借助于kubernetes的集群提供高可用,充分的利用资源。 当前大部分公司还是将Flink运行在物理机上。

参考:http://www.manongjc.com/article/33154.html


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM