【大数据】flink 1.10.1 安装
目录 1.环境 2.下载软件 2.1 下载flink 2.2 集成 hadoop 3.standalone 集群模式配置多台机器 3.1 配置 masters 3.2 配置 slaves 3.4 配置 ...
原文：【开源】基于 Flink 1.10.1 的 SQL 提交程序
从 Flink . SQL 功能可以稳定生产开始，就开始做 Flink SQL 相关的内容，到现在也有一段时间了，对 flink sql 还是有很多想法的，也有很多源码相关的内容一直想研究。 不过这段时间，工作上有些变动，所以很多时候都不想动弹 可能就是因为懒 ，所以这段时间更新频率越来越低了，主要是没什么新的产出，刚好基于之前的一些想法，在 github 上弄了个开源项目 sqlSubmit h ...
2020-06-09 14:43 0 1805 推荐指数：
相关推荐
Flink SQL任务自动生成与提交
目录 起因 思路 实现 1.配置 2.界面如下 3.环境 问题 起因 事情的起因，是看到一篇公众号文章Apache Flink 在汽车之家的应用与实践，里面提到了“基于 SQL 的开发流程”。在平台提供以上功能 ...
Flink1.10.1 on yarn命令行参数详解
./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar ...
Flink Table&Sql提交至集群全流程
环境:Flink0.10.1 scala2.11 如果报一下的错，请把对应的pom.xml文件进行修改。具体的可以看下下面的pom.xml文件的配置 1、数据格式 2、pom.xml文件配置 3、案例代码 ...
从零构建Flink SQL计算平台 - 2实现作业提交
上文提到构建平台需要实现一个更好的提交流程，具体目标是将 SQL 任务相关内容，如 SQL 、DDL、UDF、配置内容等信息作为参数，调用提交API就能在目标集群创建任务。 一、分析提交作业流程 首先借由官方文档中的整体角色流程图，可以看出左侧一部分 Flink Program 其中包括 ...
Java应用程序远程提交FLink任务
1 解决问题 解决了flink任务提交依赖传统Jar提交的问题，改为Java应用程序获取RemoteEnvironment方式提交，便于维护管理等。 通过次提交方式，可以做进一步的延伸，通过Flink版本管理，Sql管理。只需要简单的存储版本信息，某个任务的Sql信息，就能快速实现任务提交 ...
《Flink SQL任务自动生成与提交》后续：修改flink源码实现kafka connector BatchMode
目录 问题 思路 kafka参数问题 支持batchmode的问题 参数提交至kafkasource的问题 group by支持问题 实现 编译 测试 因为在一篇博文上看到介绍“汽车之家介绍flink ...
Flink1.10.1编译hadoop2.7.2 编译flink-shaded-hadoop-2-uber
Flink1.10.1编译hadoop2.7.2 编译flink-shaded-hadoop-2-uber 从Flink 1.11开始，flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。 如果想建立flink-shaded对供应商特定的Hadoop版本 ...