从零构建Flink SQL计算平台 - 3实现校验和调试
上文分析了 SQL 作业提交流程和实现思路，即通过 SQL Client 管理和创建 TableEnv、设置各类信息、调用 sqlUpdate、最后复用 SQL Client 的提交作业逻辑。现在需要将该过程进行细化，并考虑如何实现 SQL 校验和调试功能。 一、作业提交步骤细化 首先，作业 ...
原文：从零构建Flink SQL计算平台 - 1平台搭建概述
一 理想与现实 Apache Flink 是一个分布式流批一体化的开源平台。Flink 的核心是一个提供数据分发 通信以及自动容错的流计算引擎。Flink 在流计算之上构建批处理，并且原生的支持迭代计算，内存管理以及程序优化。 实时计算 Alibaba Cloud Realtime Compute，Powered by Ververica 是阿里云提供的基于 Apache Flink 构建的企业级 ...
2020-02-22 23:53 0 3022 推荐指数：
相关推荐
从零构建Flink SQL计算平台 - 2实现作业提交
上文提到构建平台需要实现一个更好的提交流程，具体目标是将 SQL 任务相关内容，如 SQL 、DDL、UDF、配置内容等信息作为参数，调用提交API就能在目标集群创建任务。 一、分析提交作业流程 首先借由官方文档中的整体角色流程图，可以看出左侧一部分 Flink Program 其中包括 ...
【Flink系列八】构建实时计算平台——动态加载UDF
前言 本文首发自https://www.cnblogs.com/slankka/ 转载请注明出处。 本文的主要内容是介绍如何动态加载Flink作业的UDF。 Classloader 加载UDF一定是classLoader做的，而作业启动的过程中，App ClassLoader的具体实现类 ...
【Flink系列七】构建实时计算平台——校验FlinkSQL
前言 FlinkSQL 和常见的SQL一样，也分为 DDL,DML,DQL,DCL。 本文的主要内容是探讨如何利用FlinkAPI 对多行SQL语句进行校验。 SQL语言共分为四大类：数据查询语言DQL，数据操纵语言DML，数据定义语言DDL，数据控制语言DCL。 以下是几个 ...
【Flink系列四】构建实时计算平台——Flink SQLClient启动失败的问题笔记
问题 报错 org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory ...
【Flink系列二】构建实时计算平台——特别篇，用InfluxDb收集Flink Metrics
Influxdb 快速入门 原文地址：https://www.cnblogs.com/slankka/p/13865338.html 从Docker启动 Influxdb 进入Influxdb的Client 配置Flink Flink ifluxdb reporter ...
【Flink系列一】构建实时计算平台——Flink开启Checkpoint，以及从Checkpoint恢复
前言 Flink提供了Checkpoint/Savepoint来保存状态，以便在出错时进行恢复，在上一个状态的基础上恢复计算流程。 问题 1. 如何开启Checkpoint？ Flink-Checkpointing 2. 如何从Checkpoint恢复？ Checkpoint恢复 ...
【Flink系列六】构建实时计算平台——Flink 1.10+通过Kerberos连接HiveCatalog
背景 因为要开发Flinksql，决定要使用HiveCatalog的支持，Flink当前最新版本是1.12.2，集群Hive的版本是1.1.0，而且需要用某个Linux用户进行代理。 在实际开发中，遇到两个问题： Hive 1.1.0 使用的不是jdbc ...