從零構建Flink SQL計算平台 - 3實現校驗和調試
上文分析了 SQL 作業提交流程和實現思路，即通過 SQL Client 管理和創建 TableEnv、設置各類信息、調用 sqlUpdate、最后復用 SQL Client 的提交作業邏輯。現在需要將該過程進行細化，並考慮如何實現 SQL 校驗和調試功能。 一、作業提交步驟細化 首先，作業 ...
原文：從零構建Flink SQL計算平台 - 1平台搭建概述
一 理想與現實 Apache Flink 是一個分布式流批一體化的開源平台。Flink 的核心是一個提供數據分發 通信以及自動容錯的流計算引擎。Flink 在流計算之上構建批處理，並且原生的支持迭代計算，內存管理以及程序優化。 實時計算 Alibaba Cloud Realtime Compute，Powered by Ververica 是阿里雲提供的基於 Apache Flink 構建的企業級 ...
2020-02-22 23:53 0 3022 推薦指數：
相關推薦
從零構建Flink SQL計算平台 - 2實現作業提交
上文提到構建平台需要實現一個更好的提交流程，具體目標是將 SQL 任務相關內容，如 SQL 、DDL、UDF、配置內容等信息作為參數，調用提交API就能在目標集群創建任務。 一、分析提交作業流程 首先借由官方文檔中的整體角色流程圖，可以看出左側一部分 Flink Program 其中包括 ...
【Flink系列八】構建實時計算平台——動態加載UDF
前言 本文首發自https://www.cnblogs.com/slankka/ 轉載請注明出處。 本文的主要內容是介紹如何動態加載Flink作業的UDF。 Classloader 加載UDF一定是classLoader做的，而作業啟動的過程中，App ClassLoader的具體實現類 ...
【Flink系列七】構建實時計算平台——校驗FlinkSQL
前言 FlinkSQL 和常見的SQL一樣，也分為 DDL,DML,DQL,DCL。 本文的主要內容是探討如何利用FlinkAPI 對多行SQL語句進行校驗。 SQL語言共分為四大類：數據查詢語言DQL，數據操縱語言DML，數據定義語言DDL，數據控制語言DCL。 以下是幾個 ...
【Flink系列四】構建實時計算平台——Flink SQLClient啟動失敗的問題筆記
問題 報錯 org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory ...
【Flink系列二】構建實時計算平台——特別篇，用InfluxDb收集Flink Metrics
Influxdb 快速入門 原文地址：https://www.cnblogs.com/slankka/p/13865338.html 從Docker啟動 Influxdb 進入Influxdb的Client 配置Flink Flink ifluxdb reporter ...
【Flink系列一】構建實時計算平台——Flink開啟Checkpoint，以及從Checkpoint恢復
前言 Flink提供了Checkpoint/Savepoint來保存狀態，以便在出錯時進行恢復，在上一個狀態的基礎上恢復計算流程。 問題 1. 如何開啟Checkpoint？ Flink-Checkpointing 2. 如何從Checkpoint恢復？ Checkpoint恢復 ...
【Flink系列六】構建實時計算平台——Flink 1.10+通過Kerberos連接HiveCatalog
背景 因為要開發Flinksql，決定要使用HiveCatalog的支持，Flink當前最新版本是1.12.2，集群Hive的版本是1.1.0，而且需要用某個Linux用戶進行代理。 在實際開發中，遇到兩個問題： Hive 1.1.0 使用的不是jdbc ...