實時計算 Flink 版總體介紹
簡介： 實時計算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里雲基於 Apache Flink 構建的企業級、高性能實時大數據處理系統，由 Apache Flink 創始團隊官方出品 ...
原文：袋鼠雲：基於Flink構建實時計算平台的總體架構和關鍵技術點
數棧是雲原生 站式數據中台PaaS，我們在github和gitee上有一個有趣的開源項目：FlinkX，FlinkX是一個基於Flink的批流統一的數據同步工具，既可以采集靜態的數據，也可以采集實時變化的數據，是全域 異構 批流一體的數據同步引擎。大家喜歡的話請給我們點個star star star github開源項目：https: github.com DTStack flinkx gitee ...
2021-07-16 16:14 0 470 推薦指數：
相關推薦
【Flink系列八】構建實時計算平台——動態加載UDF
前言 本文首發自https://www.cnblogs.com/slankka/ 轉載請注明出處。 本文的主要內容是介紹如何動態加載Flink作業的UDF。 Classloader 加載UDF一定是classLoader做的，而作業啟動的過程中，App ClassLoader的具體實現類 ...
【Flink系列七】構建實時計算平台——校驗FlinkSQL
前言 FlinkSQL 和常見的SQL一樣，也分為 DDL,DML,DQL,DCL。 本文的主要內容是探討如何利用FlinkAPI 對多行SQL語句進行校驗。 SQL語言共分為四大類：數據 ...
【Flink系列一】構建實時計算平台——Flink開啟Checkpoint，以及從Checkpoint恢復
前言 Flink提供了Checkpoint/Savepoint來保存狀態，以便在出錯時進行恢復，在上一個狀態的基礎上恢復計算流程。 問題 1. 如何開啟Checkpoint？ Flink-Checkpointing 2. 如何從Checkpoint恢復？ Checkpoint恢復 ...
【Flink系列四】構建實時計算平台——Flink SQLClient啟動失敗的問題筆記
問題 報錯 org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory ...
【Flink系列二】構建實時計算平台——特別篇，用InfluxDb收集Flink Metrics
Influxdb 快速入門 原文地址：https://www.cnblogs.com/slankka/p/13865338.html 從Docker啟動 Influxdb 進入Influxdb的Client 配置Flink Flink ifluxdb reporter ...
【Flink系列六】構建實時計算平台——Flink 1.10+通過Kerberos連接HiveCatalog
背景 因為要開發Flinksql，決定要使用HiveCatalog的支持，Flink當前最新版本是1.12.2，集群Hive的版本是1.1.0，而且需要用某個Linux用戶進行代理。 在實際開發中，遇到兩個問題： Hive 1.1.0 使用的不是jdbc ...
【Flink系列零】構建實時計算平台——FlinkSQL 作業菜鳥筆記
前言 因為最近的需求是做FlinkSQL平台，需要在實時計算平台上集成FlinkSQL功能，但目前剛剛有了研究成果，所以有了這篇筆記。 第一步：編寫一個流 這里使用python編寫的一個流，比Java簡潔。 需要注意的是 pip install kakfa-python，不能是 pip ...