flink计算过程：Source->Transform->Sink 整体设计 消费kafka数据，解析、计算后，分两路输出 1 归档（HDFS） 2 业务应用（PG） 代码实现 消费kafka：FlinkKafkaConsumer< ...

实时计算平台中的弹性集群资源管理 本文系微博运维数据平台（DIP）在实时计算平台的研发过程中集群资源管理方面的一些经验总结和运用，主要关注以下几个问题： 异构资源如何整合？ 实时计算应用之间的物理资源如何隔离？ 集群资源利用率如何提高 ...

​简介： 《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构 ...

将postgresql中的数据实时同步到kafka中 https://www.cnblogs.com/cq-yangzhou/p/11549913.html 黄海的思路： （1）看看其它人的概念：https://blog.csdn.net/dora_310/article ...

前言 本文首发自https://www.cnblogs.com/slankka/ 转载请注明出处。 本文的主要内容是介绍如何动态加载Flink作业的UDF。 Classloader 加载UDF一定是classLoader做的，而作业启动的过程中，App ClassLoader的具体实现类 ...

前言 FlinkSQL 和常见的SQL一样，也分为 DDL,DML,DQL,DCL。 本文的主要内容是探讨如何利用FlinkAPI 对多行SQL语句进行校验。 SQL语言共分为四大类：数据查询语言DQL，数据操纵语言DML，数据定义语言DDL，数据控制语言DCL。 以下是几个 ...

数据来源：系统中可以采集到的数据，如用户数据、业务数据等，也包含系统运行时产生的日志数据等。 数据采集：不同数据源生成数据类型格式存在差异，在数据采集前可能增加数据总线(如京东JBus)对业务进行解耦，Sqoop和Flume是常用的数据采集工具 ...

Flink 学习 项目地址：https://github.com/zhisheng17/flink-learning/ 博客：http://www.54tianzhisheng.cn/tags/Flink/ 项目结构 博客 1、《从0到1学习Flink》—— Apache Flink ...