Flink Kafka作为Source和Sink
实现kafka进，kafka出的流程。 代码： object KafkaTest { def main(args: Array[String]): Unit = { val e ...
原文：Flink Socket table source/sink
最近想起刚做实时数仓时候的项目架构，如下： 从架构图可以看到，数仓是基于 Flink 和 Kafka 的实时能力做的。 数据源是业务系统的数据库和页面上的埋点日志 Binlog 采集工具采集数据库的日志，写到 Kafka Flume 接收埋点的 http 消息，将数据写到 Kafka Flink 读取 Kafka 中的数据，清洗后写入 ODS 层 Kafka ，同时起一个 Flink 任务，将 O ...
2022-02-21 11:35 0 729 推荐指数：
相关推荐
【翻译】Flink Table API & SQL 自定义 Source & Sink
本文翻译自官网：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sourceSinks.html TableSource 提供访问存储在外部系统（数据库、key-value 存款，消息队列）或文件中 ...
【翻译】Flink Table Api & SQL — 自定义 Source & Sink
本文翻译自官网： User-defined Sources & Sinks https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sourceSinks.html Flink Table Api ...
flink批处理中的source以及sink介绍
一、flink在批处理中常见的source flink在批处理中常见的source主要有两大类: 1.基于本地集合的source（Collection-based-source） 2.基于文件的source（File-based-source ...
flink系列-4、flink自定义source、sink
代码地址 一、Source 输入 Controlling Latency（控制延迟）默认情况下，流中的元素并不会一个一个的在网络中传输(这会导致不必要的网络流量消耗) ，而是缓存起来，缓存 的大小可以在Flink的配置文件、ExecutionEnvironment、或者某个算子上进行配置（默认 ...
Flink从socket读取数据sink到redis
通过nc命令模拟发送数据： 控制台打印的信息： 在Redis中查看socket发送过来的数据： ...
Flink Table Sink到File、Kafka、Es、Mysql
知识点 1、文件代码案例 2、Es代码案例 3、Kafka代码案例 4、mysql代码案例 ...