Flink 1.12 的时候尝试使用 JDBC SQL Connector kafka 流关联 mysql 表,使用 lookup cache 缓存 mysql 数据,测试在关联性能和更新时效的平衡。不过遭遇了失败,尝试各种 join 也无法实现,mysql source 使用 ...
之前在 Lookup join mysql 的时候,因为只能使用 rowke 做关联键,所以一直想写个带缓存的 udtf,通过 udtf 的方式关联非主键的字段,同时由于 udf 里面加了缓存,所以用起来和 lookup join 差不多 关于 udf 的内容之前的博客已经写过了 。 最近实现了几个自定义的 TableSource,想着也实现一个 Lookup 的 Table Source,最近这 ...
2021-10-18 15:09 0 1620 推荐指数:
Flink 1.12 的时候尝试使用 JDBC SQL Connector kafka 流关联 mysql 表,使用 lookup cache 缓存 mysql 数据,测试在关联性能和更新时效的平衡。不过遭遇了失败,尝试各种 join 也无法实现,mysql source 使用 ...
最近想起刚做实时数仓时候的项目架构,如下: 从架构图可以看到,数仓是基于 Flink 和 Kafka 的实时能力做的。 数据源是业务系统的数据库和页面上的埋点日志 Binlog 采集工具采集数据库的日志,写到 Kafka;Flume 接收埋点的 http 消息,将数据写到 ...
pom.xml View Code java code View Code ...
MysqlEletricFenceResultSource MysqlElectricFenceSource VehicleInfoMysqlSource ...
写了一个 Http 的 Table Source 参考官网: [用户定义源和数据汇](https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/table/sourcessinks/) Flink Table ...
mysql source View Code 数据准备 View Code View Code ...
本文翻译自官网:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sourceSinks.html TableSource 提供访问存储在外部系统(数据库、key-value 存款,消息队列)或文件中 ...
本文翻译自官网: User-defined Sources & Sinks https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sourceSinks.html Flink Table Api ...