Flink sql 流式去重
在大数据的处理过程中会出现很多汇总类指标的计算，比如计算当日的每个类目下的用户的订单信息，就需要按类目分组，对用户做去重。Flink sql 提供了 “去重” 功能，可以在流模式的任务中做去重操作。 官网文档 去重 官网链接： [去重](https://ci.apache.org ...
原文：Flink SQL 流式写数据到 Hive
Flink . 版本对SQL的优化是很多的，其中最重要的一点就是 hive 功能的完善，不再只是作为持久化的 Catalog，而是可以用原生的 Flink SQL 流式的写数据到入 hive中 本文使用官网 Streaming Writing 案例 https: ci.apache.org projects flink flink docs release . dev table hive hiv ...
2020-09-24 19:35 0 6568 推荐指数：
相关推荐
Flink系列之1.10版流式SQL应用
随着Flink 1.10的发布，对SQL的支持也非常强大。Flink 还提供了 MySql, Hive，ES, Kafka等连接器Connector，所以使用起来非常方便。 接下来咱们针对构建流式SQL应用文章的梗概如下： 1. 搭建流式SQL应用所需要的环境准备。 2. ...
Demo：基于 Flink SQL 构建流式应用
Flink 1.10.0 于近期刚发布，释放了许多令人激动的新特性。尤其是 Flink SQL 模块，发展速度非常快，因此本文特意从实践的角度出发，带领大家一起探索使用 Flink SQL 如何快速构建流式应用。 本文将基于 Kafka, MySQL, Elasticsearch, Kibana ...
【源码】Flink sql 流式去重源码解析
本文基于 flink 1.12.0 之前尝试了一下 flink sql 的 去重和Top n 功能，只是简单的看了下官网，然后用 sql 实现了功能，但是还有些疑问没有解决。比如：不使用 mini-batch 模式，去重的结果很单一，降序就只输出第一条数据（升序就一直输出最后一条） 为了解 ...
flink sql 写 kudu
Kudu 是现在比较火的一款存储引擎，集HDFS的顺序读和HBase的随机读于一身，非常适合物流网场景，刚刚到达的数据就马上要被终端用户使用访问到,未来还要做大规模的数据分析。 kudu 适合的场景（以下内容来自网络）： 最近感觉在批量读 hbase 上遇到了瓶颈，急需寻找新 ...
Flink SQL 写 hudi
# Flink SQL 写 hudi 最近在做一个数据湖项目，基于 Hudi 的湖仓一体项目，计算引擎是 Flink + Spark 之前稍稍研究了一下数据湖的三个主要技术组件 IceBerg，以为可能会用，在网上看资料的时候，同样也发现，IceBerg 对 Flink 比较亲和，Hudi ...
Flink 1.10 SQL 写 Hbase 数据无法写入hbase问题
接之前的：Flink 1.10 SQL 写HBase 有朋友看了之前的 sql 写 Hbase 的博客，自己试了写，可能没有得到预期的结果 之前在捣腾的时候，也花了不少时间，这里大概写下遇到的两个问题 1、hbase 表参数问题 我们有多套hbase 集群，之前 ...
Flink 1.10 SQL 写ElasticSearch
官网对应页面：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#elasticsearch-connector Flink SQL ElasticSearch connector ...