. 案例 方案一：使用ValueState结合HashSet实现 具体代码如下 ActivityCountAdv View Code 如果使用HashSet去重，用户实例较大，会大量消耗资源，导致性能变低，甚至内存溢出 方案二：改进，使用BloomFilter存储用户的ID，BloomFilter可以判断用户一定不存在，使用的内存极少。但是使用BloomFilter没有计数器，就必须额外定义一个 ...
2020-06-25 23:44 1 762 推荐指数：
1.Flink中exactly once实现原理分析 生产者从kafka拉取数据以及消费者往kafka写数据都需要保证exactly once。目前flink中支持exactly once的source不多，有kafka source；能实现exactly once的sink也不多 ...
View Code 2.双流join 补充： Join、CoGroup和CoFlatMap这 ...
1. ProcessFunction ProcessFunction是一个低级的流处理操作，可以访问所有(非循环)流应用程序的基本构建块: event(流元素) state(容错，一 ...
3.1 模块创建和数据准备 在UserBehaviorAnalysis下新建一个 maven module作为子项目，命名为NetworkTrafficAnalysis。在这个子模块中，我们同样并没有引入更多的依赖，所以也不需要改动pom文件。 在src/main/目录下，将默认源文件 ...
1、数据格式 View Code 2、处理类 3、Utils工具类 3、Utils工具类 ...
作者：吴云涛，腾讯 CSIG 高级工程师导语 | 最近梳理了一下如何用 Flink 来实现实时的 UV、PV 指标的统计，并和公司内微视部门的同事交流。然后针对该场景做了简化，并发现使用 Flink SQL 来 实现这些指标的统计会更加便捷。 一 解决方案描述 1.1 概述 本方案结合本地 ...
一、背景说明 在Flink中对流数据进行去重计算是常有操作，如流量域对独立访客之类的统计，去重思路一般有三个： 基于Hashset来实现去重 数据存在内存，容量小，服务重启会丢失。 使用状态编程ValueState/MapState实现去重 常用方式，可以使用内存/文件系统 ...
val df6 = spark.sql("select gender,children,max(age),avg(age),count(age) from Affairs group by Cu ...
