数据： login.log visit.log 实现代码： pom.xml 修改 ...

之前一直用翻滚窗口，每条数据都只属于一个窗口，所有不需要考虑数据需要在多个窗口存的事情。 刚好有个需求，要用到滑动窗口，来翻翻 flink 在滑动窗口中，数据是怎么分配到多个窗口的 一段简单的测试代码： 定义了一个长度为1分钟，滑动距离 10秒的窗口，所以正常每条数据应该对应 ...

一、sparkStreaming窗口函数概念： 1、reduceByKeyAndWindow（_+_,Seconds(3), Seconds(2)） 可以看到我们定义的window窗口大小Seconds(3s) ，是指每2s滑动时，需要统计前3s内所有的数据 ...

Flink窗口背景 Flink认为Batch是Streaming的一个特例，因此Flink底层引擎是一个流式引擎，在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。通俗讲，Window是用来对一个无限的流设置一个有限的集合，从而在有界的数据集上进行操作的一种 ...

这几天学习了MapReduce，我参照资料，自己又画了两张MapReduce的架构图。 这里我根据架构图以及对应的源码，来解释一次分布式MapReduce的计算到底是怎么工作的。 ​话不多说，开始！ 首先，结合我画的架构图来进行解释。 上图是MapReduce ...

集合对象的编码有两种：intset 和 hashtable 编码一：intset intset 的结构 整数集合 intset 是集合底层的实现之一，从名字就可以看出，这是专门为整数提供的集合类 ...

总结《SparkStreaming实时流式大数据处理实战》 一、初始spark 1. 初始sparkstreaming 1.1 大数据处理模式 1. 一种是原生流处理（Native）的方式，即所有输入记录会一条接一条地被处理，storm 和 flink 2. 另一种是微批处理（Batch ...

https://blog.csdn.net/sdksdk0/article/details/73176639 ...