原文链接：[https://jiang-hao.com/articles/2019/big-data-lambda-architecture.html](https://jiang-hao.com/ ...

flink 触发器 触发器确定窗口(由窗口分配程序形成)何时准备由窗口函数处理。每个WindowAssigner都带有一个默认触发器。 如果默认触发器不适合需求，我们就需要自定义触发器。 主要方法 ...

一、Streaming与Flume的联调 Spark 2.2.0 对应于 Flume 1.6.0 两种模式： 1. Flume-style push-ba ...

　　随着业务的发展，数据量剧增，我们一些简单报表大盘类的任务，就不能简单的依赖于RDBMS了，而是依赖于数仓之类的大数据平台。 　　数仓有着巨量数据的存储能力，但是一般都存在一定数据延迟，所以要想完 ...

公司对客户开放多个系统，运营人员想要了解客户使用各个系统的情况，在此之前，数据平台团队已经建设好了统一的Kafka消息通道。 为了保证架构能够满足业务可能的扩张后的性能要求，选用storm来处理 ...

　　如何做一个实时的业务统计的监控？比如分钟级？也就是每分钟可以快速看到业务的变化趋势，及可以做一些简单的分组查询？ 　　哎，你可能说很简单了，直接从数据库 count 就可以了！ 你是对的。 　 ...

1 前言 公司有一个项目整体的架构是要消费kafka数据并存入数据库，以前选用的工具是spark streaming，最近flink已经变得比较流行了，所以也尝试一下flink消费数据与spark ...

批处理 　　批处理的输入是在一段时间内已经采集并存储好的有边界数据（相关概念见后面附录介绍）。同样的，输出数据也一样是有边界数据。当然，每次经过批处理后所产生的输出也可以作为下一次批处理的 ...

SparkStreaming-流处理-规则动态更新-解决方案 image2017-10-27_11-10-53.png (1067×738) elasticsearch-he ...

原文链接：https://blog.csdn.net/qq_41373246/java/article/details/99819017 今天我们来讲讲大数据的处理模式：批处理（Batching P ...