Structured Streaming A stream is converted into a dynamic table. A continuous query is evalu ...

原创文章，谢绝任何形式转载，否则追究法律责任！ ​流的世界，有点乱，群雄逐鹿，流实在太多，看完这个马上又冒出一个，也不知哪个才是真正的牛，据说Flink是位重量级选手，能流计算，还能批处理， 和其他伙伴关系也融洽的很，与HDFS/File/SQL/MQ往来都不在话下，今天我们就来实战一把 ...

什么是流式处理呢？ 这个问题其实我们大部分时候是没有考虑过的，大多数，我们是把流式处理和实时计算放在一起来说的。我们先来了解下，什么是数据流。 数据流（事件流） 数据流是无边界数据集的抽象 我们之前接触的数据处理，大多都都是有界的。例如：处理某天的数据、某个季度的数据等 无界 ...

个人原创文章，禁止任何形式转载，否则追究法律责任！ 本文只发表在"公众号"和"博客园"，其他均属复制粘贴！如果觉得排版不清晰，请查看公众号文章。 话说看图看核心，代码也得看核心。Flink体系十分庞大复杂，没个几十篇文章没法聊完，核心就是最擅长，做的最好，就像说起百度 ...

前言、flink介绍： 　　Apache Flink 是一个分布式处理引擎，用于在无界和有界数据流上进行有状态的计算。通过对时间精确控制以及状态化控制，Flink能够运行在任何处理无界流的应用中，同时对有界流，则由一些专为固定数据集设计的算法和数据结构进行了内部处理，从而提升了性能 ...

分布式缓存熟悉 Hadoop 的你应该知道，分布式缓存最初的思想诞生于 Hadoop 框架，Hadoop 会将一些数据或者文件缓存在 HDFS 上，在分布式环境中让所有的计算节点调用同一个配置文件。在 Flink 中，Flink 框架开发者们同样将这个特性进行了实现。 Flink 提供的分布式 ...

一、流式计算的背景在日常生活中，我们通常会先把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题。如果我们处理以年、月为单位的级别的数据，那么多数据的实时性要求并不高；但如果我们处理的是以天、小时，甚至分钟为单位的数据，那么对数据的时效性要求就比较高。在第二种场景下 ...

花了四小时，看完Flink的内容，基本了解了原理。 挖个坑，待总结后填一下。 2019-06-02 01:22:57等欧冠决赛中，填坑。 一、概述 storm最大的特点是快，它的实时性非常好（毫秒级延迟）。为了低延迟它牺牲了高吞吐，并且不能保证exactly once语义。 在低延迟和高 ...