非常荣幸有机会和大家分享一下 Apache Pulsar 怎样为批流处理提供融合的存储。希望今天的分享对做大数据处理的同学能有帮助和启发。 这次分享，主要分为四个部分： 介绍与其他消息系统相比， Apache Pulsar 的独特优势 分析批流处理中的存储需求 讲述 Apache ...

同步。 　　flink流批一体横空处理，为大数据处理带来了一套新的解决方案。 　　今年双11，Flink流批一体 ...

当我们谈论批流一体，我们在谈论什么？ 目录 当我们谈论批流一体，我们在谈论什么？ 一、流计算与批计算 一）流计算与批计算 二）流计算与批计算的比较 三）为什么要搞流批一体 二、流批一体的场景 一）数据集成的流 ...

关注公众号：大数据技术派，回复“资料”，领取1000G资料。 本文首发于我的个人博客：Flink 是如何统一批流引擎的 2015 年，Flink 的作者就写了 Apache Flink: Stream and Batch Processing in a Single Engine 这篇 ...

实现批处理的技术许许多多，从各种关系型数据库的sql处理，到大数据领域的MapReduce，Hive，Spark等等。这些都是处理有限数据流的经典方式。而Flink专注的是无限流处理，那么他是怎么做到批处理的呢？ 无限流处理：输入数据没有尽头；数据处理从当前或者过去的某一个时间 点开 ...

Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。本文将以Flink1.12为例，介绍Flink ...

Flink 开发环境通常来讲，任何一门大数据框架在实际生产环境中都是以集群的形式运行，而我们调试代码大多数会在本地搭建一个模板工程，Flink 也不例外。 Flink 一个以 Java 及 Scala 作为开发语言的开源大数据项目，通常我们推荐使用 Java 来作为开发语言，Maven 作为编译 ...

批处理代码： 流处理代码： ...