Flink 根据数据集类型的不同将核心数据处理接口分为两大类，一类是支持批计算的接口DataSet API，另外一类是支持流计算的接口 DataStream API。同时 Flink将数据处理接口抽象成四层，由上向下分别为SQL API、Table API、DataStream /DataSet ...

Flink作为流批统一的计算框架，在1.10中完成了大量batch相关的增强与改进。1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本，它一扫之前Dataset的羸弱，从功能和性能上都有大幅改进，以下我从架构、外部系统集成、实践三个方面进行阐述。 架构 Stack ...

前言 目前有许多数据分析的场景从批处理到流处理的演变， 虽然可以将批处理作为流处理的特殊情况来处理，但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语（例如，“win ...

<dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink ...

参考这篇文章： https://www.sohu.com/a/196257023_470008 我们当时的目标就是要设计一款低延迟、exactly once、流和批统一的，能够支撑足够大体量 ...

原创文章，谢绝任何形式转载，否则追究法律责任！ ​流的世界，有点乱，群雄逐鹿，流实在太多，看完这个马上又冒出一个，也不知哪个才是真正的牛，据说Flink是位重量级选手，能流计算，还能批处理， 和其他伙伴关系也融洽的很，与HDFS/File/SQL/MQ往来都不在话下，今天我们就来实战一把 ...

最近在研究 flink-cdc ，因为想到table api 的 cdc 都是针对单表，如果在同一个数据库上，有很多表需要实时采集（比如： 100 张表），会不会对 mysql 造成压力，如果 mysql 数据量又比较大，是不是会对 mysql 所在服务器造成磁盘和网络的压力。 对 binlog ...

Stream流式编程 Stream流 说到Stream便容易想到I/O Stream，而实际上，谁规定“流”就一定是“IO流”呢？在Java 8中，得益于Lambda所带来的函数式编程，引入了一个全新的Stream概念，用于解决已有集合类库既有的弊端 ...