Flink 根據數據集類型的不同將核心數據處理接口分為兩大類，一類是支持批計算的接口DataSet API，另外一類是支持流計算的接口 DataStream API。同時 Flink將數據處理接口抽象成四層，由上向下分別為SQL API、Table API、DataStream /DataSet ...

Flink作為流批統一的計算框架，在1.10中完成了大量batch相關的增強與改進。1.10可以說是第一個成熟的生產可用的Flink Batch SQL版本，它一掃之前Dataset的羸弱，從功能和性能上都有大幅改進，以下我從架構、外部系統集成、實踐三個方面進行闡述。 架構 Stack ...

前言 目前有許多數據分析的場景從批處理到流處理的演變， 雖然可以將批處理作為流處理的特殊情況來處理，但是分析無窮集的流數據通常需要思維方式的轉變並且具有其自己的術語（例如，“win ...

<dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink ...

參考這篇文章： https://www.sohu.com/a/196257023_470008 我們當時的目標就是要設計一款低延遲、exactly once、流和批統一的，能夠支撐足夠大體量 ...

原創文章，謝絕任何形式轉載，否則追究法律責任！ ​流的世界，有點亂，群雄逐鹿，流實在太多，看完這個馬上又冒出一個，也不知哪個才是真正的牛，據說Flink是位重量級選手，能流計算，還能批處理， 和其他伙伴關系也融洽的很，與HDFS/File/SQL/MQ往來都不在話下，今天我們就來實戰一把 ...

最近在研究 flink-cdc ，因為想到table api 的 cdc 都是針對單表，如果在同一個數據庫上，有很多表需要實時采集（比如： 100 張表），會不會對 mysql 造成壓力，如果 mysql 數據量又比較大，是不是會對 mysql 所在服務器造成磁盤和網絡的壓力。 對 binlog ...

Stream流式編程 Stream流 說到Stream便容易想到I/O Stream，而實際上，誰規定“流”就一定是“IO流”呢？在Java 8中，得益於Lambda所帶來的函數式編程，引入了一個全新的Stream概念，用於解決已有集合類庫既有的弊端 ...