1.Flink中exactly once實現原理分析 　　生產者從kafka拉取數據以及消費者往kafka寫數據都需要保證exactly once。目前flink中支持exactly once的source不多，有kafka source；能實現exactly once的sink也不多 ...

View Code 2.雙流join 　補充： 　　Join、CoGroup和CoFlatMap這 ...

1. ProcessFunction 　　ProcessFunction是一個低級的流處理操作，可以訪問所有(非循環)流應用程序的基本構建塊: event(流元素) state(容錯，一 ...

3.1 模塊創建和數據准備 在UserBehaviorAnalysis下新建一個 maven module作為子項目，命名為NetworkTrafficAnalysis。在這個子模塊中，我們同樣並沒有引入更多的依賴，所以也不需要改動pom文件。 在src/main/目錄下，將默認源文件 ...

1、數據格式 View Code 2、處理類 3、Utils工具類 3、Utils工具類 ...

作者：吳雲濤，騰訊 CSIG 高級工程師導語 | 最近梳理了一下如何用 Flink 來實現實時的 UV、PV 指標的統計，並和公司內微視部門的同事交流。然后針對該場景做了簡化，並發現使用 Flink SQL 來 實現這些指標的統計會更加便捷。 一 解決方案描述 1.1 概述 本方案結合本地 ...

一、背景說明 在Flink中對流數據進行去重計算是常有操作，如流量域對獨立訪客之類的統計，去重思路一般有三個： 基於Hashset來實現去重 數據存在內存，容量小，服務重啟會丟失。 使用狀態編程ValueState/MapState實現去重 常用方式，可以使用內存/文件系統 ...

val df6 = spark.sql("select gender,children,max(age),avg(age),count(age) from Affairs group by Cu ...