[源碼解析] Flink UDAF 背后做了什么
[源碼解析] Flink UDAF 背后做了什么 目錄 [源碼解析] Flink UDAF 背后做了什么 0x00 摘要 0x01 概念 1.1 概念 1.2 疑問 1.3 UDAF示例代碼 ...
原文：[源碼解析] Flink的groupBy和reduce究竟做了什么
源碼解析 Flink的groupBy和reduce究竟做了什么 目錄 源碼解析 Flink的groupBy和reduce究竟做了什么 x 摘要 x 問題和概括 . 問題 . 概括 x 背景概念 . MapReduce細分 . MapReduce細分 . Combine . Partition . Shuffle . Reducer x 代碼 x 從Flink JAVA API入手挖掘 . Gro ...
2020-06-09 20:28 0 2654 推薦指數：
相關推薦
flink on yarn部分源碼解析
轉發請注明原創地址：https://www.cnblogs.com/dongxiao-yang/p/9403427.html flink任務的deploy形式有很多種選擇，常見的有standalone，on yarn , Meos , Kubernetes等方式，目前公司內部統一采用 ...
Flink GroupBy與Window的關系
不帶時間窗口的的groupby 會來一條數據進行一條數據的更新操作。這個時候結果是incrment的狀態，每次都是覆蓋（包含）了上次的結果。 帶時間窗口的groupby 會對時間窗口內的一批數據進行處理。這個結果是segment的狀態，與窗口個數對應。 ...
《Flink 源碼解析》—— 源碼編譯運行
更新一篇知識星球里面的源碼分析文章，去年寫的，周末自己錄了個視頻，大家看下效果好嗎？如果好的話，后面補錄發在知識星球里面的其他源碼解析文章。 前言 之前自己本地 clone 了 Flink 的源碼，編譯過，然后 share 到了 GitHub 上去了，自己也寫了一些源碼的中文注釋 ...
【源碼】Flink sql 流式去重源碼解析
本文基於 flink 1.12.0 之前嘗試了一下 flink sql 的 去重和Top n 功能，只是簡單的看了下官網，然后用 sql 實現了功能，但是還有些疑問沒有解決。比如：不使用 mini-batch 模式，去重的結果很單一，降序就只輸出第一條數據（升序就一直輸出最后一條） 為了解 ...
Flink 源碼解析 —— 深度解析 Flink 序列化機制
Flink 序列化機制 https://t.zsxq.com/JaQfeMf 博客 1、Flink 從0到1學習 —— Apache Flink 介紹 2、Flink 從0到1學習 —— Mac 上搭建 Flink 1.6.0 環境並構建運行簡單程序入門 3、Flink 從0到1學習 ...
Flink 源碼解析 —— 深度解析 Flink 是如何管理好內存的？
前言 如今，許多用於分析大型數據集的開源系統都是用 Java 或者是基於 JVM 的編程語言實現的。最着名的例子是 Apache Hadoop，還有較新的框架，如 Apache Spark、Apache Drill、Apache Flink。基於 JVM 的數據分析引擎面臨的一個常見挑戰 ...
【大數據】深入源碼解析Map Reduce的架構
這幾天學習了MapReduce，我參照資料，自己又畫了兩張MapReduce的架構圖。 這里我根據架構圖以及對應的源碼，來解釋一次分布式MapReduce的計算到底是怎么工作的。 話不多說，開始！ 首先，結合我畫的架構圖來進行解釋。 上圖是MapReduce ...