Flink中異步AsyncIO的實現 (源碼分析)
先上張圖整體了解Flink中的異步io 阿里貢獻給flink的，優點就不說了嘛，官網上都有，就是寫庫不會柱塞性能更好 然后來看一下， Flink 中異步io主要分為兩種 一種是有序Ordered 一種是無序UNordered 主要區別是往下游output的順序（注意這里順序 ...
原文：Flink sql 之 AsyncIO與LookupJoin的幾個疑問 （源碼分析）
本文源碼基於flink . 被同事問到幾個關於AsyncIO和lookUp維表的問題所以翻了下源碼，從源碼的角度解惑這幾個問題 對於AsyncIO不了解的可以看看之前寫的這篇 Flink中異步AsyncIO的實現 源碼分析 問題一：AsyncIO 有 排序 非排序 模式，非排序模式數據會亂序，那水印waterMarker會亂序嗎 不想看源碼的先直接給出答案 ：不會亂序，接收到水印數據后非排序模式會 ...
2021-11-11 10:39 0 1161 推薦指數：
相關推薦
Flink sql 之 微批處理與MiniBatchIntervalInferRule (源碼分析)
本文源碼基於flink1.14 平台用戶在使用我們的flinkSql時經常會開啟minaBatch來優化狀態讀寫 所以從源碼的角度具體解讀一下miniBatch的原理 先看一下flinksql是如何觸發miniBatch的優化的 主要就是這個Calcite的rule了，來具體看一下 ...
Flink sql 之 兩階段聚合與 TwoStageOptimizedAggregateRule（源碼分析）
本文源碼基於flink1.14 上一篇文章分析了《flink的minibatch微批處理》的源碼 乘熱打鐵分析一下兩階段聚合的源碼，因為使用兩階段要先開啟minibatch，至於為什么后面會分析到 兩階段聚合的原理，還是簡單提一下 如下圖，當聚合發生熱點的時候，可以在聚合前，先進行一個本地 ...
flink checkpoint 源碼分析 （一）
轉發請注明原創地址http://www.cnblogs.com/dongxiao-yang/p/8029356.html checkpoint是Flink Fault Tolerance機制的重要構成部分，flink checkpoint的核心類名為 ...
flink checkpoint 源碼分析 （二）
轉發請注明原創地址http://www.cnblogs.com/dongxiao-yang/p/8260370.html flink checkpoint 源碼分析 （一）一文主要講述了在JobManager端定時生成TriggerCheckpoint的代碼部分，本文繼續研究 ...
Flink的JobManager啟動(源碼分析)
都知道Flink中的角色分為Jobmanager,TaskManger 在啟動腳本里面已經找到了jobmanager的啟動類org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint(local模式更簡單直接 ...
Flink的TaskManager啟動(源碼分析)
通過啟動腳本已經找到了TaskManager 的啟動類org.apache.flink.runtime.taskexecutor.TaskManagerRunner 來看一下它的main方法中 最后被start了起來 start其實是將taskManager 端的RPC服務 ...
【源碼】Flink sql 流式去重源碼解析
本文基於 flink 1.12.0 之前嘗試了一下 flink sql 的 去重和Top n 功能，只是簡單的看了下官網，然后用 sql 實現了功能，但是還有些疑問沒有解決。比如：不使用 mini-batch 模式，去重的結果很單一，降序就只輸出第一條數據（升序就一直輸出最后一條） 為了解 ...