[源碼分析] 從實例和源碼入手看 Flink 之廣播 Broadcast
[源碼分析] 從實例和源碼入手看 Flink 之廣播 Broadcast 0x00 摘要 本文將通過源碼分析和實例講解，帶領大家熟悉Flink的廣播變量機制。 0x01 業務需求 1. 場景需求 對黑名單中的IP進行檢測過濾。IP黑名單的內容會隨時增減，因此是可以隨時動態配置 ...
原文：[源碼分析] 從源碼入手看 Flink Watermark 之傳播過程
源碼分析 從源碼入手看 Flink Watermark 之傳播過程 x 摘要 本文將通過源碼分析，帶領大家熟悉Flink Watermark 之傳播過程，順便也可以對Flink整體邏輯有一個大致把握。 x 總述 從靜態角度講，watermarks是實現流式計算的核心概念 從動態角度說，watermarks貫穿整個流處理程序。所以為了講解watermarks的傳播，需要對flink的很多模塊 概念 ...
2020-02-22 17:13 0 2672 推薦指數：
相關推薦
Flink中watermark為什么選擇最小一條(源碼分析)
昨天在社區群看到有人問，為什么水印取最小的一條？這里分享一下自己的理解 首先水印一般是設置為：(事件時間 - 指定的值) 這里的作用是解決遲到數據的問題，從源碼來看一下它如何解決的 先來看下windowOperator.java接收到數據以后做了什么 在processElement方法中 ...
分析開源項目源碼，我們該如何入手分析？（授人以漁）
1 前言 本文接上篇文章跟大家聊聊我們為什么要學習源碼？學習源碼對我們有用嗎？，那么本篇文章再繼續跟小伙伴們聊聊源碼這個話題。 在工作之余開始寫SpringBoot源碼分析專欄前，跟小伙伴們聊聊“分析開源項目源碼，我們該如何入手分析？”這個話題，我們就隨便扯皮，反正是跟小伙伴們一起學習交流 ...
【源碼解析】Flink 是如何基於事件時間生成Timestamp和Watermark
生成Timestamp和Watermark 的三個重載方法介紹可參見上一篇博客： Flink assignAscendingTimestamps 生成水印的三個重載方法 之前想研究下Flink是怎么處理亂序的數據，看了相關的源碼，加上測試，發現得到了與預期完全不相同的結果。 預期是：亂序到達 ...
flink checkpoint 源碼分析 （一）
轉發請注明原創地址http://www.cnblogs.com/dongxiao-yang/p/8029356.html checkpoint是Flink Fault Tolerance機制的重要構成部分，flink checkpoint的核心類名為 ...
flink checkpoint 源碼分析 （二）
轉發請注明原創地址http://www.cnblogs.com/dongxiao-yang/p/8260370.html flink checkpoint 源碼分析 （一）一文主要講述了在JobManager端定時生成TriggerCheckpoint的代碼部分，本文繼續研究 ...
Flink中TaskManager端執行用戶邏輯過程(源碼分析)
TaskManager接收到來自JobManager的jobGraph轉換得到的TDD對象，啟動了任務，在StreamInputProcessor類的processInput()方法中 通過一個wh ...
Flink源碼閱讀（二）——checkpoint源碼分析
前言 在Flink原理——容錯機制一文中，已對checkpoint的機制有了較為基礎的介紹，本文着重從源碼方面去分析checkpoint的過程。當然本文只是分析做checkpoint的調度過程，只是盡量弄清楚整體的邏輯，沒有弄清楚其實現細節，還是有遺憾的，后期還是努力去分析實現細節。文中 ...