Flink 源碼解析 —— 深度解析 Flink 是如何管理好內存的？
前言 如今，許多用於分析大型數據集的開源系統都是用 Java 或者是基於 JVM 的編程語言實現的。最着名的例子是 Apache Hadoop，還有較新的框架，如 Apache Spark、Apache Drill、Apache Flink。基於 JVM 的數據分析引擎面臨的一個常見挑戰 ...
原文：Flink 源碼解析 —— 深度解析 Flink 序列化機制
Flink 序列化機制 https: t.zsxq.com JaQfeMf 博客 Flink 從 到 學習 Apache Flink 介紹 Flink 從 到 學習 Mac 上搭建 Flink . . 環境並構建運行簡單程序入門 Flink 從 到 學習 Flink 配置文件詳解 Flink 從 到 學習 Data Source 介紹 Flink 從 到 學習 如何自定義 Data Source ...
2019-08-13 21:48 0 379 推薦指數：
相關推薦
[源碼解析] 從TimeoutException看Flink的心跳機制
[源碼解析] 從TimeoutException看Flink的心跳機制 目錄 [源碼解析] 從TimeoutException看Flink的心跳機制 0x00 摘要 0x01 緣由 0x02 背景概念 2.1 四大 ...
Flink的類型與序列化
1.序言 Flink在內部以二進制的格式將數據保存，由於普通的Java對象類型和內部二進制格式不一致，需要一套相互轉換機制來進行序列化和反序列化。 2.DataStream類型系統 2.1 物理類型 Flink支持的物理類型如下圖所示： 分為基礎類型、數組類型、復合類型、輔助類型 ...
[白話解析] Flink的Watermark機制
[白話解析] Flink的Watermark機制 0x00 摘要 對於Flink來說，Watermark是個很難繞過去的概念。本文將從整體的思路上來說，運用感性直覺的思考來幫大家梳理Watermark概念。 0x01 問題 關於Watermark，很容易產生幾個問題 Flink 流 ...
flink on yarn部分源碼解析
轉發請注明原創地址：https://www.cnblogs.com/dongxiao-yang/p/9403427.html flink任務的deploy形式有很多種選擇，常見的有standalone，on yarn , Meos , Kubernetes等方式，目前公司內部統一采用 ...
Flink源碼解析(三)——從RM與TM的心跳交互分析Flink心跳機制
0. 說明 基於Flink 1.12 1. 背景知識 1.1 Actor模型 Flink底層RPC是通過AKKA實現的，AKKA是基於Actor模型實現的框架。下面，將大致介紹一下actor模型。 在Actor模型中，一切事物都是actor，一個actor是一個基本的計算單元，每個 ...
【源碼】Flink sql 流式去重源碼解析
本文基於 flink 1.12.0 之前嘗試了一下 flink sql 的 去重和Top n 功能，只是簡單的看了下官網，然后用 sql 實現了功能，但是還有些疑問沒有解決。比如：不使用 mini-batch 模式，去重的結果很單一，降序就只輸出第一條數據（升序就一直輸出最后一條） 為了解 ...
《Flink 源碼解析》—— 源碼編譯運行
更新一篇知識星球里面的源碼分析文章，去年寫的，周末自己錄了個視頻，大家看下效果好嗎？如果好的話，后面補錄發在知識星球里面的其他源碼解析文章。 前言 之前自己本地 clone 了 Flink 的源碼，編譯過，然后 share 到了 GitHub 上去了，自己也寫了一些源碼的中文注釋 ...