一、前言 　　個人感覺學習Flink其實最不應該錯過的博文是Flink社區的博文系列，里面的文章是不會讓人失望的。強烈安利：https://ververica.cn/developers-resources/。　　 　　本文是自己第一次嘗試寫源碼閱讀的文章，會努力將原理和源碼實現流程結合起來 ...

1. 概述 當向Flink集群提交用戶作業時，從用戶角度看，只需要作業處理邏輯正確，輸出正確的結果即可；而不用關心作業何時被調度的，作業申請的資源又是如何被分配的以及作業何時會結束；但是了解作業在運行時的具體行為對於我們深入了解Flink原理有非常大的幫助，並且對我們如何編寫更合理的作業邏輯 ...

前言：本文是我學習Spark 源碼與內部原理用，同時也希望能給新手一些幫助，入道不深，如有遺漏或錯誤的，請在原文評論或者發送至我的郵箱 tongzhenguotongzhenguo@gmail.com 摘要： 　　1.作業調度核心——DAGScheduler ...

目錄 概述 跨應用調度 靜態資源分隔 Standalone mode Mesos YARN 動態資源分配 how to do 動態移除executor ...

先來先服務調度算法 先來先服務（FCFS）調度算法是一種最簡單的調度算法，該算法既可用於作業調度，也可用於進程調度。采用FCFS算法，每次從后備隊列中選擇一個或多個最先進入該隊列的作業，將他們調入內存，為他們分配資源，創建進程，然后放入就緒隊列。在進程調度中采用FCFS算法時，則每次調度是從就緒 ...

一、調度分類 調度分為兩種，一是應用之間的，二是應用內部作業的。 （一）應用之間 我們前面幾章有說過，一個spark-submit提交的是一個應用，不同的應用之間是有調度的，這個就由資源分配者來調度。如果我們使用Yarn，那么就由Yarn來調度。調度方式的配置就在$HADOOP_HOME ...

1.概述 　　在調度 Hadoop 的相關作業時，有以下幾種方式： 基於 Linux 系統級別的 Crontab。 Java 應用級別的 Quartz。 第三方的調度系統。 自行開發 Hadoop 應用調度系統。 　　對於前兩種，使用 Crontab 和 Quartz ...

介紹 在實際項目使用中quartz.net中，都希望有一個管理界面可以動態添加job，而避免每次都要上線發布。 也看到有園子的同學問過。這里就介紹下實現動態添加job的幾種方式， 也是二次開發的核心模塊。 閱讀目錄： 傳統方式 框架反射方式 進程方式 URL方式 ...