1.集群遵循主(Master)-從(Worker)機構:在不同的集群管理器模式下,Master和Worker映射的內容有所不同
在Standalone模式下:主【Master守護進程】和從【Worker守護進程】
在on Yarn模式下:主【ResourceManager守護進程】和從【Nodemanager守護進程】
2.驅動器(Driver)和執行器(executor)
驅動器和執行器生命周期以應用為准。
驅動器節點和所有的執行器節點一起被稱為一個Spark 應用(application)。
3.集群管理器
4.驅動器作用:
1.應用程序的入口,它執行用戶編寫的用來創建SparkContext、創建RDD,以及進行RDD的轉化操作和行動操作的代碼。
2.將程序(對RDD處理)轉換為任務(Task)
Spark 驅動器程序負責把用戶程序轉為多個物理執行的單元,這些單元也被稱為任務task
Spark 程序其實是隱式地創建出了一個由操作組成的邏輯上的有向無環圖(Directed Acyclic Graph,簡稱DAG)
3.為執行器節點調度任務
5.執行器作用:
1.Spark執行器節點是一種工作進程,負責在Spark作業中運行任務,任務間相互獨立。
2.Spark應用啟動時,執行器節點就被同時啟動,並且始終伴隨着整個Spark應用的生命周期而存在。