集群模式相關概念


1.集群遵循主(Master)-從(Worker)機構:在不同的集群管理器模式下,Master和Worker映射的內容有所不同
  在Standalone模式下:主【Master守護進程】和從【Worker守護進程】
  在on Yarn模式下:主【ResourceManager守護進程】和從【Nodemanager守護進程】


2.驅動器(Driver)和執行器(executor)
  驅動器和執行器生命周期以應用為准。
  驅動器節點和所有的執行器節點一起被稱為一個Spark 應用(application)。


3.集群管理器


4.驅動器作用:
  1.應用程序的入口,它執行用戶編寫的用來創建SparkContext、創建RDD,以及進行RDD的轉化操作和行動操作的代碼。
  2.將程序(對RDD處理)轉換為任務(Task)
    Spark 驅動器程序負責把用戶程序轉為多個物理執行的單元,這些單元也被稱為任務task
    Spark 程序其實是隱式地創建出了一個由操作組成的邏輯上的有向無環圖(Directed Acyclic Graph,簡稱DAG)
  3.為執行器節點調度任務


5.執行器作用:
  1.Spark執行器節點是一種工作進程,負責在Spark作業中運行任務,任務間相互獨立。
  2.Spark應用啟動時,執行器節點就被同時啟動,並且始終伴隨着整個Spark應用的生命周期而存在。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM