Spark任務提交源碼分析
用戶端執行 以下是一個以spark on yarn Cluster模式提交命令，本系列文章所有分析都是基於spark on yarn Cluster模式，spark版本：2.4.0 spark-submit是一個shell腳本，其內容如下： spark-submit提交的參數最終都會 ...
原文：通過 spark.files 傳入spark任務依賴的文件源碼分析
版本：spak . 相關源碼：org.apache.spark.SparkContext 在創建spark任務時候，往往會指定一些依賴文件，通常我們可以在spark submit腳本使用 files path to file指定來實現。 但是公司產品的架構是通過livy來調spark任務，livy的實現其實是對spark submit的一個包裝，所以如何指定依賴文件歸根到底還是在spark這邊。既 ...
2019-09-21 16:34 0 489 推薦指數：
相關推薦
Spark源碼分析之Spark Shell（上）
終於開始看Spark源碼了，先從最常用的spark-shell腳本開始吧。不要覺得一個啟動腳本有什么東東，其實里面還是有很多知識點的。另外，從啟動腳本入手，是尋找代碼入口最簡單的方法，很多開源框架，其實都可以通過這種方式來尋找源碼入口。 先來介紹一下Spark-shell是什么 ...
Spark源碼分析 – Checkpoint
CP的步驟 1. 首先如果RDD需要CP, 調用RDD.checkpoint()來mark 注釋說了, 這個需要在Job被執行前被mark, 原因后面看, 並且最好選擇persist這個RDD, 否則在存CP文件時需要重新computeRDD內容 並且當RDD被CP后, 所有 ...
Spark源碼分析 – SparkContext
Spark源碼分析之-scheduler模塊 這位寫的非常好, 讓我對Spark的源碼分析, 變的輕松了許多 這里自己再梳理一遍 先看一個簡單的spark操作, 1. SparkContext 這是Spark的入口, 任何需要使用Spark的地方都需要先創建 ...
Spark源碼分析 – Shuffle
參考詳細探究Spark的shuffle實現, 寫的很清楚, 當前設計的來龍去脈 Hadoop Hadoop的思路是, 在mapper端每次當memory buffer中的數據快滿的時候, 先將memory中的數據, 按partition進行划分, 然后各自存成小文件, 這樣當buffer ...
spark 源碼分析之一 -- RDD的四種依賴關系
RDD的四種依賴關系 RDD四種依賴關系，分別是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四種依賴關系。如下圖所示：org.apache.spark.Dependency有兩個一級子類，分別 ...
Spark源碼系列（九）spark源碼分析以及優化
第一章、spark源碼分析之RDD四種依賴關系 一、RDD四種依賴關系 RDD四種依賴關系，分別是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四種依賴關系。如下圖所示 ...
Spark源碼分析 -- PairRDD
和一般RDD最大的不同就是有兩個泛型參數, [K, V]表示pair的概念 關鍵的function是, combineByKey, 所有pair相關操作的抽象 combine是這樣的操作, Turn ...