spark推測機制及參數設置


推測執行機制

         推測任務是指對於一個Stage里面拖后腿的Task,會在其他節點的Executor上再次啟動這個task,如果其中一個Task實例運行成功則將這個最先完成的Task的計算結果作為最終結果,同時會干掉其他Executor上運行的實例。spark推測式執行默認是關閉的,可通過spark.speculation屬性來開啟

 

推測機制的設置

--conf spark.speculation=true
--conf spark.speculation.interval=100
--conf spark.speculation.quantile=0.9
--conf spark.speculation.multiplier=1.5

1. 當spark.speculation設置為true時,就會對task開啟推測執行,也就是在一個stage下跑的慢的tasks有機會重新啟動;

2. spark.speculation.interval,100ms,Spark檢測tasks推測機制的間隔時間;

3. spark.speculation.quantile,0.9,當一個stage下多少百分比的tasks運行完畢后才開啟推測執行機制,0.9即90%的任務都運行完畢后開啟推測執行;

4. spark.speculation.multiplier,1.5,一個task的運行時間是所有task的運行時間中位數的幾倍時,才會被認為該task需要重新啟動。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM