spark web ui中的skipped的含義


顧名思義,跳出的意思啦。

例如如圖:

 

skipped的stages代表是已經執行過了。所以不需要再執行了。

 

如何,你有一個 testRdd。然后先做 testRdd.Filter("xxx").map("xx"), 這個是transform

然后再分別做了count和reduce操作。  這兩個都是action,第一次執行action時會執行transform,然后執行第二個action時,transform就會進行skipped


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM