在該語句之前加上repartition(1),即寫作以下形式:
rdd.repartition(1).saveAsTextFile("out.txt")即,之前每個partition保存成一個txt文件,現repartition成一個分區,然后再保存。
注意(未驗證):這個操作對於大文件來說,repartition(1)可能會導致某一個節點內存不足,超出的部分會臨時存放在硬盤中,影響saveAsTextFile存儲速度。
在該語句之前加上repartition(1),即寫作以下形式:
rdd.repartition(1).saveAsTextFile("out.txt")即,之前每個partition保存成一個txt文件,現repartition成一個分區,然后再保存。
注意(未驗證):這個操作對於大文件來說,repartition(1)可能會導致某一個節點內存不足,超出的部分會臨時存放在硬盤中,影響saveAsTextFile存儲速度。
本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。