Spark 廣播變量(broadcast)更新方法



Spark 廣播變量(broadcast)更新方法
更新方法
spark 廣播變量可以通過unpersist方法刪除,然后重新廣播

val map = sc.textFile("/test.txt").map(line => {
val arr = line.split(",")
(arr(0), arr(2).toInt)
}).distinct
var mapBC = sc.broadcast(map.take(10).toMap)
mapBC.unpersist
mapBC = sc.broadcast(map.take(2).toMap)

執行結果
map count: 192374
first broadcast: 10
second broadcast: 2


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM