Spark 广播变量(broadcast)更新方法



Spark 广播变量(broadcast)更新方法
更新方法
spark 广播变量可以通过unpersist方法删除,然后重新广播

val map = sc.textFile("/test.txt").map(line => {
val arr = line.split(",")
(arr(0), arr(2).toInt)
}).distinct
var mapBC = sc.broadcast(map.take(10).toMap)
mapBC.unpersist
mapBC = sc.broadcast(map.take(2).toMap)

执行结果
map count: 192374
first broadcast: 10
second broadcast: 2


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM