广播变量使用注意事项


变量一旦被定义成广播变量,那么这个变量只能读,不能被修改

RDD是不能被广播出去的,因为RDD是不存储数据的,可以将rdd的结果广播出去

广播变量只能在driver端定义,不能在executor端定义

在Driver端可以修改广播变量的值,在Executor端无法修改广播变量的值。

如果executor端用到了Driver的变量,如果不使用广播变量在Executor有多少task就有多少Driver端的变量副本。

如果Executor端用到了Driver的变量,如果使用广播变量在每个Executor中只有一份Driver端的变量副本。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM