RDD中的action的foreach、collect、collectAsMap、reduceByKeyLocally、lookup -- (视频笔记)


foreach(较常用)

直接循环遍历RDD中的元素

collect (较常用)
将RDD中的数据收集起来,变成一个Array,仅限数据量比较小的时候。

collectAsMap()
返回hashMap包含所有RDD中的分片,key如果重复,后边的元素会覆盖前面的元素。

reduceByKeyLocally
先执行reduce然后在执行collectAsMap

lookup(较常用) 查找
针对key-value类型的RDD
lookup(V1) 从RDD中找出V1元素。
先查看RDD中是否有分区器,再从分区中找到结果。
如果RDD不包含分区器,则是暴力扫描。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM