RDD中的action的foreach、collect、collectAsMap、reduceByKeyLocally、lookup -- (視頻筆記)


foreach(較常用)

直接循環遍歷RDD中的元素

collect (較常用)
將RDD中的數據收集起來,變成一個Array,僅限數據量比較小的時候。

collectAsMap()
返回hashMap包含所有RDD中的分片,key如果重復,后邊的元素會覆蓋前面的元素。

reduceByKeyLocally
先執行reduce然后在執行collectAsMap

lookup(較常用) 查找
針對key-value類型的RDD
lookup(V1) 從RDD中找出V1元素。
先查看RDD中是否有分區器,再從分區中找到結果。
如果RDD不包含分區器,則是暴力掃描。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM