distinct的底层使用reducebykey巧妙实现去重逻辑
//使用reduceByKey或者groupbykey的shuffle去重思想
rdd.map(key=>(key,null)).reduceByKey((key,value)=>key)
.map(_._1)
spark：distinct算子实现原理
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。
distinct的底层使用reducebykey巧妙实现去重逻辑
//使用reduceByKey或者groupbykey的shuffle去重思想
rdd.map(key=>(key,null)).reduceByKey((key,value)=>key)
.map(_._1)
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。