spark中union 和 unionAll看起来相似，但是实际上操作上结果上都有区别。
union会把数据都扫一遍，然后剔除重复的数据；
然而unionAll直接把两份数据粘贴返回，时间上会快很多。
通过交并补来理解：
union是返回两个数据集的并集，不包括重复行，要求列数要一样，类型可以不同
unionAll是返回两个数据集的并集，包括重复行
Intersect是返回两个数据集的交集，不包括重复行
Minus是返回两个数据集的差集，不包括重复行
pyspark中union和union all
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。