当需要merge多个spark datafame的时候：
from functools import reduce
buff = []
for pdfs in [pdf1, pdf1,pdf3...]:
buff.append(pdfs)
mergeDF = reduce(lambda x,y: x.union(y), buff)
pySpark-merge多个dataframe
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。