當需要merge多個spark datafame的時候：
from functools import reduce
buff = []
for pdfs in [pdf1, pdf1,pdf3...]:
buff.append(pdfs)
mergeDF = reduce(lambda x,y: x.union(y), buff)
pySpark-merge多個dataframe
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。