花费 30 ms
spark 实现HDFS小文件合并

一、首先使用sparksql读取需要合并的数据。当然有两种情况,   一种是读取全部数据,即需要合并所有小文件。   第二种是合并部分数据,比如只查询某一天的数据,只合并某一个天分区下的小文件。 ...

Wed Jan 05 06:20:00 CST 2022 0 1542
sparksql insert 语句注意事项

我们在使用mysql进行插入操作时,可以使用如下语法: 列的数量是可变的,是可以指定的。 但使用spqrksql进行插入操作时,不能指定任意数量的列,必须插入包含全部列的记录,spa ...

Fri Dec 17 05:50:00 CST 2021 0 1176

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM