Spark读取HDFS小文件优化

Spark读取HDFS目录，若该目录下存在大量小文件时，每个文件都会生成一个Task，当存在大量任务时，可能存在性能不足的问题，可以使用CombineTextInputFormat类代替TextInp ...