1、 在数据采集的时候，就将小文件或小批数据合成大文件再上传 HDFS
2、 在业务处理之前，在 HDFS 上使用 MapReduce 程序对小文件进行合并
3、 在 MapReduce 处理时，可采用 CombineFileInputFormat 提高效率
HDFS小文件常见处理办法
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。
1、 在数据采集的时候，就将小文件或小批数据合成大文件再上传 HDFS
2、 在业务处理之前，在 HDFS 上使用 MapReduce 程序对小文件进行合并
3、 在 MapReduce 处理时，可采用 CombineFileInputFormat 提高效率
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。