一、小文件是如何产生的 1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。 2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。 3.数据源本身就包含大量的小文件。 二、小文件问题的影响 1.从Hive的角度看，小文件会开很多map，一个 ...

本文翻译自如下网址：http://jugnu-life.blogspot.com/2013/01/merging-small-files-in-hadoop.html，如需转载，请注明出处，谢谢！ 在讲述如何解决这个问题（小文件问题）之前，我们先总结一下问题是什么和它为什么会成为一个问题 ...

查找HDFS有哪些小文件以及统计数量 hdfs 导出fsimage文件 hdfs dfsadmin -fetchImage /data 转换为可视化数据 hdfs oiv -i /data/fsimage_0000000000930647029 -o /data/fsimage.csv ...