Hadoop小文件影响及解决

一、小文件产生的原因

 　　当文件的大小远远小于HDFS block块的大小（hadoop2：128m）就可以当作是一个小文件；具体产生的原因包括一下：

　　　　1）实时计算时，如果窗口开的小，在hdfs上会产生很多小文件

　　　　2）离线计算，批处理时，在spark或者mr时，没有设置好partition或者reduce的个数，会产生小文件

　　　　3）Flume采集数据时，没有配置好具体的滚动策略，会产生小文件

　　　　4）数据源本身存在很多小文件

 

二、小文件的影响

　　1）元数据影响：namenode将文件系统的元数据存放在内存中，因此存储的文件数目受限于 namenode的内存大小。HDFS中每个文件、目录、数据块 占用150Bytes。如果存放的文件数目过多的话会占用很大的内存甚至撑爆内存;

 　   2）mr任务影响：在mapreduce中，对每个文件都会启动一个map task，如果小文件太多，影响性能；

　　3）在hdfs的读流程里，如果小文件越多，寻址花费的时间越多

 

三、如何处理小文件

• 在向hdfs写入数据前合并，包括map端合并小文件和reduce端合并小文件
  

  #设置map输入合并小文件的相关参数：
  
  //每个Map最大输入大小(这个值决定了合并后文件的数量,调大可以减小Mapper数),默认128M
  set mapred.max.split.size=1024*1024*512;  
  
  //一个节点上split的至少的大小(小于这个值会进行合并,这个值决定了多个DataNode上的文件是否需要合并)
  set mapred.min.split.size.per.node=1024*1024*512;
  
  //一个交换机下split的至少的大小(这个值决定了多个交换机上的文件是否需要合并)  
  set mapred.min.split.size.per.rack=100000000;
  
  //设置hive输入端进行小文件合并
  set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
  
  # 减少reduce的数量
  -- 除非知道数据量的分布，一般不直接设置
  set mapred.reduce.tasks=10;
  
  -- 每个reduce处理的数据量,实际上可能每个reduce 处理的数据量会超过它,默认1G 增加该参数，可以减小reduce数量
  set hive.exec.reducers.bytes.per.reducer=1073741824 
  
  
  # 设置map输出和reduce输出进行合并的相关参数：
  //设置map端输出进行合并，默认为true
  set hive.merge.mapfiles = true
  
  //设置reduce端输出进行合并，默认为false
  set hive.merge.mapredfiles = true
  
  //设置合并文件的大小
  set hive.merge.size.per.task = 256*1000*1000
  
  //当输出文件的平均大小小于该值时，启动一个独立的MapReduce任务进行文件merge。
  set hive.merge.smallfiles.avgsize=16000000

• 对hdfs上的已存在的小文件进行合并

　　　　1）Hadoop Archive小文件归档：

　　　　　　hadoop archive -archiveName event.har -p /app/event -r 3  sub_path sub_path2 /app/har

　　　　　　event.har ：归档文件的名称

　　　　　　/app/event：需要归档文件的父目录

　　　　　　sub_path: 子目录，可以是多个，中间用空格分隔

　　　　　　/app/har：存储的目录

　　　　　　

　　　　　　在归档结束之后，需要手动删除归档后的路径：

　　　　　　hdfs dfs -rmr /app/event/sub_path

　　　　2）CombineFileInputFormat<K,V> 小文件合并

　　　　3）手动合并，先将hdfs上的文件copy到本地，本地合并后在上传到hdfs

#!/bin/bash
bizdate=$1
path=$2
for (( i = 0; i < 10; i++ )); do
    bizhour="0${i}"
    echo "${bizdate} ${bizhour}"
    hdfs  dfs  -test -e /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=access/
    if [ $? -ne 1 ];
       then
         echo "进行hdfs操作"
         hdfs  dfs  -cat /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=access/part-00* | hdfs  dfs  -copyFromLocal - /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=access/part-11
         hdfs  dfs  -rmr /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=access/part-00*
    fi
    hdfs  dfs  -test -e /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=action/
    if [ $? -ne 1 ];
      then
        echo "进行hdfs操作"
        hdfs  dfs  -cat /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=action/part-00* | hdfs  dfs  -copyFromLocal - /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=action/part-11
        hdfs  dfs  -rmr /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=action/part-00*
    fi
done
for (( i = 10; i < 24; i++ )); do
    bizhour=${i}
    echo "${bizdate} ${bizhour}"
    hdfs  dfs  -test -e /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=access/
    if [ $? -ne 1 ];
       then
         echo "进行hdfs操作"
         hdfs  dfs  -cat /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=access/part-00* | hdfs  dfs  -copyFromLocal - /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=access/part-11
         hdfs  dfs  -rmr /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=access/part-00*
    fi
    hdfs  dfs  -test -e /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=action/
    if [ $? -ne 1 ];
      then
        echo "进行hdfs操作"
        hdfs  dfs  -cat /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=action/part-00* | hdfs  dfs  -copyFromLocal - /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=action/part-11
        hdfs  dfs  -rmr /${path}/bizdate=${bizdate}/bizhour=${bizhour}/log_type=action/part-00*
    fi
done