通用监控指标 对于每个RPC服务应该监控 RpcProcessingTimeAvgTime(PRC处理的平均时间) 通常hdfs在异常任务突发大量访问时，这个参数会突然变得很大，导致其他用户访问 ...

系统参数监控metrics load_one 每分钟的系统平均负载 load_fifteen 每15分钟的系统平均负载 load_five ...

Yarn metrics参数说明 获取Yarn jmx信息：curl -i http://xxx:8088/jmx Hadoop:service=ResourceManager,name=FSOp ...

set mapred.job.queue.name=pms; //设置队列set hive.exec.reducers.max=8; //设置最大的reducersset mapred.redu ...

HDFS balancer配置（可通过CM配置）dfs.datanode.balance.max.concurrent.moves 并行移动的block数量，默认5 dfs.datanode.ba ...

设置文件数配额 hdfs dfsadmin -setQuota <N> <directory>...<directory> 例如：设置目录下的文件总数为100 ...

在Hadoop2.0之前，HDFS的单NameNode设计带来诸多问题： 单点故障、内存受限，制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等 为了解决这些问题 ...

1. Map输入合并小文件对应参数：set mapred.max.split.size=256000000; #每个Map最大输入大小set mapred.min.split.size.per.no ...

【问题1】HBase Shell:ERROR: org.apache.hadoop.hbase.IPc.ServerNotRunningYetException: Server is not runn ...

分区表 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict;create tab ...