说明：这是hadoop2.x版本的参数。下面的value都是参数默认值。 常用配置： 配置文件常用配置： ...

要保证spark on yarn的稳定性，避免报错，就必须保证正确的配置，尤其是yarn-site.xml。 首先来理解一下yarn-site.xml各个参数的意义（引自董的博客） 注：下面<value>...</value>中的hadoop001都是 ...

...

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法 ...

yarn-site.xml 配置介绍yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocation-mb说明：单个容器可申请的最小与最大内存，应用在运行申请内存时不能超过最大值，小于最小值则分配最小值，从这个角度 ...

...

name value Description hadoop.job.history.location job历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹 ...

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法 ...