yarn中有一个比较重要的配置yarn.nodemanager.local dirs，如果配置的不好，在饱和状态运行下集群会出现很多问题： 默认配置 hadoop.tmp.dir nm local dir，系统盘通常只有几百G，配置在这里会经常报磁盘空间不足的错误 配置到其中 个数据盘，比如 data ，这个数据盘会经常没有响应，或者直接坏掉 正确的配置是配置到所有的数据盘，通常是 个，其实yar ...
2018-12-13 16:24 0 2621 推荐指数：
1. What is the recommended value for "yarn.nodemanager.resource.local-dirs"? We only have one value (directory) configured for the above property ...
用户提交任务到yarn时有可能遇到下面的错误： 1） Requested user anything is not whitelisted and has id 980,which is below the minimum allowed 1000 这是因为yarn中配置 ...
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务 ...
通过oozie job id可以查看流程详细信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程详细信息 ...
在yarn中的application详情页面 http://resourcemanager/cluster/app/$applicationId 或者通过application命令 yarn application -status $applicationId 只能 ...
hdfs、yarn、hbase这些组件的master支持多个，实现自动主备切换，其中hdfs、hbase无论访问主master或者备master都可以正常访问页面，但是yarn比较特别，只有主master的页面可以访问，备master会返回Refresh，3s后重定向； 一种方式是提供两个域名 ...
spark 2.1.1 系统中希望监控spark on yarn任务的执行进度，但是监控过程发现提交任务之后执行进度总是10%，直到执行成功或者失败，进度会突然变为100%，很神奇， 下面看spark on yarn任务提交过程： spark on yarn提交任务时会 ...
spark on yarn通过--deploy-mode cluster提交任务之后，应用已经在yarn上执行了，但是spark-submit提交进程还在，直到应用执行结束，提交进程才会退出，有时这会很不方便，并且不注意的话还会占用很多资源，比如提交spark streaming应用； 最近发现 ...
