【原创】大叔经验分享（1）在yarn上查看hive完整执行sql
正在running，进入yarn的ApplicationMaster页面，进入job，点击configura ...
原文：【原创】大叔经验分享（4）Yarn ResourceManager页面如何实现主被自动切换
hdfs yarn hbase这些组件的master支持多个，实现自动主备切换，其中hdfs hbase无论访问主master或者备master都可以正常访问页面，但是yarn比较特别，只有主master的页面可以访问，备master会返回Refresh， s后重定向 一种方式是提供两个域名，分别对应两个yarn的master，一旦有master切换，需要手工切换到另外一个，有没有更好的方式 访问 ...
2018-12-12 16:54 0 656 推荐指数：
相关推荐
【原创】大叔经验分享（46）用户提交任务到yarn报错
用户提交任务到yarn时有可能遇到下面的错误： 1） Requested user anything is not whitelisted and has id 980,which is below the minimum allowed 1000 这是因为yarn中配置 ...
【原创】大叔经验分享（9）yarn重要配置yarn.nodemanager.local-dirs
yarn中有一个比较重要的配置yarn.nodemanager.local-dirs，如果配置的不好，在饱和状态运行下集群会出现很多问题：1 默认配置${hadoop.tmp.dir}/nm-local-dir，系统盘通常只有几百G，配置在这里会经常报磁盘空间不足的错误；2 配置到其中1个数据盘 ...
【原创】大叔经验分享（15）spark sql limit实现原理
之前讨论过hive中limit的实现，详见 https://www.cnblogs.com/barneywill/p/10109217.html下面看spark sql中limit的实现，首先看执行计划： spark-sql> explain select * from test1 ...
【原创】大叔经验分享（6）Oozie如何查看提交到Yarn上的任务日志
通过oozie job id可以查看流程详细信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程详细信息 ...
【原创】大叔经验分享（21）yarn中查看每个应用实时占用的内存和cpu资源
在yarn中的application详情页面 http://resourcemanager/cluster/app/$applicationId 或者通过application命令 yarn application -status $applicationId 只能 ...
【原创】大叔经验分享（19）spark on yarn提交任务之后执行进度总是10%
spark 2.1.1 系统中希望监控spark on yarn任务的执行进度，但是监控过程发现提交任务之后执行进度总是10%，直到执行成功或者失败，进度会突然变为100%，很神奇， 下面看spark on yarn任务提交过程： spark on yarn提交任务时会 ...
【原创】大叔经验分享（88）jenkins假死
jenkins安装启动后，使用systemctl来进行进程监控 # systemctl enable jenkins 但是还是经常发生jenkins进程挂了，不会自动重启，通过systemctl查看状态为： # systemctl status jenkins ...