【原创】大叔经验分享（1）在yarn上查看hive完整执行sql
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务 ...
原文：【原创】大叔经验分享（21）yarn中查看每个应用实时占用的内存和cpu资源
在yarn中的application详情页面 http: resourcemanager cluster app applicationId 或者通过application命令 yarn application status applicationId 只能看到应用启动以来占用的资源 时间统计，比如： Aggregate Resource Allocation : MB seconds, vcor ...
2019-01-10 16:54 1 5009 推荐指数：
相关推荐
【原创】大叔经验分享（6）Oozie如何查看提交到Yarn上的任务日志
通过oozie job id可以查看流程详细信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程详细信息如下： Job ID ...
【原创】大叔经验分享（46）用户提交任务到yarn报错
用户提交任务到yarn时有可能遇到下面的错误： 1） Requested user anything is not whitelisted and has id 980,which is below the minimum allowed 1000 这是因为yarn中配置 ...
【原创】大叔经验分享（59）kudu查看table size
kudu并没有命令可以直接查看每个table占用的空间，可以从cloudera manager上间接查看 CM is scrapping and aggregating the /metrics pages from the tablet server instances ...
【原创】大叔经验分享（9）yarn重要配置yarn.nodemanager.local-dirs
yarn中有一个比较重要的配置yarn.nodemanager.local-dirs，如果配置的不好，在饱和状态运行下集群会出现很多问题：1 默认配置${hadoop.tmp.dir}/nm-local-dir，系统盘通常只有几百G，配置在这里会经常报磁盘空间不足的错误；2 配置到其中1个数据盘 ...
【原创】大叔经验分享（48）oozie中通过shell执行impala
oozie中通过shell执行impala，脚本如下： 直接执行shell脚本正常，在oozie中执行报错： 按照提示修改PYTHON_EGG_CACHE即可 另外还可以通过beeline连接，则没有python的问题， 详见：https ...
【原创】大叔经验分享（19）spark on yarn提交任务之后执行进度总是10%
spark 2.1.1 系统中希望监控spark on yarn任务的执行进度，但是监控过程发现提交任务之后执行进度总是10%，直到执行成功或者失败，进度会突然变为100%，很神奇， 下面看spark on yarn任务提交过程： spark on yarn提交任务时会 ...
【原创】大叔经验分享（4）Yarn ResourceManager页面如何实现主被自动切换
hdfs、yarn、hbase这些组件的master支持多个，实现自动主备切换，其中hdfs、hbase无论访问主master或者备master都可以正常访问页面，但是yarn比较特别，只有主master的页面可以访问，备master会返回Refresh，3s后重定向； 一种方式是提供两个域名 ...