【原创】大叔经验分享（6）Oozie如何查看提交到Yarn上的任务日志
通过oozie job id可以查看流程详细信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程详细信息 ...
原文：【原创】大叔经验分享（46）用户提交任务到yarn报错
用户提交任务到yarn时有可能遇到下面的错误： Requested user anything is not whitelisted and has id ,which is below the minimum allowed 这是因为yarn中配置min.user.id ，yarn认为id小于 的是超级用户，yarn禁止超级用户提交任务 Each account must have a user ...
2019-03-30 17:12 0 1041 推荐指数：
相关推荐
【原创】大叔经验分享（19）spark on yarn提交任务之后执行进度总是10%
spark 2.1.1 系统中希望监控spark on yarn任务的执行进度，但是监控过程发现提交任务之后执行进度总是10%，直到执行成功或者失败，进度会突然变为100%，很神奇， 下面看spark on yarn任务提交过程： spark on yarn提交任务时会 ...
【原创】大叔经验分享（5）oozie提交spark任务如何添加依赖
spark任务添加依赖的方式： 1 如果是local方式运行，可以通过--jars来添加依赖； 2 如果是yarn方式运行，可以通过spark.yarn.jars来添加依赖； 这两种方式在oozie上都行不通，首先oozie上没办法也不应该通过local运行 ...
【原创】大叔经验分享（14）spark on yarn提交任务到集群后spark-submit进程一直等待
spark on yarn通过--deploy-mode cluster提交任务之后，应用已经在yarn上执行了，但是spark-submit提交进程还在，直到应用执行结束，提交进程才会退出，有时这会很不方便，并且不注意的话还会占用很多资源，比如提交spark streaming应用； 最近发现 ...
【原创】大叔经验分享（1）在yarn上查看hive完整执行sql
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务 ...
【原创】大叔经验分享（55）spark连接kudu报错
spark-2.4.2kudu-1.7.0 开始尝试 1）自己手工将jar加到classpath spark-2.4.2-bin-hadoop2.6+kudu-spark2_2.11-1.7. ...
【原创】大叔经验分享（51）docker报错Exited (137)
docker container启动失败，报错：Exited (137) *** ago，比如 Exited (137) 16 seconds ago 这时通过docker logs查不到任何日志，从mesos上看stderr相关的只有一句 I0409 16:56 ...
【原创】大叔经验分享（67）spring boot启动报错
spring boot 启动报错： 出现这个问题通常的原因工程中使用了多个开源jar，每个开源jar都有自己的日志实现方式，比如slf+log4j,slf+logback等，其中slf是一个抽象接口，有很多种实现，但是工程中只能有一种，解决方法在异常中已经提示 ...