【原创】大叔经验分享（6）Oozie如何查看提交到Yarn上的任务日志
通过oozie job id可以查看流程详细信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程详细信息如下： Job ID ...
原文：【原创】大叔经验分享（5）oozie提交spark任务如何添加依赖
spark任务添加依赖的方式： 如果是local方式运行，可以通过 jars来添加依赖 如果是yarn方式运行，可以通过spark.yarn.jars来添加依赖 这两种方式在oozie上都行不通，首先oozie上没办法也不应该通过local运行，其次通过spark.yarn.jars方式配置你会发现根本不会生效，来看为什么 查看LauncherMapper的日志 Spark Version . . ...
2018-12-12 16:57 0 865 推荐指数：
相关推荐
【原创】大叔经验分享（19）spark on yarn提交任务之后执行进度总是10%
spark 2.1.1 系统中希望监控spark on yarn任务的执行进度，但是监控过程发现提交任务之后执行进度总是10%，直到执行成功或者失败，进度会突然变为100%，很神奇， 下面看spark on yarn任务提交过程： spark on yarn提交任务时会 ...
【原创】大叔问题定位分享（9）oozie提交spark任务报 java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/KafkaProducer
oozie中支持很多的action类型，比如spark、hive，对应的标签为： <spark xmlns="uri:oozie:spark-action:0.1"> ... oozie中sharelib用于存放每个action类型需要的依赖，可以查看当前 ...
【原创】大叔经验分享（46）用户提交任务到yarn报错
用户提交任务到yarn时有可能遇到下面的错误： 1） Requested user anything is not whitelisted and has id 980,which is below the minimum allowed 1000 这是因为yarn中配置 ...
【原创】大叔经验分享（14）spark on yarn提交任务到集群后spark-submit进程一直等待
spark on yarn通过--deploy-mode cluster提交任务之后，应用已经在yarn上执行了，但是spark-submit提交进程还在，直到应用执行结束，提交进程才会退出，有时这会很不方便，并且不注意的话还会占用很多资源，比如提交spark streaming应用； 最近发现 ...
【原创】大叔经验分享（48）oozie中通过shell执行impala
oozie中通过shell执行impala，脚本如下： 直接执行shell脚本正常，在oozie中执行报错： 按照提示修改PYTHON_EGG_CACHE即可 另外还可以通过beeline连接，则没有python的问题， 详见：https ...
【原创】大叔经验分享（55）spark连接kudu报错
spark-2.4.2kudu-1.7.0 开始尝试 1）自己手工将jar加到classpath spark-2.4.2-bin-hadoop2.6+kudu-spark2_2.11-1.7.0-cdh5.16.1.jar 2）采用官方的方式（将kudu版本改为1.7.0 ...
【原创】大叔经验分享（15）spark sql limit实现原理
之前讨论过hive中limit的实现，详见 https://www.cnblogs.com/barneywill/p/10109217.html下面看spark sql中limit的实现，首先看执行计划： spark-sql> explain select * from test1 ...