【原创】大叔问题定位分享（7）Spark任务中Job进度卡住不动
Spark2.1.1 最近运行spark任务时会发现任务经常运行很久，具体job如下： Job Id ▾ Description Submitted Duration Stages: Succeeded ...
原文：【原创】大叔问题定位分享（27）spark中rdd.cache
spark . . spark应用中有一些task非常慢，持续 个小时，有一个task日志如下： : : , dispatcher event loop INFO org.apache.spark.executor.CoarseGrainedExecutorBackend Got assigned task : : , Executor task launch worker for task IN ...
2019-01-25 18:33 0 658 推荐指数：
相关推荐
【原创】大叔问题定位分享（11）Spark中对大表子查询加limit为什么会报Broadcast超时错误
为 hive.auto.convert.join 在spark中叫BroadcastHashJoin （bro ...
【原创】大叔经验分享（39）spark cache unpersist级联操作
问题：spark中如果有两个DataFrame（或者DataSet），DataFrameA依赖DataFrameB，并且两个DataFrame都进行了cache，将DataFrameB unpersist之后，DataFrameA的cache也会失效，官方解释如下： When ...
【原创】大叔问题定位分享（17）spark查orc格式数据偶尔报错NullPointerException
spark查orc格式的数据有时会报这个错 Caused by: java.lang.NullPointerException at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat$BISplitStrategy.getSplits ...
【原创】大叔问题定位分享（19）spark task在executors上分布不均
最近提交一个spark应用之后发现执行非常慢，点开spark web ui之后发现卡在一个job的一个stage上，这个stage有100000个task，但是绝大部分task都分配到两个executor上，其他executor非常空闲，what happened？ 查看spark task分配 ...
【原创】大叔问题定位分享（21）spark执行insert overwrite非常慢，比hive还要慢
最近把一些sql执行从hive改到spark，发现执行更慢，sql主要是一些insert overwrite操作，从执行计划看到，用到InsertIntoHiveTable spark-sql> explain insert overwrite table test2 select ...
【原创】大叔问题定位分享（13）HBase Region频繁下线
问题现象：hive执行sql报错 select count(*) from test_hive_table; 报错 Error: java.io.IOException ...
【原创】大叔问题定位分享（9）oozie提交spark任务报 java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/KafkaProducer
oozie中支持很多的action类型，比如spark、hive，对应的标签为： <spark xmlns="uri:oozie:spark-action:0.1"> ... oozie中sharelib用于存放每个action类型需要的依赖，可以查看当前 ...