【原创】大叔问题定位分享（40）kafka reassign卡住
kafka reassign过程详见：reassign过程 最近kafka集群发生reassign过程卡住的情况，问题发生过程如下 问题日志 2021-07-16 10:35:41,193 INFO kafka.controller.KafkaController ...
原文：【原创】大叔问题定位分享（7）Spark任务中Job进度卡住不动
Spark . . 最近运行spark任务时会发现任务经常运行很久，具体job如下： Job Id Description Submitted Duration Stages: Succeeded Total Tasks for all stages : Succeeded Total kill treeReduce at CRFWithLBFGS.scala: : : . h job中正在运行的 ...
2018-12-03 18:21 0 2970 推荐指数：
相关推荐
【原创】大叔问题定位分享（27）spark中rdd.cache
spark 2.1.1 spark应用中有一些task非常慢，持续10个小时，有一个task日志如下： 2019-01-24 21:38:56,024 [dispatcher-event-loop-22] INFO ...
【原创】大叔问题定位分享（9）oozie提交spark任务报 java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/KafkaProducer
oozie中支持很多的action类型，比如spark、hive，对应的标签为： <spark xmlns="uri:oozie:spark-action:0.1"> ... oozie中sharelib用于存放每个action类型需要的依赖，可以查看当前 ...
【原创】大叔问题定位分享（2）spark任务一定几率报错java.lang.NoSuchFieldError: HIVE_MOVE_FILES_THREAD_COUNT
最近用yarn cluster方式提交spark任务时，有时会报错，报错几率是40%，报错如下： 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User class threw exception ...
【原创】大叔问题定位分享（23）Ambari安装向导点击下一步卡住
ambari安装第一步是输入集群name，点击next时页面卡住不动，如下图： 注意到其中一个接口请求结果异常，http://ambari.server:8080/api/v1/version_definitions 重现如下： curl -u admin:admin "http ...
【原创】大叔经验分享（19）spark on yarn提交任务之后执行进度总是10%
spark 2.1.1 系统中希望监控spark on yarn任务的执行进度，但是监控过程发现提交任务之后执行进度总是10%，直到执行成功或者失败，进度会突然变为100%，很神奇， 下面看spark on yarn任务提交过程： spark on yarn提交任务时会 ...
【原创】大叔问题定位分享（11）Spark中对大表子查询加limit为什么会报Broadcast超时错误
为 hive.auto.convert.join 在spark中叫BroadcastHashJoin （bro ...
【原创】大叔问题定位分享（10）提交spark任务偶尔报错 org.apache.spark.SparkException: A master URL must be set in your configuration
spark 2.1.1 一 问题重现 问题代码示例 当如下3行代码放到main外时 val sparkConf = new SparkConf().setAppName(getName) val sc = new SparkContext ...