【原創】大叔問題定位分享（40）kafka reassign卡住
kafka reassign過程詳見：reassign過程 最近kafka集群發生reassign過程卡住的情況，問題發生過程如下 問題日志 2021-07-16 10:35:41,193 INFO kafka.controller.KafkaController ...
原文：【原創】大叔問題定位分享（7）Spark任務中Job進度卡住不動
Spark . . 最近運行spark任務時會發現任務經常運行很久，具體job如下： Job Id Description Submitted Duration Stages: Succeeded Total Tasks for all stages : Succeeded Total kill treeReduce at CRFWithLBFGS.scala: : : . h job中正在運行的 ...
2018-12-03 18:21 0 2970 推薦指數：
相關推薦
【原創】大叔問題定位分享（27）spark中rdd.cache
spark 2.1.1 spark應用中有一些task非常慢，持續10個小時，有一個task日志如下： 2019-01-24 21:38:56,024 [dispatcher-event-loop-22] INFO ...
【原創】大叔問題定位分享（9）oozie提交spark任務報 java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/KafkaProducer
oozie中支持很多的action類型，比如spark、hive，對應的標簽為： <spark xmlns="uri:oozie:spark-action:0.1"> ... oozie中sharelib用於存放每個action類型需要的依賴，可以查看當前 ...
【原創】大叔問題定位分享（2）spark任務一定幾率報錯java.lang.NoSuchFieldError: HIVE_MOVE_FILES_THREAD_COUNT
最近用yarn cluster方式提交spark任務時，有時會報錯，報錯幾率是40%，報錯如下： 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User class threw exception ...
【原創】大叔問題定位分享（23）Ambari安裝向導點擊下一步卡住
ambari安裝第一步是輸入集群name，點擊next時頁面卡住不動，如下圖： 注意到其中一個接口請求結果異常，http://ambari.server:8080/api/v1/version_definitions 重現如下： curl -u admin:admin "http ...
【原創】大叔經驗分享（19）spark on yarn提交任務之后執行進度總是10%
spark 2.1.1 系統中希望監控spark on yarn任務的執行進度，但是監控過程發現提交任務之后執行進度總是10%，直到執行成功或者失敗，進度會突然變為100%，很神奇， 下面看spark on yarn任務提交過程： spark on yarn提交任務時會 ...
【原創】大叔問題定位分享（11）Spark中對大表子查詢加limit為什么會報Broadcast超時錯誤
為 hive.auto.convert.join 在spark中叫BroadcastHashJoin （bro ...
【原創】大叔問題定位分享（10）提交spark任務偶爾報錯 org.apache.spark.SparkException: A master URL must be set in your configuration
spark 2.1.1 一 問題重現 問題代碼示例 當如下3行代碼放到main外時 val sparkConf = new SparkConf().setAppName(getName) val sc = new SparkContext ...