【原創】大叔問題定位分享（7）Spark任務中Job進度卡住不動
Spark2.1.1 最近運行spark任務時會發現任務經常運行很久，具體job如下： Job Id ▾ Description Submitted Duration Stages: Succeeded ...
原文：【原創】大叔問題定位分享（27）spark中rdd.cache
spark . . spark應用中有一些task非常慢，持續 個小時，有一個task日志如下： : : , dispatcher event loop INFO org.apache.spark.executor.CoarseGrainedExecutorBackend Got assigned task : : , Executor task launch worker for task IN ...
2019-01-25 18:33 0 658 推薦指數：
相關推薦
【原創】大叔問題定位分享（11）Spark中對大表子查詢加limit為什么會報Broadcast超時錯誤
為 hive.auto.convert.join 在spark中叫BroadcastHashJoin （bro ...
【原創】大叔經驗分享（39）spark cache unpersist級聯操作
問題：spark中如果有兩個DataFrame（或者DataSet），DataFrameA依賴DataFrameB，並且兩個DataFrame都進行了cache，將DataFrameB unpersist之后，DataFrameA的cache也會失效，官方解釋如下： When ...
【原創】大叔問題定位分享（17）spark查orc格式數據偶爾報錯NullPointerException
spark查orc格式的數據有時會報這個錯 Caused by: java.lang.NullPointerException at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat$BISplitStrategy.getSplits ...
【原創】大叔問題定位分享（19）spark task在executors上分布不均
最近提交一個spark應用之后發現執行非常慢，點開spark web ui之后發現卡在一個job的一個stage上，這個stage有100000個task，但是絕大部分task都分配到兩個executor上，其他executor非常空閑，what happened？ 查看spark task分配 ...
【原創】大叔問題定位分享（21）spark執行insert overwrite非常慢，比hive還要慢
最近把一些sql執行從hive改到spark，發現執行更慢，sql主要是一些insert overwrite操作，從執行計划看到，用到InsertIntoHiveTable spark-sql> explain insert overwrite table test2 select ...
【原創】大叔問題定位分享（13）HBase Region頻繁下線
問題現象：hive執行sql報錯 select count(*) from test_hive_table; 報錯 Error: java.io.IOException ...
【原創】大叔問題定位分享（9）oozie提交spark任務報 java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/KafkaProducer
oozie中支持很多的action類型，比如spark、hive，對應的標簽為： <spark xmlns="uri:oozie:spark-action:0.1"> ... oozie中sharelib用於存放每個action類型需要的依賴，可以查看當前 ...