【原創】大叔問題定位分享（7）Spark任務中Job進度卡住不動
Spark2.1.1 最近運行spark任務時會發現任務經常運行很久，具體job如下： Job Id ▾ Description Submitted Duration Stages: Succeeded ...
原文：【原創】大叔問題定位分享（11）Spark中對大表子查詢加limit為什么會報Broadcast超時錯誤
當兩個表需要join時，如果一個是大表，一個是小表，正常的map reduce流程需要shuffle，這會導致大表數據在節點間網絡傳輸，常見的優化方式是將小表讀到內存中並廣播到大表處理，避免shuffle reduce 在hive中叫mapjoin map side join ，配置為 hive.auto.convert.join 在spark中叫BroadcastHashJoin broadca ...
2018-12-12 17:09 0 2721 推薦指數：
相關推薦
【原創】大叔問題定位分享（27）spark中rdd.cache
spark 2.1.1 spark應用中有一些task非常慢，持續10個小時，有一個task日志如下： 2019-01-24 21:38:56,024 [dispatcher-event-loop-22] INFO ...
【原創】大叔經驗分享（2）為什么hive在大表上加條件后執行limit很慢
問題重現 select id from big_table where name = 'sdlkfjalksdjfla' limit 100; 首先看執行計划： hive> explain select * from big_table where name ...
【原創】大叔經驗分享（15）spark sql limit實現原理
之前討論過hive中limit的實現，詳見 https://www.cnblogs.com/barneywill/p/10109217.html下面看spark sql中limit的實現，首先看執行計划： spark-sql> explain select * from test1 ...
【原創】大叔問題定位分享（19）spark task在executors上分布不均
最近提交一個spark應用之后發現執行非常慢，點開spark web ui之后發現卡在一個job的一個stage上，這個stage有100000個task，但是絕大部分task都分配到兩個executor上，其他executor非常空閑，what happened？ 查看spark task分配 ...
【原創】大叔問題定位分享（21）spark執行insert overwrite非常慢，比hive還要慢
最近把一些sql執行從hive改到spark，發現執行更慢，sql主要是一些insert overwrite操作，從執行計划看到，用到InsertIntoHiveTable spark-sql> explain insert overwrite table test2 select ...
【原創】大叔問題定位分享（17）spark查orc格式數據偶爾報錯NullPointerException
spark查orc格式的數據有時會報這個錯 Caused by: java.lang.NullPointerException at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat$BISplitStrategy.getSplits ...
【原創】大叔經驗分享（65）spark讀取不到hive表
spark 2.4.3 spark讀取hive表，步驟： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSupport SparkSession.builder.enableHiveSupport ...