【原創】大叔問題定位分享（17）spark查orc格式數據偶爾報錯NullPointerException
spark查orc格式的數據有時會報這個錯 Caused by: java.lang.NullPointerException at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat$BISplitStrategy.getSplits ...
原文：【原創】大叔問題定位分享（15）spark寫parquet數據報錯ParquetEncodingException: empty fields are illegal, the field should be ommited completely instead
spark . . spark里執行sql報錯 insert overwrite table test parquet table select from dummy 報錯如下： org.apache.spark.SparkException: Task failed while writing rows. at org.apache.spark.sql.hive.SparkHiveDynamic ...
2018-12-18 15:08 1 1684 推薦指數：
相關推薦
【原創】大叔問題定位分享（16）spark寫數據到hive外部表報錯ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast
spark 2.1.1 spark在寫數據到hive外部表（底層數據在hbase中）時會報錯 Caused by: java.lang.ClassCastException ...
【原創】大叔問題定位分享（33）beeline連接presto報錯
hive2.3.4 presto0.215 使用hive2.3.4的beeline連接presto報錯 增加--verbose查看詳細報錯 這里是connect過程報錯，connect參數為 Usage: connect <url> ...
【原創】大叔問題定位分享（2）spark任務一定幾率報錯java.lang.NoSuchFieldError: HIVE_MOVE_FILES_THREAD_COUNT
最近用yarn cluster方式提交spark任務時，有時會報錯，報錯幾率是40%，報錯如下： 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User class threw exception ...
【原創】大叔問題定位分享（10）提交spark任務偶爾報錯 org.apache.spark.SparkException: A master URL must be set in your configuration
spark 2.1.1 一 問題重現 問題代碼示例 當如下3行代碼放到main外時 val sparkConf = new SparkConf().setAppName(getName) val sc = new SparkContext ...
【原創】大叔經驗分享（15）spark sql limit實現原理
之前討論過hive中limit的實現，詳見 https://www.cnblogs.com/barneywill/p/10109217.html下面看spark sql中limit的實現，首先看執行計划： spark-sql> explain select * from test1 ...
【原創】大叔問題定位分享（27）spark中rdd.cache
spark 2.1.1 spark應用中有一些task非常慢，持續10個小時，有一個task日志如下： 2019-01-24 21:38:56,024 [dispatcher-event-loop-22] INFO ...
【原創】大叔問題定位分享（19）spark task在executors上分布不均
最近提交一個spark應用之后發現執行非常慢，點開spark web ui之后發現卡在一個job的一個stage上，這個stage有100000個task，但是絕大部分task都分配到兩個executor上，其他executor非常空閑，what happened？ 查看spark task分配 ...