【原創】大叔問題定位分享（33）beeline連接presto報錯
hive2.3.4 presto0.215 使用hive2.3.4的beeline連接presto報錯 增加--verbose查看詳細報錯 這里是connect過程報錯，connect參數為 Usage: connect <url> ...
原文：【原創】大叔問題定位分享（17）spark查orc格式數據偶爾報錯NullPointerException
spark查orc格式的數據有時會報這個錯 Caused by: java.lang.NullPointerException at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat BISplitStrategy.getSplits OrcInputFormat.java: at org.apache.hadoop.hive.ql.io.orc.Or ...
2018-12-19 11:36 0 1464 推薦指數：
相關推薦
【原創】大叔問題定位分享（15）spark寫parquet數據報錯ParquetEncodingException: empty fields are illegal, the field should be ommited completely instead
spark 2.1.1 spark里執行sql報錯 insert overwrite table test_parquet_table select * from dummy 報錯如下： org.apache.spark.SparkException: Task ...
【原創】大叔問題定位分享（12）Spark保存文本類型文件（text、csv、json等）到hdfs時為什么是壓縮格式的
問題重現 寫文件之后發現文件是壓縮過的 write時首先會獲取hadoopConf，然后從中獲取是否壓縮以及壓縮格式 org.apache.spark ...
【原創】大叔問題定位分享（2）spark任務一定幾率報錯java.lang.NoSuchFieldError: HIVE_MOVE_FILES_THREAD_COUNT
最近用yarn cluster方式提交spark任務時，有時會報錯，報錯幾率是40%，報錯如下： 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User class threw exception ...
【原創】大叔問題定位分享（10）提交spark任務偶爾報錯 org.apache.spark.SparkException: A master URL must be set in your configuration
spark 2.1.1 一 問題重現 問題代碼示例 當如下3行代碼放到main外時 val sparkConf = new SparkConf().setAppName(getName) val sc = new SparkContext ...
【原創】大叔問題定位分享（27）spark中rdd.cache
spark 2.1.1 spark應用中有一些task非常慢，持續10個小時，有一個task日志如下： 2019-01-24 21:38:56,024 [dispatcher-event-loop-22] INFO ...
【原創】大叔問題定位分享（19）spark task在executors上分布不均
最近提交一個spark應用之后發現執行非常慢，點開spark web ui之后發現卡在一個job的一個stage上，這個stage有100000個task，但是絕大部分task都分配到兩個executor上，其他executor非常空閑，what happened？ 查看spark task分配 ...
【原創】大叔問題定位分享（21）spark執行insert overwrite非常慢，比hive還要慢
最近把一些sql執行從hive改到spark，發現執行更慢，sql主要是一些insert overwrite操作，從執行計划看到，用到InsertIntoHiveTable spark-sql> explain insert overwrite table test2 select ...