问题重现 写文件之后发现文件是压缩过的 write时首先会获取hadoopConf，然后从中获取是否压缩以及压缩格式 org.apache.spark.sql.execution.datasources.DataSource org.apache.spark.sql.execution.datasources.InsertIntoHadoopFsRelationCommand org.apache ...
2018-12-12 17:25 0 1411 推荐指数：
spark查orc格式的数据有时会报这个错 Caused by: java.lang.NullPointerException at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat$BISplitStrategy.getSplits ...
最近在hdfs写文件的时候发现一个问题，create写入正常，append写入报错，每次都能重现，代码示例如下： 通过hdfs fsck命令检查出问题的文件，发现只有一个副本，难道是因为这个？ 看FileSystem.append执行过程 ...
最近提交一个spark应用之后发现执行非常慢，点开spark web ui之后发现卡在一个job的一个stage上，这个stage有100000个task，但是绝大部分task都分配到两个executor上，其他executor非常空闲，what happened？ 查看spark task分配 ...
最近把一些sql执行从hive改到spark，发现执行更慢，sql主要是一些insert overwrite操作，从执行计划看到，用到InsertIntoHiveTable spark-sql> explain insert overwrite table test2 select ...
Spark2.1.1 最近运行spark任务时会发现任务经常运行很久，具体job如下： Job Id ▾ Description Submitted Duration Stages: Succeeded ...
spark 2.1.1 spark应用中有一些task非常慢，持续10个小时，有一个task日志如下： 2019-01-24 21:38:56,024 [dispatcher-event-loop-22] INFO ...
spark sql执行insert overwrite table时，写到新表或者新分区的文件个数，有可能是200个，也有可能是任意个，为什么会有这种差别？ 首先看一下spark sql执行insert overwrite table流程： 1 创建临时目录 ...
问题现象：hive执行sql报错 select count(*) from test_hive_table; 报错 Error: java.io.IOException ...
