最近提交一个spark应用之后发现执行非常慢，点开spark web ui之后发现卡在一个job的一个stage上，这个stage有 个task，但是绝大部分task都分配到两个executor上，其他executor非常空闲，what happened 查看spark task分配逻辑发现，有一个data locality即数据本地性的特性，详见 https: www.cnblogs.com b ...
2018-12-20 21:44 0 895 推荐指数：
spark查orc格式的数据有时会报这个错 Caused by: java.lang.NullPointerException at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat$BISplitStrategy.getSplits ...
spark 2.1.1 spark应用中有一些task非常慢，持续10个小时，有一个task日志如下： 2019-01-24 21:38:56,024 [dispatcher-event-loop-22] INFO ...
最近把一些sql执行从hive改到spark，发现执行更慢，sql主要是一些insert overwrite操作，从执行计划看到，用到InsertIntoHiveTable spark-sql> explain insert overwrite table test2 select ...
Spark2.1.1 最近运行spark任务时会发现任务经常运行很久，具体job如下： Job Id ▾ Description Submitted Duration Stages: Succeeded ...
问题现象：hive执行sql报错 select count(*) from test_hive_table; 报错 Error: java.io.IOException ...
hive2.3.4 presto0.215 使用hive2.3.4的beeline连接presto报错 增加--verbose查看详细报错 这里是connec ...
kafka reassign过程详见：reassign过程 最近kafka集群发生reassign过程卡住的情况，问题发生过程如下 问题日志 2021-07-16 10:35:41,193 INFO kafka.controller.KafkaController ...
mysql启动失败，一直crash，报错如下： 2019-03-14T11:15:12.937923Z 0 [Note] InnoDB: Uncompressed page, stored c ...
