spark 2.1.1 spark应用中有一些task非常慢,持续10个小时,有一个task日志如下: 2019-01-24 21:38:56,024 [dispatcher-event-l ...
spring项目中将sessionid对应的cookie过期时间设置很长,但是实际session还是在半个小时后失效,跟了一下代码,spring中session实现接口为 org.springframework.session.SessionRepository 这个接口有两个实现类: MapSessionRepositoryRedisOperationsSessionRepository 单机环 ...
2019-07-10 14:29 0 1117 推荐指数:
spark 2.1.1 spark应用中有一些task非常慢,持续10个小时,有一个task日志如下: 2019-01-24 21:38:56,024 [dispatcher-event-l ...
Spark2.1.1 最近运行spark任务时会发现任务经常运行很久,具体job如下: Job Id ▾ Description Sub ...
问题现象:hive执行sql报错 select count(*) from test_hive_table; 报错 Error: java.io.IOException ...
hive2.3.4 presto0.215 使用hive2.3.4的beeline连接presto报错 增加--verbose查看详细报错 这里是connec ...
kafka reassign过程详见:reassign过程 最近kafka集群发生reassign过程卡住的情况,问题发生过程如下 问题日志 2021-07-16 10:35:41,193 INFO kafka.controller.KafkaController ...
mysql启动失败,一直crash,报错如下: 2019-03-14T11:15:12.937923Z 0 [Note] InnoDB: Uncompressed page, stored c ...
最近hbase集群很多region server挂掉,查看其中一个RegionServer1日志发现,17:17:14挂的时候服务器压力很大,有大量的responseTooSlow,也有不少gc,但是 ...
当两个表需要join时,如果一个是大表,一个是小表,正常的map-reduce流程需要shuffle,这会导致大表数据在节点间网络传输,常见的优化方式是将小表读到内存中并广播到大表处理,避免shuffle+reduce; 在hive中叫mapjoin(map-side join),配置 ...