spark 2.1.1 spark應用中有一些task非常慢,持續10個小時,有一個task日志如下: 2019-01-24 21:38:56,024 [dispatcher-event-l ...
spring項目中將sessionid對應的cookie過期時間設置很長,但是實際session還是在半個小時后失效,跟了一下代碼,spring中session實現接口為 org.springframework.session.SessionRepository 這個接口有兩個實現類: MapSessionRepositoryRedisOperationsSessionRepository 單機環 ...
2019-07-10 14:29 0 1117 推薦指數:
spark 2.1.1 spark應用中有一些task非常慢,持續10個小時,有一個task日志如下: 2019-01-24 21:38:56,024 [dispatcher-event-l ...
Spark2.1.1 最近運行spark任務時會發現任務經常運行很久,具體job如下: Job Id ▾ Description Sub ...
問題現象:hive執行sql報錯 select count(*) from test_hive_table; 報錯 Error: java.io.IOException ...
hive2.3.4 presto0.215 使用hive2.3.4的beeline連接presto報錯 增加--verbose查看詳細報錯 這里是connec ...
kafka reassign過程詳見:reassign過程 最近kafka集群發生reassign過程卡住的情況,問題發生過程如下 問題日志 2021-07-16 10:35:41,193 INFO kafka.controller.KafkaController ...
mysql啟動失敗,一直crash,報錯如下: 2019-03-14T11:15:12.937923Z 0 [Note] InnoDB: Uncompressed page, stored c ...
最近hbase集群很多region server掛掉,查看其中一個RegionServer1日志發現,17:17:14掛的時候服務器壓力很大,有大量的responseTooSlow,也有不少gc,但是 ...
當兩個表需要join時,如果一個是大表,一個是小表,正常的map-reduce流程需要shuffle,這會導致大表數據在節點間網絡傳輸,常見的優化方式是將小表讀到內存中並廣播到大表處理,避免shuffle+reduce; 在hive中叫mapjoin(map-side join),配置 ...