花費 36 ms
深入探究Spark -- 了解Executor和參數配置

創建與分配Executor的方式根據各種資源調度方式的不同而有差異,但拿到Executor后每種資源調度方式下的Executor的運作都一樣,並由Executor完成最終的計算 ...

Wed Mar 07 23:13:00 CST 2018 0 4553
spark-調節executor堆外內存

什么時候需要調節Executor的堆外內存大小? 當出現一下異常時: shuffle file cannot find,executor lost、task lost,out of memory 出 ...

Fri Jan 10 19:33:00 CST 2020 0 2644
Airflow速用

Airflow是Apache用python編寫的,用到了 flask框架及相關插件,rabbitmq,celery等(windows不兼容);、 主要實現的功能 編寫 定時任務,及任務 ...

Thu Oct 31 00:24:00 CST 2019 0 920
Java線程池 Executor框架概述

線程池的意義 循環利用線程資源,避免重復創建和銷毀線程 線程池的任務是異步執行的,只要提交完成就能快速返回,可以提高應用響應性 Java線程池還有一個很重要的意義:Java線程池就是J ...

Sun Apr 07 00:16:00 CST 2019 0 889
mybatis源碼解析9---執行器Executor解析

從前面分析我們知道了sql的具體執行是通過調用SqlSession接口的對應的方法去執行的,而SqlSession最終都是通過調用了自己的Executor對象的query和update去執行的。本文就 ...

Tue Mar 26 08:13:00 CST 2019 0 681
Spark2.1.0模型設計與基本架構(下)

閱讀提示:讀者如果對Spark的背景知識不是很了解的話,建議首先閱讀《SPARK2.1.0模型設計與基本架構(上)》一文。 Spark模型設計 1. Spark編程模型 正如Hadoop在介紹M ...

Sun Sep 30 01:53:00 CST 2018 0 772
mybatis源碼解析5---SqlSession解析

由之前解析可知,mybatis啟動的時候會加載XML配置文件解析生成全局配置對象Configuration對象,SqlSessionFactoryBuilder類會根據Configuration對象創 ...

Wed Aug 15 22:15:00 CST 2018 0 741

 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM