花费 31 ms
深入探究Spark -- 了解Executor和参数配置

创建与分配Executor的方式根据各种资源调度方式的不同而有差异,但拿到Executor后每种资源调度方式下的Executor的运作都一样,并由Executor完成最终的计算 ...

Wed Mar 07 23:13:00 CST 2018 0 4553
spark-调节executor堆外内存

什么时候需要调节Executor的堆外内存大小? 当出现一下异常时: shuffle file cannot find,executor lost、task lost,out of memory 出 ...

Fri Jan 10 19:33:00 CST 2020 0 2644
Airflow速用

Airflow是Apache用python编写的,用到了 flask框架及相关插件,rabbitmq,celery等(windows不兼容);、 主要实现的功能 编写 定时任务,及任务 ...

Thu Oct 31 00:24:00 CST 2019 0 920
Java线程池 Executor框架概述

线程池的意义 循环利用线程资源,避免重复创建和销毁线程 线程池的任务是异步执行的,只要提交完成就能快速返回,可以提高应用响应性 Java线程池还有一个很重要的意义:Java线程池就是J ...

Sun Apr 07 00:16:00 CST 2019 0 889
mybatis源码解析9---执行器Executor解析

从前面分析我们知道了sql的具体执行是通过调用SqlSession接口的对应的方法去执行的,而SqlSession最终都是通过调用了自己的Executor对象的query和update去执行的。本文就 ...

Tue Mar 26 08:13:00 CST 2019 0 681
Spark2.1.0模型设计与基本架构(下)

阅读提示:读者如果对Spark的背景知识不是很了解的话,建议首先阅读《SPARK2.1.0模型设计与基本架构(上)》一文。 Spark模型设计 1. Spark编程模型 正如Hadoop在介绍M ...

Sun Sep 30 01:53:00 CST 2018 0 772
mybatis源码解析5---SqlSession解析

由之前解析可知,mybatis启动的时候会加载XML配置文件解析生成全局配置对象Configuration对象,SqlSessionFactoryBuilder类会根据Configuration对象创 ...

Wed Aug 15 22:15:00 CST 2018 0 741

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM