花费 6 ms
spark任务在executor端的运行过程分析

CoarseGrainedExecutorBackend 上一篇,我们主要分析了一次作业的提交过程,严格说是在driver端的过程,作业提交之后经过DAGScheduler根据shuffle依赖关系 ...

Tue Jun 04 08:48:00 CST 2019 0 2622
spark任务运行完成后在driver端的处理逻辑

回顾 上一篇,我们分析了了任务在executor端的运行流程,任务运行结束后,在Executor.launchTask方法最后,通过调用execBackend.statusUpdate方法将任务结果 ...

Thu Jun 06 08:03:00 CST 2019 0 859
spark存储模块之内存存储--MemeoryStore

MemeoryStore 上一节,我们对BlockManager的主要写入方法做了一个整理,知道了BlockMananger的主要写入逻辑,以及对于块信息的管理。但是,由于spark的整个存储模块是 ...

Wed Jun 12 07:02:00 CST 2019 0 559

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM