花费 12 ms
spark之Executor与初始化SparkSession

关于Executor: 一个executor同时只能执行一个计算任务 但一个worker(物理节点)上可以同时运行多个executor executor的数量决定了同时处理任务的数量 一般来说 ...

Sat Jun 27 19:56:00 CST 2020 0 1065
Spark2.3.1中用各种模式来跑官方Demo

1 使用单机local模式提交任务 local模式也就是本地模式,也就是在本地机器上单机执行程序。使用这个模式的话,并不需要启动Hadoop集群,也不需要启动Spa ...

Fri Sep 28 22:57:00 CST 2018 0 1191
Spark 环境搭建

Spark 环境搭建 学习目标 1.了解Spark发展史 2.完成Spark环境搭建 3.掌握Spark入门案例-WordCount 4.完成将Spark任务提交到Yarn 1 ...

Tue Jan 05 17:06:00 CST 2021 0 374

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM