Spark 可以跑在很多集群上，比如跑在local上，跑在Standalone上，跑在Apache Mesos上，跑在Hadoop YARN上等等。不管你Spark跑在什么上面，它的代码都是一样的，区别只是–master的时候不一样。其中Spark on YARN是工作中或生产上用的非常多的一种 ...

1、背景： 在已经配置了spark history的基础上，我们已经成功运行了spark了，通过yarn web ui界面任务的Tracking URL：History链接去查看任务历史运行情况，发现点击后还是在当前页 例如： 原因是： 我们在运行spark任务后，默认是由AM ...

　　当Spark程序在运行时，会提供一个Web页面查看Application运行状态信息。是否开启UI界面由参数spark.ui.enabled(默认为true)来确定。下面列出Spark UI一些相关配置参数，默认值，以及其作用。 参数 默认值 ...

spark on yarn 的执行过程在 yarn RM 上无法直接查看，即 http://192.168.10.10:8088，这对于调试程序很不方便，所以需要手动配置 配置方法 1. 配置 spark-defaults.conf 添加如下配置 ...

1.远程集群测试 2.非集群，单机测试。 3.给项目打包 4.运行自己打的项目jar包(下面以 spark221.jar 为例) 示例2: Ⅰ 打开sparkUI界面 1）首先启动打开一个spark-shell 就有 ...

在sbin中的start-master.sh 中更改了UI端口号，但是依然无法访问 后来才知道罪魁祸首是chrome浏览器，我晕！！！！ 改成火狐后就能正常访问了，真滴坑 ...

Spark集群环境配置 我们有2个节点，每个节点是一个worker，每个worker上启动一个Executor，其中Driver也跑在master上。每个Executor可使用的核数为2，可用的内存为2g，集群中所有Executor最大可用核数为4。 conf ...

Hadoop Yarn解析： 1. Yarn是Hadoop推出整个分布式（大数据）集群的资源管理器，负责资源的管理和分配，基于Yarn，我们可以在同一个大数据集群上同时运行多个计算框架。例如：Spark、MapReduce、Storm等 2. Yarn基本工作流程： 注意 ...