SparkUI和Spark Master的高可用搭建
SparkUI界面介绍 可以指定提交Application的名称 ./spark-shell --master spark://node1:7077 --name myapp 配置historyServer 临时配置，对本次提交 ...
原文：spark的sparkUI如何解读？
spark的sparkUI如何解读 以spark . . 来做例子 Job schedule mode 进入之后默认是进入spark job 页面 这个说明有很详细的解释，spark有两种操作算子：转换算子 transformation 和执行算子 Action 。当执行到行为算子的时候，就出发了一个Job作业，比如count 和saveAsTextFile 。 sparkJob页面头部有几个，最 ...
2017-11-01 07:44 0 4261 推荐指数：
相关推荐
Spark开发-SparkUI查看metric和日志
Spark UI Job: Stages: Executors 日志查看 注释： Spark SQL DAG图示 参考： ...
Spark2.2出现异常：ERROR SparkUI: Failed to bind SparkUI
详细错误信息如下： 错误原因： 每一个Spark任务都会占用一个SparkUI端口，默认为4040，如果被占用则依次递增端口重试。但是有个默认重试次数，为16次。16次重试都失败后，会放弃该任务的运行。 解决方法 初始化SparkConf时，添加conf.set ...
如何解读SQL Server日志(3/3)
如何查看被截断的日志 如果数据库做了日志备份操作，则日志会被截断，然后原来活动的VLF会被重用。使用sys.fn_dblog将会看不到任何被截断的日志。那如何查看日志备份中的日志呢？使用fn_dum ...
Spark RDD的依赖解读
在Spark中， RDD是有依赖关系的，这种依赖关系有两种类型 窄依赖(Narrow Dependency) 宽依赖(Wide Dependency) 以下图说明RDD的窄依赖和宽依赖 窄依赖 窄依赖指父RDD的每一个分区最多被一个子RDD的分区所用，表现为 一个 ...
ISO-8601 如何解读
ISO-8601 是国际标准化组织提供的一个有关时间表示的规范。 如下：1970-01-01T00:00:00Z 可能是我们最常看到的格式了，这个表示的是一个 Epoch 时间，其实也不完全一定是，因为在上面没有表示出毫秒。 关于上面的时间格式解读如下： T 为日期和时间的分隔符，无 ...
如何解读SQL Server日志(1/3)
SQL Server 的事务日志包含所有数据修改的操作记录。分析日志一般作为解决某些问题的最后手段，如查看某些意外的修改。理解和分析日志内容是件非常困难的事情，fn_dblog通常会输出非常多的数据， ...
Spark：java.net.BindException: Address already in use: Service 'SparkUI' failed after 16 retries!
Spark多任务提交运行时候报错。 错误原因： 每一个Spark任务都会占用一个SparkUI端口，默认为4040，如果被占用则依次递增端口重试。但是有个默认重试次数，为16次。16次重试都失败后，会放弃该任务的运行。 解决方法 ...