Spark源码分析 之 Driver和Excutor是怎么跑起来的?(2.2.0版本)
今天抽空回顾了一下Spark相关的源码，本来想要了解一下Block的管理机制，但是看着看着就回到了SparkContext的创建与使用。正好之前没有正式的整理过这部分的内容，这次就顺带着回顾一下。 更多内容参考：我的大数据之路 Spark作为目前最流行的大数据计算框架，已经发展了几个 ...
原文：spark 2.3 导致driver OOM的一个SparkPlanGraphWrapper源码的bug
背景 长话短说，我们部门一个同事找到我，说他的spark . structured streaming程序频繁报OOM，从来没有坚持过超过三四天的，叫帮看一下。 这种事情一般我是不愿意看的，因为大部分情况下spark oom就那么几种可能： 数据量拉太大，executor内存爆了 shuffle过程中数据量太大，shuffle数太少，内存又爆了 闲着蛋疼调用collect之类的方法，把数据往di ...
2018-05-29 09:54 0 1319 推荐指数：
相关推荐
一个神奇的bug：OOM？优雅终止线程？系统内存占用较高？
摘要：该项目是DAYU平台的数据开发（DLF），数据开发中一个重要的功能就是ETL（数据清洗）。ETL由源端到目的端，中间的业务逻辑一般由用户自己编写的SQL模板实现，velocity是其中涉及的一种模板语言。 Velocity之OOM Velocity的基本使用 Velocity模板 ...
一个导致MGR数据混乱Bug的分析和修复
1、背景 MGR是个好东西，因为他从本质上解决了数据不一致的问题。不光是解决了问题，而且出自名门正派（Oracle的MySQL团队），对品质和后续的维护，我们是可以期待的。 但是在调研的过程中，发现有个严重的bug（https://bugs.mysql.com/bug.php?id=92690 ...
一个导致JVM物理内存消耗大的Bug
概述 最近我们公司在帮一个客户查一个JVM的问题(JDK1.8.0_191-b12)，发现一个系统老是被OS Kill掉，是内存泄露导致的。在查的过程中，阴差阳错地发现了JVM另外的一个Bug。这个Bug可能会导致大量物理内存被使用，我们已经反馈给了社区，并得到快速反馈，预计在OpenJDK8 ...
一个粗心的Bug，JSON格式不规范导致AJAX错误
一、事件回放 今天工作时碰到了一个奇怪的问题，这个问题很早很早以前也碰到过，不过没想到过这么久了竟然又栽在这里。 当时正在联调一个项目，由于后端没有提供数据接口，于是我直接本地建立了一个 json 文件，然后把配置的URL指向这个json文件，文件内容 ...
Java中关于 BigDecimal 的一个导致double精度损失的"bug"
背景 在博客 恶心的0.5四舍五入问题 一文中看到一个关于 0.5 不能正确的四舍五入的问题。主要说的是 double 转换到 BigDecimal 后，进行四舍五入得不到正确的结果： 输出 ...
Spark的Driver和Executor
Spark 框架有两个核心组件:Driver和Executor Driver:驱动整个应用运行起来的程序,也叫Driver类 将用户程序转化为作业（job） 在 Executor 之间调度任务(task) 跟踪 Executor 的执行情况 ...
firedac odbc sql server driver连接占线导致另一个hstmt
firedac odbc sql server driver连接占线导致另一个hstmt 原因：FDQuery.FetchOptions.Mode=fmOnDemand。好像是为了性能问题，不设置则默认先加载50条，这样实际上还没有加载完，后面又用了同一个连接再去操作另外一个FDQUERY就会 ...