Spark学习之路 （八）SparkCore的调优之开发调优
摘抄自：https://tech.meituan.com/spark-tuning-basic.html 前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算 ...
原文：Spark学习之路 （十一）SparkCore的调优之Spark内存模型
摘抄自：https: www.ibm.com developerworks cn analytics library ba cn apache spark memory management index.html 一 概述 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行 ...
2018-04-26 21:33 1 11851 推荐指数：
相关推荐
Spark学习之路 （九）SparkCore的调优之数据倾斜调优
摘抄自：https://tech.meituan.com/spark-tuning-pro.html 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题 ...
Spark学习之路 （十）SparkCore的调优之Shuffle调优
过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数 ...
Spark学习之路 （十二）SparkCore的调优之资源调优
摘抄自：https://tech.meituan.com/spark-tuning-basic.html 一、概述 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置 ...
Spark学习之路 （十三）SparkCore的调优之资源调优JVM的基本架构
一、JVM的结构图 1.1 Java内存结构 JVM内存结构主要有三大块：堆内存、方法区和栈。 堆内存是JVM中最大的一块由年轻代和老年代组成，而年轻代内存又被分成三部分，Eden空间、From Survivor空间、To Survivor空间,默认情况下年轻代按照8:1:1的比例来分配 ...
Spark学习之路 （十四）SparkCore的调优之资源调优JVM的GC垃圾收集器
一、概述 垃圾收集 Garbage Collection 通常被称为“GC”，它诞生于1960年 MIT 的 Lisp 语言，经过半个多世纪，目前已经十分成熟了。 jvm 中，程序计数器、虚拟机栈、本地方法栈都是随线程而生随线程而灭，栈帧随着方法的进入和退出做入栈和出栈操作，实现了自动的内存 ...
Spark（七）Spark内存调优
一、概述 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理 ...
【Spark调优】内存模型与参数调优
【Spark内存模型】 Spark在一个executor中的内存分为3块：storage内存、execution内存、other内存。 1. storage内存：存储broadcast，cache，persist数据的地方。 2. execution内存：执行内存，join ...