Spark学习之路 （九）SparkCore的调优之数据倾斜调优
摘抄自：https://tech.meituan.com/spark-tuning-pro.html 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题 ...
原文：Spark学习之路 （八）SparkCore的调优之开发调优
摘抄自：https: tech.meituan.com spark tuning basic.html 前言 在大数据计算领域，Spark已经成为了越来越流行 越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理 SQL类处理 流式 实时计算 机器学习 图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团 大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数 ...
2018-04-25 19:07 0 8581 推荐指数：
相关推荐
Spark学习之路 （十）SparkCore的调优之Shuffle调优
过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数 ...
Spark学习之路 （十二）SparkCore的调优之资源调优
摘抄自：https://tech.meituan.com/spark-tuning-basic.html 一、概述 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置 ...
Spark学习之路 （十一）SparkCore的调优之Spark内存模型
系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序 ...
Spark学习之路 （十三）SparkCore的调优之资源调优JVM的基本架构
一、JVM的结构图 1.1 Java内存结构 JVM内存结构主要有三大块：堆内存、方法区和栈。 堆内存是JVM中最大的一块由年轻代和老年代组成，而年轻代内存又被分成三部分，Eden空间、Fr ...
Spark学习之路 （十四）SparkCore的调优之资源调优JVM的GC垃圾收集器
一、概述 垃圾收集 Garbage Collection 通常被称为“GC”，它诞生于1960年 MIT 的 Lisp 语言，经过半个多世纪，目前已经十分成熟了。 jvm 中，程序计数器、虚拟机栈 ...
Spark（六）Spark之开发调优以及资源调优
Spark调优主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础；数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案；shuffle调优，面向 ...
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
第1章 Spark 性能优化1.1 调优基本原则1.1.1 基本概念和原则1.1.2 性能监控方式1.1.3 调优要点1.2 数据倾斜优化1.2.1 为何要处理数据倾斜（Data Skew）1.2.2 如何定位导致数据倾斜的代码1.2.3 如何缓解/消除数据倾斜1.3 运行资源调优1.3.1 ...