摘抄自：https://tech.meituan.com/spark-tuning-basic.html 前言 在大數據計算領域，Spark已經成為了越來越流行、越來越受歡迎的計算平台之一。Spark的功能涵蓋了大數據領域的離線批處理、SQL類處理、流式/實時計算、機器學習、圖計算 ...

摘抄自：https://tech.meituan.com/spark-tuning-basic.html 一、概述 在開發完Spark作業之后，就該為作業配置合適的資源了。Spark的資源參數，基本都可以在spark-submit命令中作為參數設置。很多Spark初學者，通常不知道該設置 ...

過程進行調優。但是也必須提醒大家的是，影響一個Spark作業性能的因素，主要還是代碼開發、資源參數以及數 ...

摘抄自：https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-spark-memory-management/index.html 一、概述 Spark 作為一個基於內存的分布式計算引擎，其內存管理模塊在整個 ...

； 方法區存儲類信息、常量、靜態變量等數據，是線程共享的區域，為與Java堆區分，方法區還有一個別名 ...

一、概述 垃圾收集 Garbage Collection 通常被稱為“GC”，它誕生於1960年 MIT 的 Lisp 語言，經過半個多世紀，目前已經十分成熟了。 jvm 中，程序計數器、虛擬機棧 ...

一 調優概述 有的時候，我們可能會遇到大數據計算中一個最棘手的問題——數據傾斜，此時Spark作業的性能會比期望差很多。數據傾斜調優，就是使用各種技術方案解決不同類型的數據傾斜問題，以保證Spark作業的性能。 1.1數據傾斜發生時的現象 絕大多數task執行得都非常快，但個別 ...

一、數據傾斜發生的原理 原理：在進行shuffle的時候，必須將各個節點上相同的key拉取到某個節點上的一個task來進行處理，比如按照key進行聚合或join等操作。此時如果某個key對應的數據量特別大的話，就會發生數據傾斜。數據傾斜只會發生在shuffle過程中。常用的並且可能會觸發 ...