簡介： 本文將就MaxCompute Spark開發環境搭建、常用配置、作業遷移注意事項以及常見問題進行深入介紹。
一. MaxCompute Spark 介紹
MaxCompute Spark是MaxCompute提供的兼容開源的Spark計算服務。它在統一的計算資源和數據集權限體系之上，提供Spark計算框架，支持用戶以熟悉的開發使用方式提交運行Spark作業，以滿足更豐富的數據處理分析場景。
1.1 關鍵特性
支持原生多版本Spark作業
社區原生Spark運行在MaxCompute里，完全兼容Spark的API，支持多個Spark版本同時運行
統一的計算資源
像MaxCompute SQL/MR等任務類型一樣，運行在MaxCompute項目開通的統一計算資源中
統一的數據和權限管理
遵循MaxCompute項目的權限體系，在訪問用戶權限范圍內安全地查詢數據
與開源系統相同的使用體驗
提供原生的開源實時Spark UI和查詢歷史日志的功能
1.2 系統結構
- 原生Spark通過MaxCompute Cupid平台能夠在MaxCompute中運行
1.3 約束與限制
目前MaxCompute Spark支持以下適用場景：
離線計算場景：GraphX、Mllib、RDD、Spark-SQL、PySpark等
Streaming場景
讀寫MaxCompute Table
引用MaxCompute中的文件資源
讀寫VPC環境下的服務，如RDS、Redis、HBase、ECS上部署的服務等
讀寫OSS非結構化存儲
使用限制
不支持交互式類需求Spark-Shell、Spark-SQL-Shell、PySpark-Shell等
不支持訪問MaxCompute外部表，函數和UDF
只支持Local模式和Yarn-cluster模式運行
二. 開發環境搭建
2.1 運行模式
通過Spark客戶端提交
- Yarn-Cluster模式，提交任務到MaxCompute集群中
Local模式
- 通過Dataworks提交
本質上也是Yarn-Cluster模式，提交任務到MaxCompute集群中
2.2 通過客戶端提交
2.2.1 Yarn-Cluster模式
下載MC Spark客戶端
Spark 1.6.3
Spark 2.3.0
環境變量配置
## JAVA_HOME配置
# 推薦使用JDK 1.8
export JAVA_HOME=/path/to/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
## SPARK_HOME設置
# 下載上文提到的MaxCompute Spark客戶端並解壓到本地任意路徑
# 請不要直接設置SPARK_HOME等於以下路徑下述路徑僅做展示用途
# 請指向正確的路徑
export SPARK_HOME=/path/to/spark_extracted_package
export PATH=$SPARK_HOME/bin:$PATH
## PySpark配置Python版本
export PATH=/path/to/python/bin/:$PATH參數配置
- 將$SPARK_HOME/conf/spark-defaults.conf.template 重命名為 spark-defaults.conf
參數配置參考下文
准備項目工程
git clone https://github.com/aliyun/MaxCompute-Spark.git
cd spark-2.x
mvn clean package任務提交
// bash環境
cd $SPARK_HOME
bin/spark-submit --master yarn-cluster --class com.aliyun.odps.spark.examples.SparkPi \
/path/to/MaxCompute-Spark/spark-2.x/target/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar
// 在windows環境提交的命令
cd $SPARK_HOME/bin
spark-submit.cmd --master yarn-cluster --class com.aliyun.odps.spark.examples.SparkPi
\path\to\MaxCompute-Spark\spark-2.x\target\spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar
IDEA調試注意
IDEA運行Local模式是不能直接引用spark-defaults.conf里的配置，需要手動在代碼里指定相關配置
一定要注意需要在IDEA里手動添加MaxCompute Spark客戶端的相關依賴（jars目錄），否則會出現以下報錯：
the value of spark.sql.catalogimplementation should be one of hive in-memory but was odps
- 參考文檔
2.3 通過DataWorks提交
2.3.1 資源上傳
- 本質上MC Spark節點的配置對應於spark-submit命令的參數和選項
ODPS SPARK節點spark-submit主Java、Python資源app jar or python file配置項--conf PROP=VALUEMain Class--class CLASS_NAME參數[app arguments]選擇JAR資源--jars JARS選擇Python資源--py-files PY_FILES選擇File資源--files FILES選擇Archives資源
--archives
上傳資源：
0～50MB：可以直接在DataWorks界面創建資源並上傳
50MB～500MB：可以先利用MaxCompute客戶端(CMD)上傳，然后在DataWorks界面添加到數據開發，參考文檔
資源引用：
- 資源提交后，可以在DataWorks Spark節點界面選擇需要的資源（jar/python/file/archive）
任務運行時：資源文件默認會上傳到Driver和Executor的當前工作目錄
2.3.2 參數和配置
- Spark 配置項：對應於spark-submit命令的--conf選項
- accessid，accesskey，projectname，endpoint，runtime.end.point，task.major.version無需配置
除此之外，需要將spark-default.conf中的配置逐條加到dataworks的配置項中
- 給主類傳參數(如bizdate)
首先在調度->參數中添加參數，然后在Spark節點“參數”欄引用該參數。多個參數用空格分隔
該參數會傳給用戶主類，用戶在代碼中解析該參數即可
- 參考文檔
三. 配置介紹
3.1 配置的位置
3.1.1 Spark配置的位置
用戶使用Maxcompute Spark通常會有幾個位置可以添加Spark配置，主要包括：
位置1：spark-defaults.conf，用戶通過客戶端提交時在spark-defaults.conf文件中添加的Spark配置
位置2：dataworks的配置項，用戶通過dataworks提交時在配置項添加的Spark配置，這部分配置最終會在位置3中被添加
位置3：配置在啟動腳本spark-submit --conf選項中
位置4：配置在用戶代碼中，用戶在初始化SparkContext時設置的Spark配置
Spark配置的優先級
用戶代碼 > spark-submit --選項 > spark-defaults.conf配置 > spark-env.sh配置 > 默認值
3.1.2 需要區分的兩種配置
一種是必須要配置在spark-defaults.conf或者dataworks的配置項中才能生效（在任務提交之前需要），而不能配置在用戶代碼中，這類配置主要的特征是：
與Maxcompute/Cupid平台相關：一般參數名中都會帶odps或者cupid，通常這些參數與任務提交/資源申請都關系：
顯而易見，一些資源獲取（如driver的內存，core，diskdriver，maxcompute資源），在任務執行之前就會用到，如果這些參數設置在代碼中，很明顯平台沒有辦法讀到，所以這些參數一定不要配置在代碼中
其中一些參數即使配置在代碼中，也不會造成任務失敗，但是不會生效
其中一些參數配置在代碼中，可能會造成副作用：如在yarn-cluster模式下設置spark.master為local
訪問VPC的參數：
這類參數也與平台相關，打通網絡是在提交任務時就進行的
一種是在以上三種位置配置都可以生效，但是在代碼配置的優先級最高
推薦把任務運行與優化相關的參數配置在代碼中，而與資源平台相關的配置都配置在spark-defaults.conf或者dataworks的配置項中。
3.2 資源相關的參數
3.3 平台相關的參數
四. 作業診斷
4.1 Logview
4.1.1 Logview 介紹
- 在任務提交時會打印日志: 日志中含有logview鏈接 (關鍵字 logview url)
Master以及Worker的StdErr打印的是spark引擎輸出的日志，StdOut中打印用戶作業輸出到控制台的內容
4.1.2 利用Logview 排查問題
- 拿到Logview，一般首先看Driver的報錯，Driver會包含一些關鍵性的錯誤
如果Driver中出現類或者方法找不到的問題，一般是jar包打包的問題
如果Driver中出現連接外部VPC或者OSS出現Time out，這種情況一般要去排查一下參數配置
- 如果Driver中出現連接不到Executor，或者找不到Chunk等錯誤，通常是Executor已經提前退出，需要進一步查看Executor的報錯，可能存在OOM
- 根據End Time做排序，結束時間越早，越容易是發生問題的Executor節點
根據Latency做排序，Latency代表了Executor的存活的時間，存活時間越短的，越有可能是根因所在
Spark UI的使用與社區原生版是一致的，可以參考文檔
注意
Spark UI需要鑒權，只有提交任務的Owner才能打開
Spark UI僅在作業運行時才能打開，如果任務已經結束，那么Spark UI是無法打開的，這時候需要查看Spark History Server UI
五. 常見問題
1. local模式運行的問題
- 問題一：the value of spark.sql.catalogimplementation should be one of hive in-memory but was odps
原因在於用戶沒有正確地按照文檔將Maxcompute Spark的jars目錄添加到類路徑，導致加載了社區版的spark包，需要按照文檔將jars目錄添加到類路徑
問題二：IDEA Local模式是不能直接引用spark-defaults.conf里的配置，必須要把Spark配置項寫在代碼中
問題三：訪問OSS和VPC：
Local模式是處於用戶本機環境，網絡沒有隔離。而Yarn-Cluster模式是處於Maxcompute的網絡隔離環境中，必須要要配置vpc訪問的相關參數
Local模式下訪問oss的endpoint通常是外網endpoint，而Yarn-cluster模式下訪問vpc的endpoint是經典網絡endpoint
2. jar包打包的問題
java/scala程序經常會遇到Java類找不到/類沖突問題：
- 類沖突：用戶Jar包與Spark或平台依賴的Jar包沖突
類沒有找到：用戶Jar包沒有打成Fat Jar或者由於類沖突引起
打包需要注意：
依賴為provided和compile的區別：
provided：代碼依賴該jar包，但是只在編譯的時候需要用，而運行時不需要，運行時會去集群中去尋找的相應的jar包
compile：代碼依賴該jar包，在編譯、運行時候都需要，在集群中不存在這些jar包，需要用戶打到自己的jar包中。這種類型的jar包一般是一些三方庫，且與spark運行無關，與用戶代碼邏輯有關
用戶提交的jar包必須是Fat jar：
必須要把compile類型的依賴都打到用戶jar包中，保證代碼運行時能加載到這些依賴的類
需要設置為provided的jar包
groupId為org.apache.spark的Jar包
平台相關的Jar包
cupid-sdk
hadoop-yarn-client
odps-sdk
需要設置為compile的jar包
oss相關的jar包
hadoop-fs-oss
用戶訪問其他服務用到的jar包：
如mysql，hbase
用戶代碼需要引用的第三方庫
3. 需要引入Python包
很多時候用戶需要用到外部Python依賴
首先推薦用戶使用我們打包的公共資源，包含了常用的一些數據處理，計算，以及連接外部服務（mysql，redis，hbase）的三方庫
## 公共資源python2.7.13
spark.hadoop.odps.cupid.resources = public.python-2.7.13-ucs4.tar.gz
spark.pyspark.python = ./public.python-2.7.13-ucs4.tar.gz/python-2.7.13-ucs4/bin/python
## 公共資源python3.7.9
spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz
spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3作者：亢海鵬
本文為阿里雲原創內容，未經允許不得轉載