spark監控應用方式：
1)在運行過程中可以通過web Ui:4040端口進行監控
2)任務運行完成想要監控spark，需要啟動日志聚集功能
開啟日志聚集功能方法：
編輯conf/spark-env.sh文件，在其中加入如下部分：
SPARK_HISTORY_OPTS=-Dspark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider
SPARK_HISTORY_OPTS=-Dspark.history.fs.logDirectory=hdfs://db02:8020/user/hadoop/evtlogs
編輯spark-default.conf配置文件，在其中加入如下部分：
spark.eventLog.enabled true
spark.eventLog.dir hdfs://db02:8020/user/hadoop/evtlogs
spark.eventLog.compress true
啟動spark歷史服務器：
sbin/start-history-server.sh
至此，已經成功配置了spark的日志聚集功能，現在可以通過web UI訪問以后運行的spark任務歷史日志了。
附件：
| 目前spark-env.sh文件內容： |
| JAVA_HOME=/opt/java/jdk1.7.0_67 SCALA_HOME=/opt/scala-2.10.4 HADOOP_CONF_DIR=/opt/cdh-5.3.6/hadoop-2.5.0/etc/hadoop SPARK_MASTER_IP=db02 SPARK_MASTER_PORT=7077 SPARK_MASTER_WEBUI_PORT=8080 SPARK_WORKER_CORES=2 SPARK_WORKER_MEMORY=5g SPARK_WORKER_PORT=7078 SPARK_WORKER_WEBUI_PORT=8081 SPARK_WORKER_INSTANCES=1 SPARK_WORKER_DIR=/opt/cdh-5.3.6/spark-1.3.0/data/tmp SPARK_HISTORY_OPTS=-Dspark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider SPARK_HISTORY_OPTS=-Dspark.history.fs.logDirectory=hdfs://db02:8020/user/hadoop/evtlogs |
| 目前spark-defaults.conf文件內容： |
| spark.master spark://db02:7077 spark.eventLog.enabled true spark.eventLog.dir hdfs://db02:8020/user/hadoop/evtlogs spark.eventLog.compress true |