Spark資源配置（核數與內存）

轉載自：http://blog.csdn.net/zrc199021/article/details/54020692

關於所在節點核數怎么看？

======================================================================

# 總核數 = 物理CPU個數 X 每顆物理CPU的核數

# 總邏輯CPU數 = 物理CPU個數 X 每顆物理CPU的核數 X 超線程數

 

# 查看物理CPU個數

cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

 

# 查看每個物理CPU中core的個數(即核數)

cat /proc/cpuinfo| grep "cpu cores"| uniq

 

# 查看邏輯CPU的個數

cat /proc/cpuinfo| grep "processor"| wc -l

======================================================================

 

spark資源主要就是core和memery。

 

spark主題功能分三部分：spark RDD，sparkSQL，spark shell，如果每個部分的功能都要用，那么每塊都要占用資源。

 

其中，spark RDD和spark shell 是動態分配占用資源的，sparkSQL是靜態分配資源的（啟動后即一直占着分配的資源）

 

spark分配的總體資源在哪里看？

1. cat /home/mr/spark/conf/spark-env.sh

1. JAVA_HOME=/usr/java/jdk
2. SPARK_HOME=/home/mr/spark
3. SPARK_PID_DIR=/home/mr/spark/pids
4. SPARK_LOCAL_DIRS=/data2/zdh/spark/tmp,/data3/zdh/spark/tmp,/data4/zdh/spark/tmp
5. SPARK_WORKER_DIR=/data2/zdh/spark/work
6. SPARK_LOG_DIR=/data1/zdh/spark/logs
7. SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18088-Dspark.history.retainedApplications=500"
8. SPARK_MASTER_WEBUI_PORT=18080
9. SPARK_WORKER_WEBUI_PORT=18081
10. SPARK_WORKER_CORES=25
11. SPARK_WORKER_MEMORY=150g
12. SPARK_DAEMON_MEMORY=2g
13. SPARK_LOCAL_HOSTNAME=`hostname`
14. YARN_CONF_DIR=/home/mr/yarn/etc/hadoop​

SparkSQL的總體資源在哪看？

1. [root@vmax47 conf]# cat sparksql-defaults.conf
2. spark.serializer=org.apache.spark.serializer.KryoSerializer
3. spark.driver.extraJavaOptions=-Xss32m-XX:PermSize=128M-XX:MaxPermSize=512m
4. spark.driver.extraClassPath=/home/mr/spark/libext/*
5. spark.executor.extraClassPath=/home/mr/spark/libext/*
6. spark.executor.memory=10g
7. spark.eventLog.enabled=true
8. spark.eventLog.dir=/data1/zdh/spark/logs/eventLog
9. spark.history.fs.logDirectory=/data1/zdh/spark/logs/eventLog
10. spark.worker.cleanup.enabled=true
11. spark.shuffle.consolidateFiles=true
12. spark.ui.retainedJobs=200
13. spark.ui.retainedStages=200
14. spark.deploy.retainedApplications=100
15. spark.deploy.retainedDrivers=100
16. spark.speculation=true
17. spark.speculation.interval=1000
18. spark.speculation.multiplier=4
19. spark.speculation.quantile=0.85
20. spark.shuffle.service.enabled=false
21. spark.dynamicAllocation.enabled=false
22. spark.dynamicAllocation.minExecutors=0
23. spark.dynamicAllocation.maxExecutors=2147483647
24. spark.sql.broadcastTimeout=600
25. spark.yarn.queue=mr
26. spark.master=spark://vmax47:7077,SPARK49:7077
27. spark.deploy.recoveryMode=ZOOKEEPER
28. spark.deploy.zookeeper.url=SPARK49:2181,HADOOP50:2181,vmax47:2181
29. spark.ui.port=4100
30. spark.driver.memory=40G
31. spark.cores.max=30​

查看Spark資源可從18080端口查看：