一.集群環境配置
#調試Master，在master節點的spark-env.sh中添加SPARK_MASTER_OPTS變量 export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000" #調試Worker，在worker節點的spark-env.sh中添加SPARK_WORKER_OPTS變量 export SPARK_WORKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001"
# #調試spark-submit + app bin/spark-submit --class cn.daxin.spark.WordCount --master spark://node-1.daxin.cn:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.daxin.cn:9000/words.txt hdfs://node-1.daxin.cn:9000/out2 #調試spark-submit + app + executor bin/spark-submit --class cn.daxin.spark.WordCount --master spark://node-1.daxin.cn:7077 --conf "spark.executor.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10003" --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.daxin.cn:9000/words.txt hdfs://node-1.daxin.cn:9000/out2
二.idea配置
在我們的idea中，添加兩個Remote啟動項
重要的時刻來了，我們先啟動調試Master，並加上屬於Master代碼的斷點：
可以看到，idea已經連接到了我們Cluster中的Master機器的10000端口，而這正是我們在集群中配置的端口。同理啟動Slave1（Worker）
