spark debug遠程調試

1.修改spark-env.sh

export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"

插入以上代碼

2.啟動spark集群，此時輸入jps會出現

[root@master sbin]# jps

17394 Jps

16956 -- main class information unavailable

這是正常的

3.配置idea遠程調試

由於配置文件中配置的10000端口，所以這里也是10000端口

4.double click shift

搜索Master（spark包中）類，在Master類中打斷點，然后debug spark，

就自動到斷點處，此時jps在服務器上的顯示為

[root@master ~]# jps

17962 Jps

16956 Master

 

 

以上是master調試過程，worker調試過程類似