spark debug远程调试

1.修改spark-env.sh

export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"

插入以上代码

2.启动spark集群，此时输入jps会出现

[root@master sbin]# jps

17394 Jps

16956 -- main class information unavailable

这是正常的

3.配置idea远程调试

由于配置文件中配置的10000端口，所以这里也是10000端口

4.double click shift

搜索Master（spark包中）类，在Master类中打断点，然后debug spark，

就自动到断点处，此时jps在服务器上的显示为

[root@master ~]# jps

17962 Jps

16956 Master

 

 

以上是master调试过程，worker调试过程类似