原文:sbt结合IDEA对Spark进行断点调试开发

原创文章,谢绝转载 笔者出于工作及学习的目的,经常与Spark源码打交道,也难免对Spark源码做修改及测试。本人一向讲究借助工具提升效率,开发Spark过程中也在摸索如何更加顺畅的对源码进行调试。 Spark基于Scala,采用IntelliJ IDEA和sbt应对日常开发,自然是最佳选择了。如何导入及编译Spark项目,网上资料很多,官网给的教程也比较详细: http: spark.apac ...

2017-05-15 08:48 0 2869 推荐指数:

查看详情

IDEA 学习笔记之 Spark/SBT项目开发

Spark/SBT项目开发: 下载Scala SDK 下载SBT 配置IDEA SBT:(如果不配置,就会重新下载SBT, 非常慢,因为以前我已经下过了,所以要配置为过去使用的SBT) 新建立SBT项目: 导入Spark jars: 创建 ...

Sun Sep 17 19:04:00 CST 2017 0 1345
windows下Idea结合maven开发spark和本地调试

本人的开发环境: 1.虚拟机centos 6.5 2.jdk 1.8 3.spark2.2.0 4.scala 2.11.8 5.maven 3.5.2 在开发和搭环境时必须注意版本兼容的问题,不然会出现很多莫名其妙的问题 ...

Mon Nov 27 00:23:00 CST 2017 0 3680
IDEA调试总结(设置断点进行调试

IDEA调试总结(设置断点进行调试) 黑背景版: 先编译好要调试的程序。1.设置断点选定要设置断点的代码行,在行号的区域后面单击鼠标左键即可。 2.开启调试会话 点击红色箭头指向的小虫子,开始进入调试。IDE下方出现Debug视图,红色的箭头指向的是现在调试程序停留的代码行 ...

Wed Sep 06 18:54:00 CST 2017 11 46484
Idea 进行断点调试的 快捷键

快捷键 功能描述F8 单步调试,不进入函数内部F7 单步调试,进入函数内部Shift+F7 选择要进入的函数Shift+F8 跳出函数Alt+F9 运行到断点Alt+F8 执行表达式查看结果F9 继续执行,进入下一个断点或执行完程序Ctrl+F8 设置/取消当前行断点Ctrl+Shift+F8 ...

Mon Sep 23 21:02:00 CST 2019 0 8396
IDEA 条件断点 进行debug调试

1. 鼠标左键在要断点的行号点击一下,打个断点 2.鼠标移动到断点处,然后点击一下鼠标右键,之后会弹出: 3.填写条件,可以使用该行中的代码对应的变量作为条件 4.点击Done按钮 至此条件断点设置完成 ...

Sat Dec 14 23:55:00 CST 2019 0 691
022-docker与idea结合使用,以及docker断点调试

1、idea配置docker 部署 1.1、服务器端:服务器配置docker远程连接 http://ip地址:2375/version 1.2、本地下载插件docker,然后配置 连接成功后我们便可查看docker下的容器和镜像 然后添加dockerfile配置 ...

Sun Jan 30 05:59:00 CST 2022 2 964
IDEA2017 maven Spark HelloWorld项目(本地断点调试

作为windows下的spark开发环境 1.应用安装 首先安装好idea2017 java8 scalaJDK spark hadoop(注意scala和spark的版本要匹配) 2.打开idea,创建建maven项目,如图所示 项目创建好后,记得勾选 ...

Fri Jan 05 22:26:00 CST 2018 0 1976
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM