Spark学习笔记之-Spark远程调试
2017-04-24 23:43
176 查看
Spark远程调试
本例子介绍简单介绍spark一种远程调试方法,使用的IDE是IntelliJ IDEA。
1、了解jvm一些参数属性
-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888
这里对上面的几个参数进行说明:
-Xdebug 启用调试特性
-Xrunjdwp 启用JDWP实现,包含若干子选项:
transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
address=8888 JVM在8888端口上监听请求,这个设定为一个不冲突的端口即可。
server=y y表示启动的JVM是被调试者。如果为n,则表示启动的JVM是调试器。
suspend=y y表示启动的JVM会暂停等待,直到调试器连接上才继续执行。suspend=n,则JVM不会暂停等待。
2、编译打包,正常打包即可。
放到spark服务器上跑之,执行:
a、spark-submit --supervise --class spark_security.Sockpuppet --name "testkdl1" --executor-memory 8192M --num-executors 8 --master yarn-client --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" spark_Security-1.0-SNAPSHOT.jar logindelaer.properties
其中对应加色字体为:包中具体的方法、打包的文件、对应方法的配置文件
黑色加粗参数为:启用远程调试参数
b、也可在conf/spark-env.sh这个文件最后加入
export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888"
不过没有进行实际测试
执行结果会显示如下,监听8888端口,暂停等待调试器连接,如下:
3、配置IDEA调试的一些参数
Run -> Edit Configurations ->点击左上角 ‘+’ -> Remote -> 设置连接端口 如下
4、在程序中设置断点
5、Run -> Debug 进行调试启动
6、Ok完成
连接成功
spark服务器端显示如下:
IDEA显示:
停在断点,同本地调试一样,也可以查看变量值等
本例子介绍简单介绍spark一种远程调试方法,使用的IDE是IntelliJ IDEA。
1、了解jvm一些参数属性
-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888
这里对上面的几个参数进行说明:
-Xdebug 启用调试特性
-Xrunjdwp 启用JDWP实现,包含若干子选项:
transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
address=8888 JVM在8888端口上监听请求,这个设定为一个不冲突的端口即可。
server=y y表示启动的JVM是被调试者。如果为n,则表示启动的JVM是调试器。
suspend=y y表示启动的JVM会暂停等待,直到调试器连接上才继续执行。suspend=n,则JVM不会暂停等待。
2、编译打包,正常打包即可。
放到spark服务器上跑之,执行:
a、spark-submit --supervise --class spark_security.Sockpuppet --name "testkdl1" --executor-memory 8192M --num-executors 8 --master yarn-client --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" spark_Security-1.0-SNAPSHOT.jar logindelaer.properties
其中对应加色字体为:包中具体的方法、打包的文件、对应方法的配置文件
黑色加粗参数为:启用远程调试参数
b、也可在conf/spark-env.sh这个文件最后加入
export SPARK_JAVA_OPTS+="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888"
不过没有进行实际测试
执行结果会显示如下,监听8888端口,暂停等待调试器连接,如下:
3、配置IDEA调试的一些参数
Run -> Edit Configurations ->点击左上角 ‘+’ -> Remote -> 设置连接端口 如下
4、在程序中设置断点
5、Run -> Debug 进行调试启动
6、Ok完成
连接成功
spark服务器端显示如下:
IDEA显示:
停在断点,同本地调试一样,也可以查看变量值等
相关文章推荐
- Spark学习笔记之-Spark远程调试
- Hadoop学习笔记之在Eclipse中远程调试Hadoop
- Hadoop学习笔记之在Eclipse中远程调试Hadoop
- 使用IDA远程调试APK中的so,学习笔记
- hadoop学习笔记2.windows上远程调试MapReduce
- Spark学习笔记(30)集群运行模式下的Spark Streaming调试
- Hadoop学习笔记之在Eclipse中远程调试Hadoop
- Hadoop学习笔记之在Eclipse中远程调试Hadoop
- 《Javascript高级程序设计》(第2版)学习笔记15--错误处理与调试
- 【学习笔记】Android 调试桥
- codeproject 调试技巧 学习笔记
- Android的调试原理--学习笔记
- 调试的艺术学习笔记--命令记录
- JAVA学习提高之---- JBOSS远程调试
- 调试的艺术学习笔记--程序崩溃处理(段错误)
- 带虚拟机的wcf服务的远程调试配置学习
- git学习笔记(一):创建和管理远程分支
- LR学习笔记四 之 调试、日志、动态运行
- RPG学习笔记二(如何调试RPGLE)
- C++初学篇学习笔记一(上机调试第一个程序)