IDEA本地执行 or 调试Spark Application的方法
2017-07-23 19:10
169 查看
1.背景: Spark是基于内存的分布式计算框架,在大数据时代应用广阔,同Hadoop一样,在写代码时一般都需要将jar部署到集群或者单节点上,这样可能会造成操作上的繁琐。
对此,本人查找了一些方法,使得Spark或者Hadoop程序可以在本地IDE中执行(常见的java编写工具有Eclipse或者IntelliJ),
2. 介绍:在直接运行中肯定报 “A master URL must be set in your configuration“
3. 解决办法:在配置参数(Run/Debug Configuration)中添加本地运行模式(“ -Dspark.master=local ”),即可问题解决。
对此,本人查找了一些方法,使得Spark或者Hadoop程序可以在本地IDE中执行(常见的java编写工具有Eclipse或者IntelliJ),
2. 介绍:在直接运行中肯定报 “A master URL must be set in your configuration“
3. 解决办法:在配置参数(Run/Debug Configuration)中添加本地运行模式(“ -Dspark.master=local ”),即可问题解决。
相关文章推荐
- intellij idea本地开发调试hadoop的方法
- java微信公众号开发总结(3)——调试方法总结(包括本地调试)
- 调试技巧--IDEA or AS
- Tomcat 8 配合 IDEA 14 远程调试的方法
- idea中hadoop本地debug调试以及本地提交模式(不需要打jar包上传)
- Linux执行可执行文件提示No such file or directory的解决方法
- 怎么在本地调试其他机器网站执行代码
- Yii框架在页面输出执行sql语句以方便调试的实现方法
- intellij idea本地开发调试hadoop的方法
- 微信支付证书问题C#使用Https访问加载SSL证书本地调试正常服务器IIS内部错误解决方法
- pycharm下打开、执行并调试scrapy爬虫程序的方法
- java本地调用cmd,shell命令,远程调用Linux执行命令方法总结
- Idea Web调试时,控制台中文乱码,解决方法
- PhpStorm本地断点调试的方法步骤
- dubbo服务本地断点调试方法
- Laravel执行migrate命令提示:No such file or directory的解决方法
- 在 Windows 上使用 Idea 本地调试 Hadoop 程序
- 脚本执行异常(bad interpreter: No such file or directory)的解决方法
- playframework在intelij idea中的debug调试方法
- [RK3288][Android6.0] 调试笔记 --- Recovery执行脚本方法