Spark运行在eclipse_使用PyDev和pyspark
2016-06-29 10:48
393 查看
一直想在eclipse上编写Spark程序,但是仿佛是因为spark的安装包提供了
PS D:\software\spark-1.6.1-bin-hadoop2.6> .\bin\spark-submit .\examples\src\main\python\ml\binarizer_example.py
这样的运行方式,一直没想着去在eclipse上去运行,只是安装了一个PyDev去编写python写的程序
但是今天看到了一个文献感觉这样是可行的 https://enahwe.wordpress.com/category/spark/ 就按照文献的方式去配置了需要的东西
主要的就是
安装PyDev http://pydev.org/updates 配置PyDev并添加Spark的支持库和环境变量
但是总是出现:
DLL load failed: %1 不是有效的 Win32 应用程序。
这个错误,根据下面的文献: http://54im.com/python/python-importerror-dll-load-failed-1-%E4%B8%8D%E6%98%AF%E6%9C%89%E6%95%88%E7%9A%84-win32-%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F.html 应该是因为安装的python是32位的原因
卸载python32,安装了64的之后,就可以跑起来了
要是有参数这样配,要是没参数直接右键运行python run即可
关于PyDev创建python项目,目录结构比较简单,主要的就是Python的支持库,剩下的就是关联本地的源码文件了
右边是第一个需要参数的wordcount.py运行的结果,其他的不需要参数的也可以运行成功。
PS D:\software\spark-1.6.1-bin-hadoop2.6> .\bin\spark-submit .\examples\src\main\python\ml\binarizer_example.py
这样的运行方式,一直没想着去在eclipse上去运行,只是安装了一个PyDev去编写python写的程序
但是今天看到了一个文献感觉这样是可行的 https://enahwe.wordpress.com/category/spark/ 就按照文献的方式去配置了需要的东西
主要的就是
安装PyDev http://pydev.org/updates 配置PyDev并添加Spark的支持库和环境变量
但是总是出现:
DLL load failed: %1 不是有效的 Win32 应用程序。
这个错误,根据下面的文献: http://54im.com/python/python-importerror-dll-load-failed-1-%E4%B8%8D%E6%98%AF%E6%9C%89%E6%95%88%E7%9A%84-win32-%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F.html 应该是因为安装的python是32位的原因
卸载python32,安装了64的之后,就可以跑起来了
要是有参数这样配,要是没参数直接右键运行python run即可
关于PyDev创建python项目,目录结构比较简单,主要的就是Python的支持库,剩下的就是关联本地的源码文件了
右边是第一个需要参数的wordcount.py运行的结果,其他的不需要参数的也可以运行成功。
相关文章推荐
- 内省、JavaBean、PropertyDescriptor类、Introspector类、BeanUtils工具包、注解、Rentention、Target、注解的基本属性和高级属性
- RuntimeException与CheckedException
- Java入门-图片云
- FileInputStream的read方法详解
- eclipse显示奇怪文字
- MyEclipse 启动报错:'Building workspace' has encountered a problem解决方法
- Java NIO vs. IO
- JavaWeb利用struts实现文件下载时改变文件名称
- 深入Java虚拟机JVM类加载初始化学习笔记
- Eclipse移植Android Studio Gradle编译报Execution failed for task 文件混淆错误input jar file is specified twice
- java基础—泛型
- Spring线程管理及队列管理
- Spark JAVA RDD API 最全合集整理,持续更新中~
- Thinking in Java 第5章 隐藏实施过程 总结
- java web、各种框架学习地址
- java基础—注解annotation
- Java中反射机制详解
- Spring4.x官方参考文档中文版——第21章 Web MVC框架(17)
- spring @Resource和@Autowired的区别
- Java集合框架(上)