win7+python2.7下安装spark
2016-03-30 23:03
162 查看
win7+python2.7下安装spark
最近在学习spark,由于我的python是在windows下安装的,好多库也已经配置好,所以需要将spark安装在windows环境下,下面是安装过程:下载spark和对应版本的hadoop编译包
可以从http://spark.apache.org/downloads.html上下载对应的版本,我用的版本是spark-1.2.0-bin-hadoop2.4.tgz和hadoop-2.4.0.tar.gz下载完两个压缩文件后,分别解压。我分别解压到D:\spark-1.2.0-bin-hadoop2.4和D:\hadoop-2.4.0
同时还要下载安装java虚拟机
配置环境
spark环境变量配置
将D:\spark1.2.0binhadoop2.4\bin添加到系统Path变量,同时新建SPARK_HOME变量,变量值为:D:\spark1.2.0binhadoop2.4hadoop环境变量配置
将D:\hadoop2.4.0\bin添加到系统Path变量;同时新建HADOOP_HOME变量,变量值为:D:\hadoop2.4.0python配置
将spark目录下的pyspark文件夹(D:\spark1.2.0binhadoop2.4\python\pyspark)复制到python安装目录C:\Python27\Lib\sitepackages里在cmd命令行下运行cd C:\Python27\Scripts(我的python安装在C盘,这里是切换到pip的安装目录下,然后才能执行pip,没有装pip的需要预先安装),然后运行pip install py4j安装相关库。
最后,在命令行窗口执行pyspark看看效果:
好了,然后就可以使用spark了。
相关文章推荐
- Python 2.7 学习笔记 异常处理
- 2016.3.30python函数
- Python中使用中文正则表达式匹配指定的中文字符串
- Python系列之-入门
- python爬虫,爬取糗事百科并保存到文件中【新浪云搬运】
- Python3 定向爬虫之“抓取糗事百科图片”
- python开发与实战content
- python开发与实战content
- ROS学习(三) 使用参数以及相应的 .launch 文件编写
- python入门
- Python基本语法
- Complete Guide to Parameter Tuning in XGBoost (with codes in Python)
- python 中的赋值语句的运用
- Python 基础 —— pip 的使用(修改国内源)
- python操作 hbase 数据
- 转为python
- Python 中的除法运算 // 和 /
- Python环境部署
- python类中的__call__、__init__、__getattr__、__setattr__、__setattr__详解
- 文档词频分析小工具