(大数据)转载:Windows下单机安装Spark开发环境
2016-08-24 09:58
399 查看
转载自:http://www.cnblogs.com/eczhou/p/5216918.html
机器:windows 10 64位。
因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。
1、Java下Spark开发环境搭建
1.1、jdk安装
安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:\Program Files\Java\jdk1.7.0_79”,视自己安装路劲而定。
同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:\Program Files\Java\jre7\bin。
1.2 spark环境变量配置
去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本,我下载的是spark-1.6.0-bin-hadoop2.6.tgz,spark版本是1.6,对应的hadoop版本是2.6
解压下载的文件,假设解压 目录为:D:\spark-1.6.0-bin-hadoop2.6。将D:\spark-1.6.0-bin-hadoop2.6\bin添加到系统Path变量,同时新建SPARK_HOME变量,变量值为:D:\spark-1.6.0-bin-hadoop2.6
1.3 hadoop工具包安装
spark是基于hadoop之上的,运行过程中会调用相关hadoop库,如果没配置相关hadoop运行环境,会提示相关出错信息,虽然也不影响运行,但是这里还是把hadoop相关库也配置好吧。
1.3.1 去下载hadoop 2.6编译好的包https://www.barik.net/archive/2015/01/19/172716/,我下载的是hadoop-2.6.0.tar.gz,
1.3.2 解压下载的文件夹,将相关库添加到系统Path变量中:D:\hadoop-2.6.0\bin;同时新建HADOOP_HOME变量,变量值为:D:\hadoop-2.6.0
1.4 eclipse环境
直接新建java工程,将D:\spark-1.6.0-bin-hadoop2.6\lib下的spark-assembly-1.6.0-hadoop2.6.0.jar添加到工程中就可以了。
2、Python下Spark开发环境搭建
2.1 安装python,并添加到系统变量path中:C:\Python27和C:\Python27\Scripts
2.2 重复1.2和1.3步骤
2.3 将spark目录下的pyspark文件夹(D:\spark-1.6.0-bin-hadoop2.6\python\pyspark)复制到python安装目录C:\Python27\Lib\site-packages里
2.4 在cmd命令行下运行pyspark,然后运行pip install py4j安装相关库。
2.5 安装pycharm开始编程吧。
机器:windows 10 64位。
因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。
1、Java下Spark开发环境搭建
1.1、jdk安装
安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVA_HOME,变量值为“C:\Program Files\Java\jdk1.7.0_79”,视自己安装路劲而定。
同时在系统变量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:\Program Files\Java\jre7\bin。
1.2 spark环境变量配置
去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本,我下载的是spark-1.6.0-bin-hadoop2.6.tgz,spark版本是1.6,对应的hadoop版本是2.6
解压下载的文件,假设解压 目录为:D:\spark-1.6.0-bin-hadoop2.6。将D:\spark-1.6.0-bin-hadoop2.6\bin添加到系统Path变量,同时新建SPARK_HOME变量,变量值为:D:\spark-1.6.0-bin-hadoop2.6
1.3 hadoop工具包安装
spark是基于hadoop之上的,运行过程中会调用相关hadoop库,如果没配置相关hadoop运行环境,会提示相关出错信息,虽然也不影响运行,但是这里还是把hadoop相关库也配置好吧。
1.3.1 去下载hadoop 2.6编译好的包https://www.barik.net/archive/2015/01/19/172716/,我下载的是hadoop-2.6.0.tar.gz,
1.3.2 解压下载的文件夹,将相关库添加到系统Path变量中:D:\hadoop-2.6.0\bin;同时新建HADOOP_HOME变量,变量值为:D:\hadoop-2.6.0
1.4 eclipse环境
直接新建java工程,将D:\spark-1.6.0-bin-hadoop2.6\lib下的spark-assembly-1.6.0-hadoop2.6.0.jar添加到工程中就可以了。
2、Python下Spark开发环境搭建
2.1 安装python,并添加到系统变量path中:C:\Python27和C:\Python27\Scripts
2.2 重复1.2和1.3步骤
2.3 将spark目录下的pyspark文件夹(D:\spark-1.6.0-bin-hadoop2.6\python\pyspark)复制到python安装目录C:\Python27\Lib\site-packages里
2.4 在cmd命令行下运行pyspark,然后运行pip install py4j安装相关库。
2.5 安装pycharm开始编程吧。
相关文章推荐
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- (大数据)转载:windows下spark开发环境配置
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- windows安装Spark单机开发测试环境
- (大数据)转载:Windows下基于eclipse的Spark应用开发环境搭建
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- Windows下单机安装Spark开发环境
- 跨平台GUI--Qt windows 开发环境安装配置(Eclipse CDT+ MinGW+QT) (转载)
- [置顶] 安装Idea(集成scala)以及在windows上配置spark(hadoop依赖)本地开发环境
- 【Windows】【Scala + Spark】【Eclipse】单机开发环境搭建 - 及示例程序
- (转载)Cocos2d-x学习之windows 7的visual studo 2010开发环境安装
- 跨平台GUI--Qt windows 开发环境安装配置(VS2005+QT+IntegrationPlugin)(转载)
- 跨平台GUI--Qt windows 开发环境安装配置(VS2005+QT+IntegrationPlugin)(转载)
- 跨平台GUI--Qt windows 开发环境安装配置(Eclipse CDT+ MinGW+QT) (转载)
- Windows下Spark python 单机开发环境