spark 最新版1.0本地模式安装_spark入门学习一
2014-06-08 10:28
281 查看
1:环境准备(可以是虚拟机)
1:准备虚拟机一台,我安装的是redhat6.4的32位操作系统。2 :修改hostname。使用命令hostname localhost(如需重启后生效,可以 修改配置文件/etc/sysconfig/network中的HOSTNAME=localhost即可)。另修改/etc/hosts ,用#注释掉默认的文本,添加127.0.0.1 localhost即可。
3:jdk安装(大家可根据操作系统的版本安装相应的JDK,建议1.6以上版本),我的虚拟机是32位的,可下载jdk-6u43-linux-i586.bin文件,上传到/home/software目录下,用命令chmod 755 jdk-6u43-linux-i586.bin授可执行权限。然后./jdk-6u43-linux-i586.bin执行即可快速安装,默认路径在/home/software/jdk1.6.0_43目录中。
4:配置JAVA_HOME。在/etc/profile文件中添加
export JAVA_HOME=/home/software/jdk1.6.0_43
export PATH = $PATH:$JAVA_HOME/bin
保存后用命令source /etc/profile使环境配置修改生效。
用命令java、javac、java -version测试jdk是否成功。
二 :解压spark安装包
1:下载编译好的spark安装包:spark-1.0.0-bin-hadoop1.tgz (下载地址)2:在/home目录下解压tar -zxvf spark-1.0.0-bin-hadoop1.tgz
3:配置环境变量
在/etc/profile文件中添加SPARK_HOME=/home/spark-1.0.0-bin-hadoop1
三 :测试运行
1: 进入/home/spark-1.0.0-bin-hadoop1目录下,命令启动bin/spark-shell即可启动spark的命令操作区scala> val textFile = sc.textFile("README.md") textFile: spark.RDD[String] = spark.MappedRDD@2ee9b6XXX
scala> textFile.count() // Number of items in this RDD res0: Long = 127
1: spark的默认端口是4040,web界面通过http://localhost:4040访问
三 :总结
本地模式的spark安装非常简单,只需要解压下载好的已经编译好的JAR包即可运行,作为单机环境下测试非常好。后续会有集群模式下的spark安装以及spark on yarn上的集群安装。期待。。。
相关文章推荐
- spark 最新版1.0本地模式安装_spark入门学习一
- Hadoop1.2.1稳定版安装__全分布式模式__Hadoop1.0入门学习一
- Spark2.x学习笔记:1、Spark2.2快速入门(本地模式)
- Flink学习笔记 --- Flink本地(Loacl模式)安装
- Spark学习-本地模式-1
- Hive1.2本地模式安装教程--hive学习
- 【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)
- Spark新手入门——2.Hadoop集群(伪分布模式)安装
- hadoop 入门学习系列之八-----spark安装
- 【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(完全分布模式)
- Spark学习-本地模式-2
- hadoop入门学习系列之一hadoop伪分布式模式下安装及运行
- 0048 linux(ubuntu)中Spark的本地模式安装
- Hadoop2.2.0稳定版安装__伪分布式模式__Hadoop2.0入门学习一
- Hadoop2.2.0稳定版安装__伪分布式模式__Hadoop2.0入门学习一
- Spark新手入门——3.Spark集群(standalone模式)安装
- [Hadoop系列]Hadoop的安装-1.本地模式
- 从零开始学习ASP.NET MVC 1.0 (一) 开天辟地入门篇
- 从零开始学习ASP.NET MVC 1.0 (一) 开天辟地入门篇
- 《从零开始学习ASP.NET MVC 1.0》(一) 开天辟地入门篇