Spark安装和配置
2015-09-20 16:58
267 查看
hadoop2的安装教程
Spark可以直接安装在hadoop2上面,主要是安装在hadoop2的yarn框架上面
安装Spark之前需要在每台机器上安装Scala,根据你下载的Spark版本,选择对应的Scala和jdk
Scala的安装就是解压缩,然后配置环境变量,将Scala的执行命令配置到Path上。
Spark的安装和Scala一样,但是Spark还需要对配置文件进行配置
这里给出环境配置:/etc/profile文件
Spark的配置文件相对hadoop的比较简单,只要对spark/conf文件目录下的spark-env.sh和slaves进行配置。
1、spark-env.sh
2、slaves
将Spark和scala分配到所有的机器上,这样就搭好了一个Spark集群
启动Spark
使用Spark的sbin目录下“start-all.sh”脚本文件启动spark
Spark可以直接安装在hadoop2上面,主要是安装在hadoop2的yarn框架上面
安装Spark之前需要在每台机器上安装Scala,根据你下载的Spark版本,选择对应的Scala和jdk
Scala的安装就是解压缩,然后配置环境变量,将Scala的执行命令配置到Path上。
Spark的安装和Scala一样,但是Spark还需要对配置文件进行配置
这里给出环境配置:/etc/profile文件
export JAVA_HOME=/usr/local/jdk1.7.0 export HADOOP_HOME=/usr/local/hadoop-2.0.0-cdh4.2.1 export SCALA_HOME=/usr/local/scala-2.10.5 export SPARK_HOME=/usr/local/spark-1.5.0-bin-cdh4 export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin
Spark的配置文件相对hadoop的比较简单,只要对spark/conf文件目录下的spark-env.sh和slaves进行配置。
1、spark-env.sh
export JAVA_HOME=/usr/local/jdk1.7.0 export SCALA_HOME=/usr/local/scala-2.10.5 export SPARK_MASTER_IP=192.168.59.100 export SPARK_WORKER_MEMORY=1g export HADOOP_HOME=/usr/local/hadoop-2.0.0-cdh4.2.1
2、slaves
hadoop100 hadoop101 hadoop102
将Spark和scala分配到所有的机器上,这样就搭好了一个Spark集群
启动Spark
使用Spark的sbin目录下“start-all.sh”脚本文件启动spark
相关文章推荐
- Leetcode67: First Bad Version
- springsource tool suite下载地址分享
- 当今世界最NB的25位大数据科学家
- Python中super的用法
- 校招回忆录
- 机房收费系统(合作版)总结——技术篇(二)
- “软件工程”
- 5种服务器网络编程模型讲解
- 你怎么看?
- java匿名内部类总结
- TextView文字段插入图片和点击
- Symmetric Tree
- Estimation of Restored MB by Temporal Error Concealment
- svm评价指标公式
- 项目19.2 能够对齐的数据
- Android JNI环境要SQLite加密模块简介
- [LeetCode]3. Longest Substring Without Repeating Characters寻找最长无重复字符的子串
- C基础03天--循环控制语句笔记
- UML——宏观把控(二)
- MATLAB日常学习记录