Apache Spark1.1.0部署与开发环境搭建
2014-10-01 14:57
627 查看
Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不同,Spark并不局限于编写map和reduce两个方法,其提供了更为强大的内存计算(in-memory computing)模型,使得用户可以通过编程将数据读取到集群的内存当中,并且可以方便用户快速地重复查询,非常适合用于实现机器学习算法。本文将介绍Apache Spark1.1.0部署与开发环境搭建。
0. 准备
出于学习目的,本文将Spark部署在虚拟机中,虚拟机选择VMware WorkStation。在虚拟机中,需要安装以下软件:
Ubuntu 14.04.1 LTS 64位桌面版
hadoop-2.4.0.tar.gz
jdk-7u67-linux-x64.tar.gz
scala-2.10.4.tgz
spark-1.1.0-bin-hadoop2.4.tgz
Spark的开发环境,本文选择Windows7平台,IDE选择IntelliJ IDEA。在Windows中,需要安装以下软件:
IntelliJ IDEA 13.1.4 Community Edition
apache-maven-3.2.3-bin.zip(安装过程比较简单,请读者自行安装)
1. 安装JDK
解压jdk安装包到/usr/lib目录:
在/etc/profile文件的末尾添加环境变量:
保存并更新/etc/profile:
测试jdk是否安装成功:
2. 安装及配置SSH
生成并添加密钥:
ssh登录:
3. 安装hadoop2.4.0
采用伪分布模式安装hadoop2.4.0。解压hadoop2.4.0到/usr/local目录:
在/etc/profile文件的末尾添加环境变量:
保存并更新/etc/profile:
在位于/usr/local/hadoop-2.4.0/etc/hadoop的hadoop-env.sh和yarn-env.sh文件中修改jdk路径:
hadoop-env.sh:
yarn-env.sh:
修改core-site.xml:
在<configuration></configuration>之间添加:
修改hdfs-site.xml:
在<configuration></configuration>之间添加:
修改yarn-site.xml:
在<configuration></configuration>之间添加:
复制并重命名mapred-site.xml.template为mapred-site.xml:
在<configuration></configuration>之间添加:
在启动hadoop之前,为防止可能出现无法写入log的问题,记得为/app目录设置权限:
格式化hadoop:
启动hdfs和yarn。在开发Spark时,仅需要启动hdfs:
在浏览器中打开地址http://localhost:50070/可以查看hdfs状态信息:
4. 安装scala
在/etc/profile文件的末尾添加环境变量:
保存并更新/etc/profile:
测试scala是否安装成功:
5. 安装Spark
在/etc/profile文件的末尾添加环境变量:
保存并更新/etc/profile:
复制并重命名spark-env.sh.template为spark-env.sh:
在spark-env.sh中添加:
启动Spark:
测试Spark是否安装成功:
6. 搭建Spark开发环境
本文开发Spark的IDE推荐IntelliJ IDEA,当然也可以选择Eclipse。在使用IntelliJ IDEA之前,需要安装scala的插件。点击Configure:
点击Plugins:
点击Browse repositories...:
在搜索框内输入scala,选择Scala插件进行安装。由于已经安装了这个插件,下图没有显示安装选项:
安装完成后,IntelliJ IDEA会要求重启。重启后,点击Create New Project:
Project SDK选择jdk安装目录,建议开发环境中的jdk版本与Spark集群上的jdk版本保持一致。点击左侧的Maven,勾选Create from archetype,选择org.scala-tools.archetypes:scala-archetype-simple:
点击Next后,可根据需求自行填写GroupId,ArtifactId和Version:
点击Next后,如果本机没有安装maven会报错,请保证之前已经安装maven:
点击Next后,输入文件名,完成New Project的最后一步:
点击Finish后,maven会自动生成pom.xml和下载依赖包。我们需要修改pom.xml中scala的版本:
在<dependencies></dependencies>之间添加配置:
在<build><plugins></plugins></build>之间添加配置:
Spark的开发环境至此搭建完成。One more thing,wordcount的示例代码:
7. 编译&运行
使用maven编译源代码。点击左下角,点击右侧package,点击绿色三角形,开始编译。
在target目录下,可以看到maven生成的jar包。其中,hellworld-1.0-SNAPSHOT-executable.jar是我们需要放到Spark集群上运行的。
在运行jar包之前,保证hadoop和Spark处于运行状态:
将jar包拷贝到Ubuntu的本地文件系统上,输入以下命令运行jar包:
在浏览器中输入地址http://localhost:8080/可以查看任务运行情况:
8. Q&A
Q:在Spark集群上运行jar包,抛出异常“No FileSystem for scheme: hdfs”:
A:这是由于hadoop-common-2.4.0.jar中的core-default.xml缺少hfds的相关配置属性引起的异常。在maven仓库目录下找到[b]hadoop-common-2.4.0.jar,以rar的打开方式打开:[/b]
[b]
[/b]
将core-default.xml拖出,并添加配置:
再将修改后的core-default.xml替换hadoop-common-2.4.0.jar中的core-default.xml,重新编译生成jar包。
Q:[b]在Spark集群上运行jar包,抛出异常“Failed on local exception”:[/b]
A:检查你的代码,一般是由于hdfs路径错误引起。
Q:[b][b]在Spark集群上运行jar包,重复提示“Connecting to master spark”:[/b][/b]
A:检查你的代码,一般是由于setMaster路径错误引起。
Q:[b][b][b]在Spark集群上运行jar包,重复提示“Initial job has not accepted any resource; check your cluster UI to ensure that workers are registered and have sufficient memory”:[/b][/b][/b]
A:检查你的代码,一般是由于内存设置不合理引起。此外,还需要检查Spark安装目录下的conf/spark-env.sh对worker内存的设置。
Q:maven报错:error: org.specs.Specification does not have a constructor
A: 删除test目录下的文件,重新编译。
9. 参考资料
[1] Spark Documentation from Apache. [Link]
0. 准备
出于学习目的,本文将Spark部署在虚拟机中,虚拟机选择VMware WorkStation。在虚拟机中,需要安装以下软件:
Ubuntu 14.04.1 LTS 64位桌面版
hadoop-2.4.0.tar.gz
jdk-7u67-linux-x64.tar.gz
scala-2.10.4.tgz
spark-1.1.0-bin-hadoop2.4.tgz
Spark的开发环境,本文选择Windows7平台,IDE选择IntelliJ IDEA。在Windows中,需要安装以下软件:
IntelliJ IDEA 13.1.4 Community Edition
apache-maven-3.2.3-bin.zip(安装过程比较简单,请读者自行安装)
1. 安装JDK
解压jdk安装包到/usr/lib目录:
sudo cp jdk-7u67-linux-x64.gz /usr/lib cd /usr/lib sudo tar -xvzf jdk-7u67-linux-x64.gz sudo gedit /etc/profile
在/etc/profile文件的末尾添加环境变量:
export JAVA_HOME=/usr/lib/jdk1.7.0_67 export JRE_HOME=/usr/lib/jdk1.7.0_67/jre export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
保存并更新/etc/profile:
source /etc/profile
测试jdk是否安装成功:
java -version
2. 安装及配置SSH
sudo apt-get update sudo apt-get install openssh-server sudo /etc/init.d/ssh start
生成并添加密钥:
ssh-keygen -t rsa -P "" cd /home/hduser/.ssh cat id_rsa.pub >> authorized_keys
ssh登录:
ssh localhost
3. 安装hadoop2.4.0
采用伪分布模式安装hadoop2.4.0。解压hadoop2.4.0到/usr/local目录:
sudo cp hadoop-2.4.0.tar.gz /usr/local/ sudo tar -xzvf hadoop-2.4.0.tar.gz
在/etc/profile文件的末尾添加环境变量:
export HADOOP_HOME=/usr/local/hadoop-2.4.0 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
保存并更新/etc/profile:
source /etc/profile
在位于/usr/local/hadoop-2.4.0/etc/hadoop的hadoop-env.sh和yarn-env.sh文件中修改jdk路径:
cd /usr/local/hadoop-2.4.0/etc/hadoop sudo gedit hadoop-env.sh sudo gedit yarn-evn.sh
hadoop-env.sh:
yarn-env.sh:
修改core-site.xml:
sudo gedit core-site.xml
在<configuration></configuration>之间添加:
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp</value> </property>
修改hdfs-site.xml:
sudo gedit hdfs-site.xml
在<configuration></configuration>之间添加:
<property> <name>dfs.namenode.name.dir</name> <value>/app/hadoop/dfs/nn</value> </property> <property> <name>dfs.namenode.data.dir</name> <value>/app/hadoop/dfs/dn</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property>
修改yarn-site.xml:
sudo gedit yarn-site.xml
在<configuration></configuration>之间添加:
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
复制并重命名mapred-site.xml.template为mapred-site.xml:
sudo cp mapred-site.xml.template mapred-site.xml sudo gedit mapred-site.xml
在<configuration></configuration>之间添加:
<property> <name>mapreduce.jobtracker.address </name> <value>hdfs://localhost:9001</value> </property>
在启动hadoop之前,为防止可能出现无法写入log的问题,记得为/app目录设置权限:
sudo mkdir /app sudo chmod -R hduser:hduser /app
格式化hadoop:
hadoop namenode -format
启动hdfs和yarn。在开发Spark时,仅需要启动hdfs:
sbin/start-dfs.sh sbin/start-yarn.sh
在浏览器中打开地址http://localhost:50070/可以查看hdfs状态信息:
4. 安装scala
sudo cp /home/hduser/Download/scala-2.9.3.tgz /usr/local sudo tar -xvzf scala-2.9.3.tgz
在/etc/profile文件的末尾添加环境变量:
export SCALA_HOME=/usr/local/scala-2.9.3 export PATH=$SCALA_HOME/bin:$PATH
保存并更新/etc/profile:
1source /etc/profile
测试scala是否安装成功:
1 scala -version
5. 安装Spark
sudo cp spark-1.1.0-bin-hadoop2.4.tgz /usr/local sudo tar -xvzf spark-1.1.0-bin-hadoop2.4.tgz
在/etc/profile文件的末尾添加环境变量:
1 export SPARK_HOME=/usr/local/spark-1.1.0-bin-hadoop2.4 2 export PATH=$SPARK_HOME/bin:$PATH
保存并更新/etc/profile:
1source /etc/profile
复制并重命名spark-env.sh.template为spark-env.sh:
sudo cp spark-env.sh.template spark-env.sh sudo gedit spark-env.sh
在spark-env.sh中添加:
export SCALA_HOME=/usr/local/scala-2.9.3 export JAVA_HOME=/usr/lib/jdk1.7.0_67 export SPARK_MASTER_IP=localhost export SPARK_WORKER_MEMORY=1000m
启动Spark:
cd /usr/local/spark-1.1.0-bin-hadoop2.4 sbin/start-all.sh
测试Spark是否安装成功:
cd /usr/local/spark-1.1.0-bin-hadoop2.4 bin/run-example SparkPi
6. 搭建Spark开发环境
本文开发Spark的IDE推荐IntelliJ IDEA,当然也可以选择Eclipse。在使用IntelliJ IDEA之前,需要安装scala的插件。点击Configure:
点击Plugins:
点击Browse repositories...:
在搜索框内输入scala,选择Scala插件进行安装。由于已经安装了这个插件,下图没有显示安装选项:
安装完成后,IntelliJ IDEA会要求重启。重启后,点击Create New Project:
Project SDK选择jdk安装目录,建议开发环境中的jdk版本与Spark集群上的jdk版本保持一致。点击左侧的Maven,勾选Create from archetype,选择org.scala-tools.archetypes:scala-archetype-simple:
点击Next后,可根据需求自行填写GroupId,ArtifactId和Version:
点击Next后,如果本机没有安装maven会报错,请保证之前已经安装maven:
点击Next后,输入文件名,完成New Project的最后一步:
点击Finish后,maven会自动生成pom.xml和下载依赖包。我们需要修改pom.xml中scala的版本:
<properties> <scala.version>2.10.4</scala.version> </properties>
在<dependencies></dependencies>之间添加配置:
<!-- Spark --> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.1.0</version> </dependency> <!-- HDFS --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.4.0</version> </dependency>
在<build><plugins></plugins></build>之间添加配置:
<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>2.2</version> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> <configuration> <filters> <filter> <artifact>*:*</artifact> <excludes> <exclude>META-INF/*SF</exclude> <exclude>META-INF/*.DSA</exclude> <exclude>META-INF/*.RSA</exclude> </excludes> </filter> </filters> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"> <mainClass>mark.lin.App</mainClass> // 记得修改成你的mainClass </transformer> <transformer implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer"> <resource>reference.conf</resource> </transformer> </transformers> <shadedArtifactAttached>true</shadedArtifactAttached> <shadedClassifierName>executable</shadedClassifierName> </configuration> </execution> </executions> </plugin>
Spark的开发环境至此搭建完成。One more thing,wordcount的示例代码:
package mark.lin //别忘了修改package import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.SparkContext._ import scala.collection.mutable.ListBuffer /** * Hello world! * */ object App{ def main(args: Array[String]) { if (args.length != 1) { println("Usage: java -jar code.jar dependencies.jar") System.exit(0) } val jars = ListBuffer[String]() args(0).split(",").map(jars += _) val conf = new SparkConf() conf.setMaster("spark://localhost:7077").setAppName("wordcount").set("spark.executor.memory", "128m").setJars(jars) val sc = new SparkContext(conf) val file = sc.textFile("hdfs://localhost:9000/hduser/wordcount/input/input.csv") val count = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_+_) println(count) count.saveAsTextFile("hdfs://localhost:9000/hduser/wordcount/output/") sc.stop() } }
7. 编译&运行
使用maven编译源代码。点击左下角,点击右侧package,点击绿色三角形,开始编译。
在target目录下,可以看到maven生成的jar包。其中,hellworld-1.0-SNAPSHOT-executable.jar是我们需要放到Spark集群上运行的。
在运行jar包之前,保证hadoop和Spark处于运行状态:
将jar包拷贝到Ubuntu的本地文件系统上,输入以下命令运行jar包:
java -jar helloworld-1.0-SNAPSHOT-executable.jar helloworld-1.0-SNAPSHOT-executable.jar
在浏览器中输入地址http://localhost:8080/可以查看任务运行情况:
8. Q&A
Q:在Spark集群上运行jar包,抛出异常“No FileSystem for scheme: hdfs”:
A:这是由于hadoop-common-2.4.0.jar中的core-default.xml缺少hfds的相关配置属性引起的异常。在maven仓库目录下找到[b]hadoop-common-2.4.0.jar,以rar的打开方式打开:[/b]
[b]
[/b]
将core-default.xml拖出,并添加配置:
<property> <name>fs.hdfs.impl</name> <value>org.apache.hadoop.hdfs.DistributedFileSystem</value> <description>The FileSystem for hdfs: uris.</description> </property>
再将修改后的core-default.xml替换hadoop-common-2.4.0.jar中的core-default.xml,重新编译生成jar包。
Q:[b]在Spark集群上运行jar包,抛出异常“Failed on local exception”:[/b]
A:检查你的代码,一般是由于hdfs路径错误引起。
Q:[b][b]在Spark集群上运行jar包,重复提示“Connecting to master spark”:[/b][/b]
A:检查你的代码,一般是由于setMaster路径错误引起。
Q:[b][b][b]在Spark集群上运行jar包,重复提示“Initial job has not accepted any resource; check your cluster UI to ensure that workers are registered and have sufficient memory”:[/b][/b][/b]
A:检查你的代码,一般是由于内存设置不合理引起。此外,还需要检查Spark安装目录下的conf/spark-env.sh对worker内存的设置。
Q:maven报错:error: org.specs.Specification does not have a constructor
A: 删除test目录下的文件,重新编译。
9. 参考资料
[1] Spark Documentation from Apache. [Link]
相关文章推荐
- Apache Spark1.1.0部署与开发环境搭建
- Apache Spark1.1.0部署与开发环境搭建
- Apache Spark1.1.0部署与开发环境搭建 - Mark Lin
- Apache Spark1.1.0部署与开发环境搭建 - Mark Lin
- Spark集群环境搭建+Maven、SBT编译部署+IDEA开发(二)
- Spark 开发环境搭建(1)IDEA Gradle的安装部署、使用
- Spark集群环境搭建+Maven、SBT编译部署+IDEA开发(一)
- Spark部署与开发环境搭建jjar运行
- 使用Eclipse IDE搭建Apache Spark的Java开发环境
- Apache CXF+Spring开发环境搭建小试
- 为Ubuntu搭建LAMP(Apache+PHP+MYSQL)开发环境
- windows xp 搭建php(apache, mysql,php)开发环境
- ubuntu 搭建LAMP(Apache+PHP+MYSQL)开发环境
- [绝对经典]Linux+Mysql+Apache+Php开发环境搭建全过程及问题的解决办法
- 搭建Windows系统下php开发环境有很多种方式,比如LAMP的配置、php IDE和调试工具的选择等等。根据每个人喜好不同有很多配置方式。这里主要介绍的是利用XAMPP集成安装和配置apache、
- Openfire和Spark本地开发环境搭建记要
- 在VM中为Fedora Ubuntu搭建LAMP(Apache+PHP+MYSQL)开发环境
- OSGI学习一(使用Apache Felix搭建OSGI开发环境)
- 前端环境搭建——代码开发测试部署
- 搭建简易的c语言CGI和Apache服务器的开发环境