spark源码分析(2)-源码阅读环境准备
2017-03-16 11:33
806 查看
在前面介绍wordcount例子时没有对spark源码阅读环境的准备进行说明,本文就主要介绍Spark源码阅读环境的构建
下载JDK1.7+,Scala2.10(spark 1.6.3之前采用的是2.10版本,spark2.0之后采用scala2.11版本),SBT,Maven3.3.9
下载hadoop-2.6,spark-1.6.3
hadoop,spark环境变量配置:
vi ~/.bashrc
export JAVA_HOME=$HOME/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export SCALA_HOME=$HOME/scala-2.10.5
export SPARK_HOME=$HOME/spark-1.6.3-bin-hadoop2.6
export HADOOP_HOME=$HOME/hadoop-2.6.0
export HADOOP_COND_DIR=$HOME/hadoop-2.6.0/etc/hadoop
export MAVEN_HOME=$HOME/apache-maven-3.2.5
export SBT_HOME=$HOME/sbt
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MAVEN_HOME/bin:$SBT_HOME/bin
export SCALA_HOME=/home/weiw/scala-2.10.5
export SPARK_MASTER_IP=ubuntu
export SPARK_WORKER_MEMORY=1G
export JAVA_HOME=/home/weiw/jdk1.7.0_80
启动Spark的Master和Worker服务:
./sbin/start-master.sh
./sbin/start-slave.sh spark://ubuntu:7077
设置maven的环境参数:
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512M"
编译源码:
build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.6.0 -Phive -Phive-thriftserver -DskipTests clean package
生成部署包:
./make-distribution.sh --name 2.6.0-cdh5.6.0 --tgz -Pyarn -Phadoop-provided -Phadoop-2.4 -Dhadoop.version=2.6.0-cdh5.6.0 -Phive -Phive-thriftserver
错误一:环境版本不对(有可能是maven , jdk,scala)
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.4.1:enforce (enforce-versions) on project spark-parent_2.10: Some Enforcer rules have failed. Look above for
specific messages explaining why the rule failed. -> [Help 1]
http://www.cnblogs.com/qyf404/p/4829327.html
mvn validate 命令校验工程环境问题
错误二:maven插件问题
+ VERSION='[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/NoPluginFoundForPrefixException'
编译后生成文件:
assembly/target/scala-2.10/spark-assembly-1.6.3-hadoop2.6.0.jar
examples/target/scala-2.10/spark-examples-1.6.3-hadoop2.6.0.jar
导入缺失依赖包:
Master运行成功:
SparkUI界面:http://ip:8080
2)运行Worker节点
org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://192.168.1.9:7077
Worker启动成功:
最后Master和Worker启动完成后的SparkUI界面也出现了Worker
最后,Spark的源码阅读环境基本上准备完成,后面就可以进行DEBUG进行源码阅读和调试了,可以参考WordCount的例子:
http://blog.csdn.net/wangweislk/article/details/62046389
1、环境准备
操作系统采用Ubuntu14.04(案例采用虚拟机中安装模式,桥接模式可访问外网)下载JDK1.7+,Scala2.10(spark 1.6.3之前采用的是2.10版本,spark2.0之后采用scala2.11版本),SBT,Maven3.3.9
下载hadoop-2.6,spark-1.6.3
hadoop,spark环境变量配置:
vi ~/.bashrc
export JAVA_HOME=$HOME/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export SCALA_HOME=$HOME/scala-2.10.5
export SPARK_HOME=$HOME/spark-1.6.3-bin-hadoop2.6
export HADOOP_HOME=$HOME/hadoop-2.6.0
export HADOOP_COND_DIR=$HOME/hadoop-2.6.0/etc/hadoop
export MAVEN_HOME=$HOME/apache-maven-3.2.5
export SBT_HOME=$HOME/sbt
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MAVEN_HOME/bin:$SBT_HOME/bin
2、配置spark standalone模式
spark-env.shexport SCALA_HOME=/home/weiw/scala-2.10.5
export SPARK_MASTER_IP=ubuntu
export SPARK_WORKER_MEMORY=1G
export JAVA_HOME=/home/weiw/jdk1.7.0_80
启动Spark的Master和Worker服务:
./sbin/start-master.sh
./sbin/start-slave.sh spark://ubuntu:7077
3、Ubuntu上spark源码编译
maven 简单介绍:-P表示激活依赖的程序及版本,-DskipTests表示编译时跳过测试环境设置maven的环境参数:
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512M"
编译源码:
build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.6.0 -Phive -Phive-thriftserver -DskipTests clean package
生成部署包:
./make-distribution.sh --name 2.6.0-cdh5.6.0 --tgz -Pyarn -Phadoop-provided -Phadoop-2.4 -Dhadoop.version=2.6.0-cdh5.6.0 -Phive -Phive-thriftserver
错误一:环境版本不对(有可能是maven , jdk,scala)
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.4.1:enforce (enforce-versions) on project spark-parent_2.10: Some Enforcer rules have failed. Look above for
specific messages explaining why the rule failed. -> [Help 1]
http://www.cnblogs.com/qyf404/p/4829327.html
mvn validate 命令校验工程环境问题
错误二:maven插件问题
+ VERSION='[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/NoPluginFoundForPrefixException'
编译后生成文件:
assembly/target/scala-2.10/spark-assembly-1.6.3-hadoop2.6.0.jar
examples/target/scala-2.10/spark-examples-1.6.3-hadoop2.6.0.jar
4、IDE导入spark源码
IDEA的安装下载后直接解压运行bin/idea.sh启动IDEA,需要安装scala插件,然后Import Project 选择maven找到我们的spark源码导入spark源码,选择导入spark的子项目界面,然后就是next finish等。1)运行Master:
Spark master启动的入口 org.apache.spark.deploy.master.Master。如果出现下面的问题需要在spark core子项目中引入guava-14.0.1.jar包。导入缺失依赖包:
Master运行成功:
SparkUI界面:http://ip:8080
2)运行Worker节点
org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://192.168.1.9:7077
Worker启动成功:
最后Master和Worker启动完成后的SparkUI界面也出现了Worker
最后,Spark的源码阅读环境基本上准备完成,后面就可以进行DEBUG进行源码阅读和调试了,可以参考WordCount的例子:
http://blog.csdn.net/wangweislk/article/details/62046389
相关文章推荐
- spark2.1源码分析1:Win10下IDEA源码阅读环境的搭建
- spark2.1源码分析1:Win10下IDEA源码阅读环境的搭建
- spark学习之路----配置spark编译源码,准备阅读环境
- Spark源码调试分析(一)-------------调试环境准备
- Flume-1.6.0 源码分析0:环境准备
- 在Mac下配置Spark源码阅读环境
- Windows下使用sbt打造Intellij Idea环境下Spark源码阅读环境
- 【Spark】配置Spark源码阅读环境
- CCR源码分析-分析环境准备
- Spark修炼之道(高级篇)——Spark源码阅读:第十二节 Spark SQL 处理流程分析
- 搭建Spark源码阅读环境
- Spark-IDEA源码阅读环境搭建(Windows)
- 在Mac下配置Spark源码阅读环境
- Windows + IDEA + SBT 部署Spark源码阅读环境
- spark源码阅读3-Task运行期之函数调用关系分析
- IntelliJ(IDEA)Spark源码阅读环境
- 准备CLR源码阅读环境
- CI框架源码阅读笔记1 - 环境准备、基本术语和框架流程
- Windows + IDEA + SBT 打造Spark源码阅读环境
- Struts2源码粗略分析一:准备开发环境