Spark-2.0 搭建源码阅读环境

下载：https://github.com/apache/spark.git

导入IDEA，file–open–选中根目录pom.xml，勾选自己所需要的模块与配置

1. 导入后，在根目录pom.xml文件中注释掉一行，如下所示：

<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>14.0.1</version>
<!--<scope>provided</scope>-->
</dependency>

如不注释掉，会报错：

java.lang.NoClassDefFoundError: com/google/common/collect/Maps

2. jdk版本设置

在根目录pom.xml文件找到以下行，

<java.version>1.8</java.version>

检查自己的JDK版本是否与之一致

3.产生一个版本文件(spark-version-info.properties)

sh spark-build-info E:/MySpark/sorucesResearch/onMaven/worker/spark-2.0.1/core/target/extra-resources 2.0.1

如果不执行这一步骤，会有报错：

Error while locating file spark-version-info.properties

如是windows环境，可以借助Git-Bash运行

4.启动master节点

在core模块下，找到以下对象并运行

org.apache.spark.deploy.master.Master

5.启动Worker节点

1-3步骤与master节点相同，操作完成后启动：

org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://localhost:7077

其中spark://localhost:7077是master节点的端口号，worker要向master注册