编译特定hadoop版本的spark

编译匹配Spark－1.2.0和Hadoop－2.4的版本，如下：

$SPARK_SRC/make-distribution.sh --tgz -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4 -Phive


如果想要编译特定hadoop版本的spark，首先必须在maven配置文件中，加入特定hadoop版本的配置

以hadoop 2.5.2为例：

Step-1:

将hadoop-2.5.2的配置加入到$SPARK_SRC/pom.xml的<profiles> 段中

<profile>
<id>hadoop-2.5.2</id>
<properties>
<hadoop.version>2.5.2</hadoop.version>
<protobuf.version>2.5.0</protobuf.version>
<jets3t.version>0.9.0</jets3t.version>
<commons.math3.version>3.1.1</commons.math3.version>
<avro.mapred.classifier>hadoop2</avro.mapred.classifier>
</properties>
</profile>

[protobuf, jets3t, commons.math3
and avro.mapred.classifier 的版本从Hadoop 2.5.2的发行包libs中找.]

Step-2:

$SPARK_SRC/make-distribution.sh --tgz -Pyarn -Phadoop-2.5.2 -Dhadoop.version=2.5.2 -Phive

编译完成之后，会在$SPARK_SRC目录下看到‘spark-1.2.0-bin-2.5.2.tgz’

refer：https://etushar89.wordpress.com/2014/12/28/building-apache-spark-against-specific-hadoop-version/