spark-1.6.0源码编译安装

环境准备
spark是scala语言写的，scala运行需要jdk,如果通过maven编译，还需要maven环境，因此spark源码编译需要安装jdk,scala,apache-maven这三样环境。这里选择的是spark1.6.0，他需要的scala是2.10+,jdk7+，我的环境配置如下：



验证环境：



相关文件地址：链接: http://pan.baidu.com/s/1eS1j07S 密码: cjqt

下载spark1.6.0源码,并解压，然后进入spark-1.6.0目录，执行编译。为了编译更快，我们可以配置maven仓库为阿里云的maven仓库，只需修改/path/to/maven/conf/settings.xml文件，增加镜像地址。<mirrors>
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>*</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
</mirrors>这样配置了之后，编译下载jar包速度非常快，提高编译速度和成功率。编译命令
$ mvn -Pyarn -Phadoop2.6 -Dhadoop.version=2.6.0 -DskipTests clean package
编译成功



运行spark-shell命令查看编译的结果



编译过程中如果遇到编译mqtt缺少依赖可以通过直接下载jar包，放入repository对应目录，重新编译即可
具体的jar包可以到https://repo.eclipse.org/content/repositories/paho-releases/org/eclipse/paho
/org.eclipse.paho.client.mqttv3/1.0.1/该处下载