从零开始系列之spark与mongodb连接的安装记录_java方向（1）

本文不涉及hadoop

1、前置条件

64位操作系统：ubuntu16.04LTS  

java： jdk 1.8.0_144 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
scala：2.12.1 下载地址：https://downloads.lightbend.com/scala/2.12.1/scala-2.12.1.tgz

spark：spark-2.1.0-bin-hadoop2.7 下载地址：https://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz

mongodb：3.4.9 安装方式 http://blog.csdn.net/xsj_blog/article/details/71106133?locationNum=7&fps=1

2、步骤

首先安装mongodb，在执行“sudo apt-get update”命令时出错：

Error in `xxx': double free or corruption (fasttop)

*****/libappstream.so.3****

          最后使用下面命令解决问题

sudo apt-get purge libappstream3

然后将jdk、scala、spark解压到某个路径下，如“/home/xx/Downloads/”，使用命令

vi /etc/profile
//打开profile文件，并在文件末尾加上
export JAVA_HOME=/home/xx/Downloads/jdk1.8.0_144
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export SCALA_HOME=/home/xx/Downloads/scala-2.12.1
export PATH=${SCALA_HOME}/bin:$PATH
export SPARK_HOME=/home/xx/Downloads/spark-2.1.0-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH
//保存并退出，使用
source /etc/profile
//命令使刚才的配置生效。依次输入
java -version
scala -version
//看看能否正确显示对应的版本号，输入
${SPARK_HOME}/sbin/start-master.sh
//启动spark master，查看日志或者在浏览器中输入 http://[spark服务器地址]:8080/ //看是否启动成功（日志路径：${SPARK_HOME}/logs/。我在这里遇到了日志不能写入的问题，解决方法是手工创建logs目录，并用chmod 777给该文件夹开通权限）。

关闭spark命令

${SPARK_HOME}/sbin/stop-all.sh

要想使spark mongodb connetor工作，还需要向spark中附加一个worker，命令如下

${SPARK_HOME}/bin/spark-class org.apache.spark.deploy.worker.Worker spark://[ip]:[port]

例如：

${SPARK_HOME}/bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.67.129:7077