云计算实践：基于Ubuntu的Spark、Hadoop、MongoDB的单机环境配置和开关方法

Ubuntu版本：16.04

安装

Spark

Reference：

http://www.linuxdiyf.com/linux/30606.html

安装JDK（Oracle网站下载，改环境变量）

安装scala（推荐用IDE，eg.IDEA，在主页选择plugin进去下载scala就可以）

安装Spark（从spark下载，解压，然后配环境变量）

配置环境变量,编辑/etc/profile

JDK环境变量

export JAVA_HOME=/opt/jdk1.8.0_45
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

Scala环境变量

export SCALA_HOME=/opt/scala-2.11.6
export PATH=${SCALA_HOME}/bin:$PATH

Spark环境变量

export SPARK_HOME=/opt/spark-hadoop/

在bin目录打开spark-shell测试

MongoDB

执行

apt-get install mongodb

输入

mongo

测试即可

Hadoop

这个比较复杂，需要配的文件很多，po几个教程

http://whatbeg.com/2016/08/31/hadoop-install.html

http://www.voidcn.com/article/p-zqxfqhzr-bpq.html

开启和关闭

做作业的时候这三个需要同时开启，所以当重启电脑的时候就很崩溃，所以总结了开启关闭方法如下：

Point: 我比较懒，把所有有关的bin路径都放在一个文档里面，直接在终端复制粘贴就可以，如果对安全性要求不高可以把密码也放在里面

mongodb开启与关闭

mongodb bin文件目录：/usr/local/Cellar/mongodb/3.4.9/bin

开启：默认启动： $ ./mongodb - 默认数据保存路径：/data/db/ - 默认端口：27017

/usr/local/Cellar/mongodb/3.4.9/bin/mongo

关闭：

进入mongodb

在mongo里输入 use admin

在mongo里输入 db.shutdownServer()

——————————————————————

hadoop开启与关闭

Hadoop bin目录：/Users/lixuefei/hadoop-2.8.1/sbin

开启：hadoop namenode -format 然后就可以启动Hadoop，进入Hadoop的bin目录，操作命令: start-all.sh

运行之后，执行jps命令可以看到Hadoop的所有守护进程, 还可以通过Hadoop NameNode和JobTracker的Web接口来查看集群是否启动成功，其访问地址如下：

NameNode为http://localhost:50070/

JobTracker为http://localhost:50030/

密码：[b]***********[/b]

关闭: stop-all.sh

——————————————————————

spark开启与关闭

开启：/Users/lixuefei/spark-2.2.0-bin-hadoop2.7/sbin/start-all.sh

关闭：/Users/lixuefei/spark-2.2.0-bin-hadoop2.7/sbin/stop-all.sh

端口

namenode的webUI端口：50070

yarn的web端口：8088

spark集群的web端口：8080

spark-job监控端口：4040