Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--4
2016-12-08 00:00
881 查看
摘要: spark
接着上篇:https://my.oschina.net/u/988386/blog/802045
接着上篇:https://my.oschina.net/u/988386/blog/802052
接着上篇:https://my.oschina.net/u/988386/blog/802063
下面安装spark
安装spark要先安装scala。
安装spark(2台机器配置基本相同)
配置spark-env.sh,在文件后面加入下列内容:
注意路径
检查状态
浏览器输入 http://d155:8080/
接着上篇:https://my.oschina.net/u/988386/blog/802045
接着上篇:https://my.oschina.net/u/988386/blog/802052
接着上篇:https://my.oschina.net/u/988386/blog/802063
下面安装spark
安装spark要先安装scala。
安装spark(2台机器配置基本相同)
#!/bin/bash #环境变量文件 PATH_FILE="/etc/profile" #安装包路径 SCALA_TAR="/home/hdp/Downloads/scala-2.11.8.tgz" SCALA_INSTALL_HOME="/usr/local" #安装包路径 SPARK_TAR="/home/hdp/Downloads/spark-2.0.2-bin-hadoop2.7.tgz" SPARK_INSTALL_HOME="/usr/local" #安装scala if [ -d $SCALA_INSTALL_HOME/scala ] then sudo rm -rf $SCALA_INSTALL_HOME/scala fi #解压scala sudo tar -zxvf $SCALA_TAR -C $SCALA_INSTALL_HOME #修改文件名称 sudo mv $SCALA_INSTALL_HOME/scala-2.11.8 $SCALA_INSTALL_HOME/scala #将scala的所有者修改为hadoop sudo chown -R hadoop $SCALA_INSTALL_HOME/scala #设置环境变量 if [ -z $SCALA_HOME ] then sudo echo "export SCALA_HOME=\"$SCALA_INSTALL_HOME/scala\"" >> $PATH_FILE sudo echo "export PATH=\"\${SCALA_HOME}/bin:\$PATH\"" >> $PATH_FILE #刷新环境变量 source /etc/profile fi #安装spark if [ -d $SPARK_INSTALL_HOME/spark ] then sudo rm -rf $SPARK_INSTALL_HOME/spark fi #解压spark sudo tar -zxvf $SPARK_TAR -C $SPARK_INSTALL_HOME #修改文件名称 sudo mv $SPARK_INSTALL_HOME/spark-2.0.2-bin-hadoop2.7 $SPARK_INSTALL_HOME/spark #将spark的所有者修改为hadoop sudo chown -R hadoop $SPARK_INSTALL_HOME/spark #设置环境变量 if [ -z $SPARK_HOME ] then sudo echo "export SPARK_HOME=\"$SPARK_INSTALL_HOME/spark\"" >> $PATH_FILE sudo echo "export PATH=\"\${SPARK_HOME}/bin:\$PATH\"" >> $PATH_FILE #刷新环境变量 source /etc/profile fi
配置spark-env.sh,在文件后面加入下列内容:
注意路径
export JAVA_HOME=/usr/lib/jvm/java export SCALA_HOME=/usr/local/scala export HADOOP_HOME=/usr/local/hadoop export YARN_HOME=/usr/local/hadoop export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$YARN_HOME/etc/hadoop export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin export SPARK_MASTER_IP=d155 export SPARK_LOCAL_DIRS=/usr/local/spark export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native配置slaves文件。加入一行
d156启动停止 ./sbin/start-all.sh ./sbin/stop-all.sh
检查状态
浏览器输入 http://d155:8080/
相关文章推荐
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--3
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--5
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--2
- 集群RedHat6.5+JDK1.8+Hadoop2.7.3+Spark2.1.1+zookeeper3.4.6+kafka2.11+flume1.6环境搭建步骤
- 单机RedHat6.5+JDK1.8+Hadoop2.7.3+Spark2.1.1+zookeeper3.4.6+kafka2.11+flume1.6环境搭建步骤
- hadoop-2.7.4+hbase-1.3.1+zookeeper-3.4.9搭建分布式集群环境
- Zookeeper3.4.9集群搭建(基于hadoop2.7.3)
- Ubuntu16.04+hadoop2.7.3环境搭建
- hadoop-2.7.4+hbase-1.3.1+zookeeper-3.4.9搭建分布式集群环境
- Hadoop2.6.0 + Spark1.4.0 在Ubuntu14.10环境下的伪分布式集群的搭建(实践可用)
- hadoop、zookeeper、hbase、spark集群环境搭建
- CentOS7下 Hadoop2.7.3+Spark2.1.0 集群环境搭建(1NN+2DN)
- ubuntu16.04搭建Hadoop2.7.2+spark1.6.1+mysql+hive2.0.0伪分布学习环境
- ubuntu16.04搭建hadoop集群环境
- RedHat6.5+JDK1.8+Hadoop2.7.3+Spark2.1.1+zookeeper3.4.6+kafka2.11+flume1.6环境搭建步骤
- CentOS7下 Hadoop2.7.3+Spark2.1.0 集群环境搭建(1NN+2DN)
- Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
- spark2.0.2环境搭建(hadoop2.7.3)——启动关闭
- ubuntu16.04(64位)+Hadoop2.7.3伪分布式环境下部署Spark