Spark 集群搭建从零开始之3 Spark Standalone集群安装、配置与测试
2017-09-19 15:49
1466 查看
1、进入pc1的Spark的conf目录,创建或者修改spark-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export SCALA_HOME=/chenjie/scala-2.10.4
export HADOOP_HOME=/chenjie/hadoop-2.6.5
export HADOOP_CONF_DIR=/chenjie/hadoop-2.6.5/etc/hadoop
export SPARK_MASTER_IP=pc1
export SPARK_WORKER_MEMORY=2g
export SPARK_EXECUTOR_MEMORY=2g
export SPARK_DRIVER_MEMORY=2g
export SPARK_WORKER_CORES=2
2、配置spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://pc1:9000/historyserverforSpark
spark.yarn.historyServer.address pc1:18080
spark.history.fs.logDirectory hdfs://pc1:9000/historyserverforSpark
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
3、使用scp -r /chenjie/spark-1.6.0-bin-hadoop2.6 root@pc2:/chenjie命令将spark文件夹拷贝给pc2 pc3同理
4、pc1上进入/chenjie/spark-1.6.0-bin-hadoop2.6/sbin目录使用./start-all.sh命令启动集群
5、pc1上使用jps看到Master进程,pc2上看到Worker进程,pc3上看到Worker进程
6、使用http://192.168.153.131:8080/访问spark看到两个Worker结点
7、在pc1上进入【Hadoop】的/sbin目录下使用start-dfs.sh启动hdfs
8、http://192.168.153.131:50070访问hadoop DataNode
9、启动【Spark】的start-history-server.sh
我出现问题:
说明HDFS上没有historyserverforSpark
在pc1上使用hadoop fs -mkdir /historyserverforSpark创建之
再重启start-history-server.sh
使用18080端口访问,能访问则证明成功
10、以集群方式启动spark-shell
进入spark的bin目录
./spark-shell
能够计算wordcount说明集群搭建成功。
在此过程中,我的spark-shell总是启动不了,推测跟虚拟机内存有关,于是将两个worker改为1个,并将所有的配置文件涉及worker内存分配的配置改为一致,然后成功
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export SCALA_HOME=/chenjie/scala-2.10.4
export HADOOP_HOME=/chenjie/hadoop-2.6.5
export HADOOP_CONF_DIR=/chenjie/hadoop-2.6.5/etc/hadoop
export SPARK_MASTER_IP=pc1
export SPARK_WORKER_MEMORY=2g
export SPARK_EXECUTOR_MEMORY=2g
export SPARK_DRIVER_MEMORY=2g
export SPARK_WORKER_CORES=2
2、配置spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://pc1:9000/historyserverforSpark
spark.yarn.historyServer.address pc1:18080
spark.history.fs.logDirectory hdfs://pc1:9000/historyserverforSpark
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
3、使用scp -r /chenjie/spark-1.6.0-bin-hadoop2.6 root@pc2:/chenjie命令将spark文件夹拷贝给pc2 pc3同理
4、pc1上进入/chenjie/spark-1.6.0-bin-hadoop2.6/sbin目录使用./start-all.sh命令启动集群
5、pc1上使用jps看到Master进程,pc2上看到Worker进程,pc3上看到Worker进程
6、使用http://192.168.153.131:8080/访问spark看到两个Worker结点
7、在pc1上进入【Hadoop】的/sbin目录下使用start-dfs.sh启动hdfs
8、http://192.168.153.131:50070访问hadoop DataNode
9、启动【Spark】的start-history-server.sh
我出现问题:
说明HDFS上没有historyserverforSpark
在pc1上使用hadoop fs -mkdir /historyserverforSpark创建之
再重启start-history-server.sh
使用18080端口访问,能访问则证明成功
10、以集群方式启动spark-shell
进入spark的bin目录
./spark-shell
能够计算wordcount说明集群搭建成功。
在此过程中,我的spark-shell总是启动不了,推测跟虚拟机内存有关,于是将两个worker改为1个,并将所有的配置文件涉及worker内存分配的配置改为一致,然后成功
相关文章推荐
- Spark 集群搭建从零开始之1 Scala的安装与配置
- Spark 集群搭建从零开始之2 Spark单机伪分布式安装与配置
- 大数据Spark “蘑菇云”行动Hadoop实战速成之路第29课:Hadoop架构详解及Hadoop集群搭建、配置和测试实战
- Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
- Hadoop 2.6 集群搭建从零开始之3 Hadoop的安装与配置(伪分布式环境)
- Hadoop 2.6 集群搭建从零开始之4 Hadoop的安装与配置(完全分布式环境)
- (一) 从零开始搭建Spark Standalone集群环境搭建
- 轻松搭建hadoop1.2.1集群前奏--虚拟机安装与配置
- mac上配置redis集群方案--Codis的安装测试小结
- 测试环境搭建之CentOS 7.0系统安装配置步骤详解
- centos6.8下emqtt集群安装配置与测试验证
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- 轻松搭建hadoop1.2.1集群前奏--虚拟机安装与配置
- 搭建集群jdk安装配置
- Spark的安装配置以及初步测试
- 第6课:精通Spark集群搭建与测试
- 从零开始搭建hadoop分布式集群环境:(五)hadoop完全分布式集群环境配置
- CaffeOnSpark安装和使用教程系列三:集群环境下使用CaffeOnSpark进行MNIST数据集的测试
- Nginx+Keepalived+Tomcat高可用负载均衡,Zookeeper集群配置,Mysql(MariaDB)搭建,Redis安装,FTP配置
- 测试环境搭建之CentOS 7.0系统安装配置步骤详解