CentOS64位6.4下Hadoop2.7.1、Mysql5.5.46、Hive1.2.1、Spark1.5.0的集群环境部署

部署环境：

CentOS 6.4 64bit

Hadoop2.7.1、Mysql5.5、Hive1.2.1、Scala2.11.7、Spark1.5.0

jdk1.7.0_79

主机IP：

master（namenode）：10.10.4.115

slave1（datanode）：10.10.4.116

slave2（datanode）：10.10.4.117

一、环境准备及Hadoop部署：

（1）环境准备(host配置必须一致，否则可能导致错误)：

[root@master ~]#vi /etc/hosts

127.0.0.1 localhost

10.10.4.115 master.hadoop

10.10.4.116 slave1.hadoop

10.10.4.117 slave2.hadoop

（2）设置主机名：

[root@master ~]#vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=master.hadoop

（3）使其hostname即时生效：

可重启系统；

或者使用命令：

[root@master ~]#hostname master.hadoop

或者

[root@master ~]#echo master.hadoop > /proc/sys/kernel/hostname

（4）关闭防火墙服务：

[root@master ~]#service iptables stop

避免重启系统后iptables启动：

[root@master ~]#chkconfig iptables off

确认已关闭

[root@master ~]#chkconfig --list|grep iptables

iptables 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:关闭 6:关闭

chkconfig关闭iptables并不能永久关闭iptables，在重启系统后，level3下会自动启动iptables，这时候我们可以将iptables规则清空后保存，间接达到永久关闭的需求：

echo "" > /etc/sysconfig/iptables

（5）关闭selinux

[root@master ~]#vi /etc/sysconfig/selinux

修改SELINUX=disabled

（6）卸载默认安装的openjdk（hadoop官方建议使用oracle版本jdk）：

检查是否安装)：

[root@master ~]#rpm -qa|grep openjdk

卸载安装的openjdk：

[root@master ~]#rpm -e openjdk

（7）下载并安装oracle jdk1.7.0_79：

[root@master ~]#rpm -ivh jdk-7u79-linux-x64.rpm

（8）设置环境变量：

[root@master ~]#vi /etc/profile

##############JAVA#############################

export JAVA_HOME=/usr/java/jdk1.7.0_79

export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar

export JRE_HOME=$JAVA_HOME/jre

export PATH=/usr/local/mysql/bin:$JAVA_HOME/bin:$PATH

################END############################

（9）使其生效：

[root@master ~]#source /etc/profile

（10）测试：

[root@master ~]#echo $JAVA_HOME

/usr/java/jdk1.7.0_79

（11）创建hadoop用户及群组：

[root@master ~]#useradd hadoop -p mangocity

（12）配置master免密码登录slave:

启用免密码登录ssh配置：

[root@master ~]#vi /etc/ssh/sshd_config

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

（13）设置完之后记得重启SSH服务，才能使刚才设置有效：

[root@master ~]#service sshd restart

#######以上设置slave服务器设置类同master##########

（14）在master上切换到hadoop用户，生成公钥：

[root@master ~]#su - hadoop

（15）生成公钥：

[hadoop@master ~]$ssh-keygen –t rsa –P ''

[hadoop@master ~]$more /home/hadoop/.ssh/id_rsa.pub

ssh-rsa AAAB3**************************************************7RbuPw== hadoop@master.hadoop

（16）把id_rsa.pub内容追加到授权的key：

[hadoop@master ~]$cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys

（17）验证本地免密码登录：

验证之前确认/home/hadoop/.ssh/authorized_keys的权限为600，即只有hadoop用户拥有rw权限：

[hadoop@master ~]$ ll ./.ssh/authorized_keys

-rw-------. 1 hadoop hadoop 402 11月 18 01:53 ./.ssh/authorized_keys

如权限不对，则会导致免密码登录失败；如权限非600，则需要修改其权限为600：

[hadoop@master ~]$chmod 600 ~/.ssh/authorized_keys

（18）测试验证：

[hadoop@master ~]$ssh 127.0.0.1

The authenticity of host '127.0.0.1 (127.0.0.1)' can't be established.

RSA key fingerprint is 31:45:00:ff:a7:80:23:f2:2a:86:7f:13:0d:bf:f0:d6.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added '127.0.0.1' (RSA) to the list of known hosts.

hadoop@127.0.0.1's password:（第一次登录需要输入密码）

[hadoop@master ~]$exit

[hadoop@master ~]$ssh 127.0.0.1

Last login: Mon Nov 23 09:52:02 2015 from localhost（第二次登录不需要输入密码，说明本地登录验证成功）

[hadoop@master ~]$

（19）设置slave服务器ssh免密码登录：

此时slave服务器的hadoop的家目录下是没有.ssh目录和authorized_keys的，需要手动建立：

[hadoop@slave1 ~]#su -hadoop

[hadoop@slave1 ~]$ls -a

. .. .bash_history .bash_logout .bash_profile .bashrc .gnome2 .viminfo

（20）手动建立目录、修改权限：

[hadoop@slave1 ~]$mkdir ./.ssh

[hadoop@slave1 ~]$chmod 700 ./.ssh

（21）手动创建文件、修改文件权限：

[hadoop@slave1 ~]$touch ./.ssh/authorized_keys

[hadoop@slave1 ~]$chmod 600 ./.ssh/authorized_keys

[hadoop@slave1 ~]$ls -a

. .. .bash_history .bash_logout .bash_profile .bashrc .gnome2 .ssh .viminfo

（22）将master服务器上hadoop用户建立的公钥文件id_rsa.pub复制到slave服务器hadoop用户目录：

[hadoop@slave1 ~]$scp hadoop@master.hadoop:/home/hadoop/id_rsa.pub /home/hadoop/

（23）将master服务器hadoop用户的公钥id_rsa.pub内容追加到授权的authorized_keys文件中：

[hadoop@slave1 ~]$cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys

以上步骤在slave2服务器重复操作一遍，更改/etc/ssh/sshd_config配置并重启sshd服务。

（24）测试验证master免密码登录slave服务器配置：

[hadoop@master ~]$ssh slave1.hadoop

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added '127.0.0.1' (RSA) to the list of known hosts.

hadoop@127.0.0.1's password:（第一次登录需要输入密码）

[hadoop@slave1 ~]$exit

logout

Connection to slave1.hadoop closed.

[hadoop@master ~]$ ssh slave1.hadoop

Last login: Mon Nov 23 19:25:05 2015 from master.hadoop（第二次登录不需要输入密码，且当前用户已切换到slave1的hadoop，说明无密码登录验证成功）

[hadoop@slave1 ~]$

验证master免密码登录slave2服务器的过程和slave1相同。

部署hadoop2.7.1到master：

（1）下载并解压源码包：

[root@master ~]#tar -xvf hadoop-2.7.1.tar.gz

[root@master ~]#cp -Rv ./hadoop-2.7.1 /usr/local/hadoop/

（2）/usr/local/hadoop建立一些需要用到的目录:

[root@master ~]#mkdir -p /usr/local/hadoop/tmp /usr/local/hadoop/dfs/data /usr/local/hadoop/dfs/name

[root@master ~]#chown -R hadoop:hadoop /usr/local/hadoop/

（3）设置环境变量(slave服务器与master一致)：

vi /etc/profile

##############Hadoop###########################

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export PATH=/usr/local/mysql/bin:$HADOOP_HOME/bin:$PATH

################END############################

（4）使其生效：

source /etc/profile生效

（5）切换到hadoop用户，修改hadoop相关配置，相关文件存放在$HADOOP_HOME/etc/hadoop/下，主要配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml这几个site文件：

[root@master ~]#su - hadoop

[hadoop@master ~]$ cd /usr/local/hadoop/etc/hadoop/[root@master ~]#su - hadoop

[hadoop@master ~]$ cd /usr/local/hadoop/etc/hadoop/

（6）修改env环境变量文件，将hadoop-env.sh，mapred-env.sh，yarn-env.sh末尾都添加上JAVA_HOME环境变量：

[hadoop@master hadoop]$vi hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79 ###在文件末尾添加上这一行，另外2个文件相同方式修改

修改site文件，相关配置如下：

（7）core-site.xml:

[hadoop@master hadoop]$more core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master.hadoop:9000</value> #因后期需要整合hive，这里要用hostname

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abasefor other temporary directories.</description>

</property>

</configuration>

（8）mapred-site.xml:

[hadoop@master hadoop]$more mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

（9）hdfs-site.xml:

[hadoop@master hadoop]$more hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>10.10.4.115:9001</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

（10）yarn-site.xml

[hadoop@master hadoop]$more yarn-site.xml

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>10.10.4.115</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>10.10.4.115:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>10.10.4.115:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>10.10.4.115:8035</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>10.10.4.115:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>10.10.4.115:8088</value>

</property>

（11）添加datanode节点：

[root@master ~]#vi slaves

10.10.4.116 #可以填IP地址也可以填hostname

10.10.4.116

（12）部署datanode节点：

复制hadoop目录至slave1和slave2节点,并修改目录权限：

[root@master ~]#scp -r /usr/local/hadoop/ root@slave1.hadoop:/usr/local/

[hadoop@slave1 ~]$chown -R hadoop:hadoop /usr/local/hadoop

[root@master ~]#scp -r /usr/local/hadoop/ root@slave2.hadoop:/usr/local/

[hadoop@slave2 ~]$chown -R hadoop:hadoop /usr/local/hadoop

（13）格式化namenode：

[root@master ~]#su - hadoop

[hadoop@master ~]$cd /usr/local/hadoop

[hadoop@master hadoop]$./bin/hdfs namenode -format

当出现“successfully formatted”提示，说明格式化成功。

（14）启动hadoop：

[hadoop@master hadoop]$./sbin/start-all.sh

（15）检查master（namenode）进程状态：

[hadoop@master hadoop]$ jps

2697 Jps

7820 SecondaryNameNode

7985 ResourceManager

7614 NameNode

出现以上结果说明namenode节点服务正常运行

（16）检查slave（datanode）进程状态：

[hadoop@slave1 ~]$ jps

18342 DataNode

30450 Jps

18458 NodeManager

（17）显示以上结果说明datanode节点服务正常运行

还可以通过网页监控集群状态等信息：

http://master.hadoop:8088





http://master.hadoop:50070





至此，hadoop集群安装完成，接下来是和Hive的整合。

二、Hive和Hadoop的整合（hive安装在namenode节点上）：

（1）安装mysql 5.5(也可以用yum安装，这里使用源码安装)：

安装依赖包:

[root@master ~]#yum -y install gcc gcc-c++ ncurses ncurses-devel cmake

（2）下载相应源码包:

[root@master ~]#wget http://cdn.mysql.com/Downloads/MySQL-5.5/mysql-5.5.46.tar.gz
（3）添加mysql用户:

[root@master ~]#useradd -M -s /sbin/nologin mysql

（4）预编译:

[root@master ~]#tar -xzvf mysql-5.5.46.tar.gz

[root@master ~]#mkdir -p /data/mysql

[root@master ~]#cd mysql-5.5.46

[root@master mysql-5.5.46]#cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \ ###mysql5.5版本之后，configura改成cmake

-DMYSQL_DATADIR=/data/mysql \

-DSYSCONFDIR=/etc \

-DWITH_INNOBASE_STORAGE_ENGINE=1 \

-DWITH_PARTITION_STORAGE_ENGINE=1 \

-DWITH_FEDERATED_STORAGE_ENGINE=1 \

-DWITH_BLACKHOLE_STORAGE_ENGINE=1 \

-DWITH_MYISAM_STORAGE_ENGINE=1 \

-DENABLED_LOCAL_INFILE=1 \

-DENABLE_DTRACE=0 \

-DDEFAULT_CHARSET=utf8mb4 \

-DDEFAULT_COLLATION=utf8mb4_general_ci \

-DWITH_EMBEDDED_SERVER=1

（5）编译安装：

[root@master mysql-5.5.46]#make

[root@master mysql-5.5.46]#make install

（6）启动脚本，设置开机自启动：

[root@master mysql-5.5.46]#cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld

[root@master mysql-5.5.46]#chmod +x /etc/init.d/mysqld

[root@master mysql-5.5.46]#chkconfig --add mysqld

[root@master mysql-5.5.46]#chkconfig mysqld on

（7）初始化数据库：

[root@master mysql-5.5.46]#/usr/local/mysql/bin/mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql

（8）设置密码：

[root@master mysql-5.5.46]#mysql -uroot -p #第一次执行时，会要求输入root账户密码

（9）建立hive数据库：

mysql>create database hive;

（10）建立hive账户并授权访问mysql权限：

mysql>grant all privileges on *.* to 'hive'@'%' identified by '123456' with grant option; #设置用户名密码及访问权限授权

mysql>flush privileges；

mysql>alter database hivemeta character set latin1; #更改字符集类型

mysql>flush privileges；

mysql>exit

（11）测试hive账户：

[root@master mysql-5.5.46]#mysql -uhive -pmangocity

mysql>

测试登录成功

安装Hive：

（1）设置全局环境变量(行首添加)：

[root@master ~]#vi /etc/profile

#############Hive##############################

export HIVE_HOME=/usr/local/hive-1.2.1

export HIVE_CONF_DIR=$HIVE_HOME/conf

export HIVE_LIB=$HIVE_HOME/lib

export CLASSPATH=$CLASSPATH:$HIVE_LIB

export PATH=$HIVE_HOME/bin/:$PATH

###################END#########################

（2）使其生效：

[root@master ~]#source /etc/profile

（3）下载安装Hive：

[root@master ~]#tar -xzvf apache-hive-1.2.1-bin.tar.gz

[root@master ~#mv ./apache-hive-1.2.1 /usr/local/hive-1.2.1

（4）改变hive目录属组：

[root@master ~]#chown -R hadoop:hadoop /usr/local/hive-1.2.1

su - hadoop

[hadoop@master ~]$cd /usr/local/hive-1.2.1/

（5）将下载好的mysql-connector-java-5.1.6-bin.jar复制到hive 的lib下面：

[hadoop@master hive-1.2.1]$cp /home/hadoop/mysql-connector-java-5.1.37-bin.jar /usr/local/hive-1.2.1/lib/

（6）将$HIVE_HOME/lib下jline-2.12.jar复制到hadoop对应的目录中，替换掉低版本的jline-0.9.94.jar，看通过find查找出具体目录：

[hadoop@master hive-1.2.1]$find /usr/local/hadoop -name jline*.jar

[hadoop@master hive-1.2.1]$mv /usr/local/hadoop/share/hadoop/yarn/lib/jline-0.9.4.jar /usr/local/hadoop/share/hadoop/yarn/lib/jline-0.9.4.jar.bak #备份旧版本jar包

[hadoop@master hive-1.2.1]$cp /usr/local/hive-1.2.1/lib/jline-2.12.jar /usr/local/hadoop/share/hadoop/yarn/lib/

（8）hive环境变量设置：

编辑$HIVE_HOME/bin/hive-config.sh,页尾添加：

[hadoop@master hive-1.2.1]$vi /usr/local/hive-1.2.1/bin/hive-config.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79

export HADOOP_HOME=/usr/local/hadoop

export HIVE_HOME=/usr/local/hive-1.2.1

（9）hive环境变量设置：

编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh，页尾添加：

[hadoop@master hive-1.2.1]$vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

export HIVE_HOME=/usr/local/hive-1.2.1

export HIVE_CONF_DIR=/usr/local/hive-1.2.1/conf

（10）设置hive与mysql连接等参数等文件的配置：

[hadoop@master hive-1.2.1]$vi /usr/local/hive-1.2.1/conf/hive-site.xml

<configuration>

<property>

<name>hive.metastore.local</name> #远程mysql还是本地mysql，这里是本地

<value>ture</value>

</property>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value> #JDBC相关参数

<description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

<description>Driver class name for a JDBC metastore</description>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hive</value>

<description>username to use against metastore database</description> #连接mysql所用账户

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

<description>password to use against metastore database</description> #连接mysql所用账户密码

</property>

</configuration>

（11）启动Hive：

[hadoop@master hive-1.2.1]$./bin/hive --service metastore & #启动metastore，置于后台运行

[hadoop@master hive-1.2.1]$./bin/hive --service hiveserver & #启动hiveserver，置于后台运行

（12）测试Hive，执行jps，会查看到有一个Runjar进程在运行：

[hadoop@master hive-1.2.1]$jps

5640 NameNode

6013 ResourceManager

5847 SecondaryNameNode

6490 RunJar

13978 Jps

（13）测试hive和hadoop及MySQL的整合：

[hadoop@master hive-1.2.1]$ ./bin/hive

SLF4J: Class path contains multiple SLF4J bindings.

SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in [jar:file:/usr/local/spark-1.5.0/lib/spark-assembly-1.5.0-hadoop2.6.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.

SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

SLF4J: Class path contains multiple SLF4J bindings.

SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in [jar:file:/usr/local/spark-1.5.0/lib/spark-assembly-1.5.0-hadoop2.6.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.

SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

15/11/24 10:12:24 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist

Logging initialized using configuration in jar:file:/usr/local/hive-1.2.1/lib/hive-common-1.2.1.jar!/hive-log4j.properties

hive> show databases;

OK

default

Time taken: 1.878 seconds, Fetched: 1 row(s)

hive> show tables;

OK

Time taken: 2.025 seconds, Fetched: 1 row(s)

hive> create table test(name string, age int); #尝试建立一张表

OK

Time taken: 2.952 seconds

hive> desc test;

OK

name string

age int

Time taken: 0.225 seconds, Fetched: 2 row(s)

hive> exit;

至此，hadoop集群与hive的整合完成，接下来是和spark的整合。

三丶Spark和Hadoop的整合

安装Scala：

（1）将压缩包解压至/usr/scala 目录：

[root@master ~]#tar -zxvf .//scala-2.11.7.tgz

[root@master ~]#mv ./scala-2.11.7 /usr/local/scala-2.11.7

（2）目录授权给hadoop用户：

[root@master ~]#chown -R hadoop:hadoop /usr/local/scala-2.11.7

（3）设置环境变量：

[root@master ~]#vi /etc/profile

追加如下内容：

#############Scale#############################

export SCALA_HOME=/usr/local/scala-2.11.7

export PATH=$PATH:$SCALA_HOME/bin

####################END########################

（4）使其生效：

[root@master ~]#source /etc/profile

（5）测试Scala是否安装配置成功：

[hadoop@master ~]$ scala -version

Scala code runner version 2.11.7 -- Copyright 2002-2013, LAMP/EPFL

安装Spark

官网下载spark1.5.0：spark-1.5.0-bin-hadoop2.6.tgz

（1）将压缩包解压至/usr/local目录：

[root@master ~]#tar -zxvf ./spark-1.5.0-bin-hadoop2.6.tgz

[root@master ~]#mv ./spark-1.5.0 /usr/local/spark-1.5.0

（2）目录授权给hadoop用户：

[root@master ~]#chown -R hadoop:hadoop /usr/local/spark-1.5.0

（3）设置环境变量：

[root@master ~]#vi /etc/profile

追加如下内容

############Spark##############################

export SPARK_HOME=/usr/local/spark-1.5.0

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

#################END###########################

（4）使之生效

[root@master ~]#source /etc/profile

（5）测试Spark是否安装配置成功：

[root@master ~]#spark-shell --version

Welcome to

____ __

/ __/__ ___ _____/ /__

_\ \/ _ \/ _ `/ __/ '_/

/___/ .__/\_,_/_/ /_/\_\ version 1.5.0

/_/

Type --help for more information.

（6）编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh,添加如下内容：

export SPARK_MASTER_IP=10.10.4.115

export SPARK_WORKER_MEMORY=1024m

（7）更改spark相关配置：

su - hadoop

cd /usr/local/spark.1.5.0

（8）复制模板并编辑spark-env.sh ，配置相关环境变量：

[hadoop@master spark-1.5.0]$mv ./conf/spark-env.sh.template ./conf/spark-env.sh

[hadoop@master spark-1.5.0]$vi ./conf/spark-env.sh

export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

export SCALA_HOME=/usr/local/scala-2.11.7

export JAVA_HOME=/usr/java/jdk1.7.0_79

export SPARK_MASTER_IP=10.10.4.115

export SPARK_WORKER_MEMORY=1024m

（9）配置slave节点服务器：

[hadoop@master spark-1.5.0]$vi ./conf/slaves

# A Spark Worker will be started on each of the machines listed below.

slave1.hadoop

slave2.hadoop

(10)切换到root用户，将scala和spark以及相关环境变量配置复制到datanode节点，即salve1和slave2服务器：

[root@master ~]#scp -r /usr/local/scala-2.11.7 root@slave1.hadoop:/usr/local/scala-2.11.7

[root@master ~]#scp -r /usr/local/spark.1.5.0 root@slave1.hadoop:/usr/local/spark.1.5.0

登录到slave1服务器，将刚才复制的两个目录授权给hadoop:

chown -R hadoop:hadoop /usr/local/scala-2.11.7 /usr/local/spark.1.5.0

配置slave1服务器/etc/profile,/usr/local/hadoop/etc/hadoop/hadoop-env.sh，使其和master服务器保持一致,并使其生效。

[root@master ~]#scp -r /usr/local/scala-2.11.7 root@slave2.hadoop:/usr/local/scala-2.11.7

[root@master ~]#scp -r /usr/local/spark.1.5.0 root@slave2.hadoop:/usr/local/spark.1.5.0

登录到slave2服务器，将刚才复制的两个目录授权给hadoop:

chown -R hadoop:hadoop /usr/local/scala-2.11.7 /usr/local/spark.1.5.0

配置slave2服务器/etc/profile,/usr/local/hadoop/etc/hadoop/hadoop-env.sh，使其和master服务器保持一致，并使其生效。

（11）启动spark和测试：

[hadoop@master spark-1.5.0]$./sbin/start-all.sh

可以通过jps查看namenode节点，会有一个Master进程在运行：

[hadoop@master spark-1.5.0]$jps

5640 NameNode

6013 ResourceManager

5847 SecondaryNameNode

6897 Master

15164 Jps

6490 RunJar

过jps查看datanode节点，会有一个Worker进程在运行：

[hadoop@slave1 ~]$ jps

3982 Jps

31810 DataNode

32136 Worker

31928 NodeManager

也可以通过网页监控到相关信息：
http://master.hadoop:8080




至此，整个Hdoop、Hive、Spark集群环境部署完成。

本文出自 “疯子的守望”
博客，请务必保留此出处http://mrthanks.blog.51cto.com/1764573/1716486