Hive on Spark运行环境搭建
2014-12-04 11:10
411 查看
Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。
Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapReduce计算框架来实现,因而在处理速度上不是非常令人满意。由于Spark出色的处理速度,有人已经成功将HiveQL的执行利用Spark来运行,这就是已经非常闻名的Shark开源项目。
在Spark 1.0中,Spark自身提供了对Hive的支持。本文不准备分析Spark是如何来提供对Hive的支持的,而只着重于如何搭建Hive On Spark的测试环境。
整体的安装过程分为以下几步
搭建Hadoop集群 ( 整个cluster由3台机器组成,一台作为Master,另两台作为Slave )
编译Spark 1.0,使其支持Hadoop 2.4.0和Hive
运行Hive on Spark的测试用例 (Spark和Hadoop Namenode运行在同一台机器)
创建基于kvm的虚拟机,利用libvirt提供的图形管理界面,创建3台虚拟机,非常方便。内存和ip地址分配如下
master 2G 192.168.122.102
slave1 4G 192.168.122.103
slave2 4G 192.168.122.104
在虚拟机上安装os的过程就略过了,我使用的是arch linux,os安装完成之后,确保以下软件也已经安装
jdk
openssh
在每台机器上创建名为hadoop的用户组,添加名为hduser的用户,具体bash命令如下所示
在启动slave机器上的datanode或nodemanager的时候需要输入用户名密码,为了避免每次都要输入密码,可以利用如下指令创建无密码登录。注意是从master到slave机器的单向无密码。
将id_dsa.pub复制为authorized_keys,然后上传到slave1和slave2中的$HOME/.ssh目录
在组成集群的master, slave1和slave2中,向/etc/hosts文件添加如下内容
如果更改完成之后,可以在master上执行ssh slave1来进行测试,如果没有输入密码的过程就直接登录入slave1就说明上述的配置成功。
以hduser身份登录master,执行如下指令
在hadoop-config.sh文件开头处添加如下内容
在yarn-env.sh开头添加如下内容
文件1: $HADOOP_CONF_DIR/core-site.xml
文件2: $HADOOP_CONF_DIR/hdfs-site.xml
文件3: $HADOOP_CONF_DIR/mapred-site.xml
文件4: $HADOOP_CONF_DIR/yarn-site.xml
文件5: $HADOOP_CONF_DIR/slaves
在文件中添加如下内容
在$HADOOP_HOME下创建tmp目录
刚才所作的配置文件更改发生在master机器上,将整个更改过的内容全部复制到slave1和slave2。
批量处理是不是很爽
在master机器上对namenode进行格式化
注意: daemon.sh 表示只在本机运行, daemons.sh 表示在所有的cluster节点上运行。
跑一个wordcount示例,具体步骤不再列出,可参考本系列中的第11篇
Spark的编译还是很简单的,所有失败的原因大部分可以归结于所依赖的jar包无法正常下载。
为了让Spark 1.0支持hadoop 2.4.0和hive,请使用如下指令编译
如果一切顺利将会在assembly目录下生成 spark-assembly-1.0.0-SNAPSHOT-hadoop2.4.0.jar
编译之后整个$SPARK_HOME目录下所有的文件体积还是很大的,大概有两个多G。有哪些是运行的时候真正需要的呢,下面将会列出这些目录和文件。
$SPARK_HOME/bin
$SPARK_HOME/sbin
$SPARK_HOME/lib_managed
$SPARK_HOME/conf
$SPARK_HOME/assembly/target/scala-2.10
将上述目录的内容复制到/tmp/spark-dist,然后创建压缩包
将生成的运行包上传到master(192.168.122.102)
经过上述重重折磨,终于到了最为紧张的时刻了。
以hduser身份登录master机,解压spark-1.0-dist.tar.gz
更改conf/spark-env.sh
用bin/spark-shell指令启动shell之后,运行如下scala代码
如果一切顺利,最后一句hql会返回key及value
Steps to install Hadoop 2.x release (Yarn or Next-Gen) on multi-node cluster
Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapReduce计算框架来实现,因而在处理速度上不是非常令人满意。由于Spark出色的处理速度,有人已经成功将HiveQL的执行利用Spark来运行,这就是已经非常闻名的Shark开源项目。
在Spark 1.0中,Spark自身提供了对Hive的支持。本文不准备分析Spark是如何来提供对Hive的支持的,而只着重于如何搭建Hive On Spark的测试环境。
安装概览
整体的安装过程分为以下几步搭建Hadoop集群 ( 整个cluster由3台机器组成,一台作为Master,另两台作为Slave )
编译Spark 1.0,使其支持Hadoop 2.4.0和Hive
运行Hive on Spark的测试用例 (Spark和Hadoop Namenode运行在同一台机器)
Hadoop集群搭建
创建虚拟机
创建基于kvm的虚拟机,利用libvirt提供的图形管理界面,创建3台虚拟机,非常方便。内存和ip地址分配如下master 2G 192.168.122.102
slave1 4G 192.168.122.103
slave2 4G 192.168.122.104
在虚拟机上安装os的过程就略过了,我使用的是arch linux,os安装完成之后,确保以下软件也已经安装
jdk
openssh
创建用户组和用户
在每台机器上创建名为hadoop的用户组,添加名为hduser的用户,具体bash命令如下所示groupadd hadoop useradd -b /home -m -g hadoop hduser passwd hduser
无密码登录
在启动slave机器上的datanode或nodemanager的时候需要输入用户名密码,为了避免每次都要输入密码,可以利用如下指令创建无密码登录。注意是从master到slave机器的单向无密码。cd $HOME/.ssh ssh-keygen -t dsa
将id_dsa.pub复制为authorized_keys,然后上传到slave1和slave2中的$HOME/.ssh目录
cp id_dsa.pub authorized_keys #确保在slave1和slave2机器中,hduser的$HOME目录下已经创建好了.ssh目录 scp authorized_keys slave1:$HOME/.ssh scp authorized_keys slave2:$HOME/.ssh
更改每台机器上的/etc/hosts
在组成集群的master, slave1和slave2中,向/etc/hosts文件添加如下内容192.168.122.102 master 192.168.122.103 slave1 192.168.122.104 slave2
如果更改完成之后,可以在master上执行ssh slave1来进行测试,如果没有输入密码的过程就直接登录入slave1就说明上述的配置成功。
下载hadoop 2.4.0
以hduser身份登录master,执行如下指令cd /home/hduser wget http://mirror.esocc.com/apache/hadoop/common/hadoop-2.4.0/hadoop-2.4.0.tar.gz mkdir yarn tar zvxf hadoop-2.4.0.tar.gz -C yarn
修改hadoop配置文件
添加如下内容到.bashrc
export HADOOP_HOME=/home/hduser/yarn/hadoop-2.4.0 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
修改$HADOOP_HOME/libexec/hadoop-config.sh
在hadoop-config.sh文件开头处添加如下内容export JAVA_HOME=/opt/java
$HADOOP_CONF_DIR/yarn-env.sh
在yarn-env.sh开头添加如下内容export JAVA_HOME=/opt/javaexport HADOOP_HOME=/home/hduser/yarn/hadoop-2.4.0 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
xml配置文件修改
文件1: $HADOOP_CONF_DIR/core-site.xml<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hduser/yarn/hadoop-2.4.0/tmp</value> </property> </configuration>
文件2: $HADOOP_CONF_DIR/hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
文件3: $HADOOP_CONF_DIR/mapred-site.xml
<?xml version="1.0"?> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
文件4: $HADOOP_CONF_DIR/yarn-site.xml
<?xml version="1.0"?> <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8025</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8040</value> </property> </configuration>
文件5: $HADOOP_CONF_DIR/slaves
在文件中添加如下内容
slave1 slave2
创建tmp目录
在$HADOOP_HOME下创建tmp目录mkdir $HADOOP_HOME/tmp
复制yarn目录到slave1和slave2
刚才所作的配置文件更改发生在master机器上,将整个更改过的内容全部复制到slave1和slave2。for target in slave1 slave2 do scp -r yarn $target:~/ scp $HOME/.bashrc $target:~/ done
批量处理是不是很爽
格式化namenode
在master机器上对namenode进行格式化bin/hadoop namenode -format
启动cluster集群
sbin/hadoop-daemon.sh start namenode sbin/hadoop-daemons.sh start datanode sbin/yarn-daemon.sh start resourcemanager sbin/yarn-daemons.sh start nodemanager sbin/mr-jobhistory-daemon.sh start historyserver
注意: daemon.sh 表示只在本机运行, daemons.sh 表示在所有的cluster节点上运行。
验证hadoop集群安装正确与否
跑一个wordcount示例,具体步骤不再列出,可参考本系列中的第11篇
编译Spark 1.0
Spark的编译还是很简单的,所有失败的原因大部分可以归结于所依赖的jar包无法正常下载。为了让Spark 1.0支持hadoop 2.4.0和hive,请使用如下指令编译
SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SPARK_HIVE=true sbt/sbt assembly
如果一切顺利将会在assembly目录下生成 spark-assembly-1.0.0-SNAPSHOT-hadoop2.4.0.jar
创建运行包
编译之后整个$SPARK_HOME目录下所有的文件体积还是很大的,大概有两个多G。有哪些是运行的时候真正需要的呢,下面将会列出这些目录和文件。$SPARK_HOME/bin
$SPARK_HOME/sbin
$SPARK_HOME/lib_managed
$SPARK_HOME/conf
$SPARK_HOME/assembly/target/scala-2.10
将上述目录的内容复制到/tmp/spark-dist,然后创建压缩包
mkdir /tmp/spark-dist for i in $SPARK_HOME/{bin,sbin,lib_managed,conf,assembly/target/scala-2.10} do cp -r $i /tmp/spark-dist done cd /tmp/ tar czvf spark-1.0-dist.tar.gz spark-dist
上传运行包到master机器
将生成的运行包上传到master(192.168.122.102)scp spark-1.0-dist.tar.gz hduser@192.168.122.102:~/
运行hive on spark测试用例
经过上述重重折磨,终于到了最为紧张的时刻了。以hduser身份登录master机,解压spark-1.0-dist.tar.gz
#after login into the master as hduser tar zxvf spark-1.0-dist.tar.gz cd spark-dist
更改conf/spark-env.sh
export SPARK_LOCAL_IP=127.0.0.1 export SPARK_MASTER_IP=127.0.0.1
运行最简单的example
用bin/spark-shell指令启动shell之后,运行如下scala代码val sc: SparkContext // An existing SparkContext. val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc) // Importing the SQL context gives access to all the public SQL functions and implicit conversions. import hiveContext._ hql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)") hql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src") // Queries are expressed in HiveQL hql("FROM src SELECT key, value").collect().foreach(println)
如果一切顺利,最后一句hql会返回key及value
参考资料
Steps to install Hadoop 2.x release (Yarn or Next-Gen) on multi-node cluster
相关文章推荐
- Hive on Spark运行环境搭建
- 基于Spark 2.0.0搭建Hive on Spark环境
- Linux搭建Hive On Spark环境(spark-1.6.3-without-hive+hadoop2.8.0+hive2.1.1)
- 基于Spark2.0搭建Hive on Spark环境(Mysql本地和远程两种情况)
- Hive On Spark环境搭建
- hive on spark 环境搭建
- TensorFlowOnSpark HDP环境搭建及Mnist部署测试过程
- hadoop on yarn 入门系列1-伪分布式环境搭建并运行wordcount
- spark学习7之IDEA下搭建Spark本地编译环境并上传到集群运行
- Spark on Yarn+Hbase环境搭建指南(四)NTP服务设置
- windows搭建spark运行环境(windows scala,hadoop,spark安装,idea使用配置等)
- Spark2.0.1 on yarn with hue 集群搭建部署(一)基础环境配置
- Spark on Yarn+Hbase环境搭建指南(一)准备工作
- Hive on Spark 配置、运行
- spark_on_yarn环境搭建
- Spark的环境搭建以及简单的eclipse的两种运行方式--standalone和yarn
- Spark on Yarn+Hbase环境搭建指南(二)Hadoop安装
- Shark Hive Spark Hadoop2 环境搭建
- 搭建Hive On Spark
- 大数据,hadoop,spark,hive,ZooKeeper,kafka,flume等组件环境搭建