Hive的简单介绍以及安装部署

Hive简介（数据仓库工具）

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive是十分适合数据仓库的统计分析和Windows注册表文件。

Hive从搭建到测试

1.derby版hive直接使用

1.解压hive

cd /export/softwares
tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/

进入自己到解压的hive目录
执行bin/hive
hive> create database mytest;

缺点：多个地方安装hive后，每一个hive是拥有一套自己的元数据，大家的库、表就不统一；

mysql数据库的安装（使用yum源进行安装，强烈推荐）

第一步：在线安装mysql相关的软件包
yum install mysql mysql-server mysql-devel
第二步：启动mysql的服务
开启mysql服务：/etc/init.d/mysqld start
开机自启动：chkconfig mysqld on
第三步 ：进入mysql的客户端然后进行授权
mysql;
设置root用户链接mysql的密码
update user set password=password(‘123456’) where user=‘root’;
刷新
flush privileges;
第四步：
配置远程连接
grant all privileges on . to ‘root’@’%’ identified by ‘123456’ with grant option;
刷新
flush privileges;

修改hive的配置文件

添加我们的hadoop的环境变量：
cd /export/servers/hive-1.1.0-cdh5.14.0/conf（进入到自己解压目录的conf）
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

HADOOP_HOME=自己的解压目录
export HIVE_CONF_DIR=自己解压目录的conf

修改hive-site.xml

cd /export/servers/hive-1.1.0-cdh5.14.0/conf
vim hive-site.xml
添加以下数据
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node03:3306/hive?createDatabaseIfNotExist=true</value>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node03</value>
</property>

上传mysql的lib驱动包

将mysql的lib驱动包上传到hive的lib目录下

cd /export/servers/hive-1.1.0-cdh5.14.0/lib

将mysql-connector-java-5.1.38.jar 上传到这个目录下

使用方式

cd /export/servers/hive-1.1.0-cdh5.14.0(ps:进入到自己的解压目录，这个是博主自己的解压目录)
执行bin/hive
查看所有的数据库
show databases;
创建一个数据库
create database myhive;
使用该数据库并创建数据库表
use myhive;
create table test1(id int,name string);
切记不要忘记后边的分号

以上命令操作完成之后，一定要确认mysql里面出来一个数据库hive
配置好所有环境以后使用远程拷贝将整个hive(/export/servers/hive-1.1.0-cdh5.14.0)分配到其他节点。
在随机一个节点上面创建一个数据库,并在其他节点执行bin/hive查看数据库是否创建成功.

• 点赞
• 收藏
• 分享
• 文章举报