大数据入门第十一天——hive详解（一）入门与安装

一、基本概念

　　1.什么是hive


　　　　简洁的中文解释就是：


　　　　数据仓库的概念可以先查看百度百科的介绍：


　　　　数据库与数据仓库的区别对比，参考知乎相关问题 ：https://www.zhihu.com/question/20623931

　　　　更加详细的数仓的介绍与深入，将另开随笔介绍！

　　2.为什么用hive　　

直接使用hadoop所面临的问题

　　　　人员学习成本太高

　　　　项目周期要求太短

　　　　MapReduce实现复杂查询逻辑开发难度太大

为什么要使用Hive

　　　　操作接口采用类SQL语法，提供快速开发的能力。

　　　　避免了去写MapReduce，减少开发人员的学习成本。

　　　　扩展功能很方便。

　　3.hive架构

　　　　


　　　　基本组件：　　

用户接口：包括 CLI、JDBC/ODBC、WebGUI。

元数据存储：通常是存储在关系数据库如 mysql , derby中。

解释器、编译器、优化器、执行器。

　　　　组件功能：

用户接口主要由三个：CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。

元数据存储：Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。

　　　　更多详细的hive体系架构深入介绍，参考：http://blog.csdn.net/zhoudaxia/article/details/8855937

　　4.hive与Hadoop的关系　　　

　　　　Hive利用HDFS存储数据，利用MapReduce查询数据

　　　　


　　　　与传统数据库对比：

　　　　


　　　5.hive数据存储

　　　　1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）

　　　　2、只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。

　　　　3、Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket。

　　　　　　² db：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹

　　　　　　² table：在hdfs中表现所属db目录下一个文件夹

　　　　　　² external table：外部表, 与table类似，不过其数据存放位置可以在任意指定路径

　　　　　　　　普通表: 删除表后, hdfs上的文件都删了

　　　　　　　　External外部表删除后, hdfs上的文件没有删除, 只是把文件删除了

　　　　　　² partition：在hdfs中表现为table目录下的子目录

　　　　　　² bucket：桶, 在hdfs中表现为同一个表目录下根据hash散列之后的多个文件, 会根据不同的文件把数据放到不同的文件中

二、hive安装与配置

　　1.准备安装包

　　　　


　　2.解压

　　　　与之前保持一致，解压至apps，当然到usr/local等自定义的目录是完全没毛病的

[hadoop@mini1 ~]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C apps/

　　　　顺便将解压出来的文件夹的过长的名字稍作更改：

[hadoop@mini1 apps]$ mv apache-hive-1.2.1-bin/ hive-1.2.1

　　3.安装mysql

　　　　由于hive是默认将元数据保存在本地内嵌的 Derby 数据库中，但是这种做法缺点也很明显，Derby不支持多会话连接，因此本文将选择mysql作为元数据存储。

　　　　mysql的安装参考之前linux的随笔，注意开启用户远程登录！

　　4.配置元数据库信息

　　　　这里暂时不修改默认的了，在conf目录下使用一个新的配置文件hive-site.xml：

vi  hive-site.xml

　　　　以下配置项也是简单易懂的：

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>Zcc170821#</value>
<description>password to use against metastore database</description>
</property>
</configuration>

　　5.添加mysql驱动包

　　　　在lib目录下添加驱动包

　　　　


　　6.替换JLine的jar包

　　　　解决Jline包版本不一致的问题

[hadoop@mini1 lib]$ rm ~/apps/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar
[hadoop@mini1 lib]$ cp jline-2.12.jar ~/apps/hadoop-2.6.4/share/hadoop/yarn/lib/

　　7.配置环境变量

[hadoop@mini1 hive-1.2.1]$ sudo vim /etc/profile

export HIVE_HOME=/home/hadoop/apps/hive-1.2.1
export PATH=$PATH:$HIVE_HOME/bin

[hadoop@mini1 hive-1.2.1]$ source /etc/profile

　　8[b].初体验[/b]

　　启动：

[hadoop@mini1 hive-1.2.1]$ bin/hive

　// 配置环境变量后可以直接启动

　　　建库：

hive> create database shizhan01;
OK
Time taken: 0.943 seconds
hive>

　　


　　建表：

hive> use shizhan01;
OK
Time taken: 0.049 seconds
hive> create table t_user(id int,name string);
OK
Time taken: 0.395 seconds
hive>

　　// hive中使用完全的java数据类型即可！

　　查看元数据：

　　


　　　删除t_user；重新建表指定数据格式：

hive> create table t_user01(id int,name string)
> row format delimited
> fields terminated by ','
> ;
OK
Time taken: 0.074 seconds
hive>

　　　上传测试数据：

[hadoop@mini1 ~]$ vim user.dat
[hadoop@mini1 ~]$ ls
apache-hive-1.2.1-bin.tar.gz  apps  hadoop-2.6.4.tar.gz  hdpdata  user.dat
[hadoop@mini1 ~]$ hadoop fs -put user.dat /user/hive/warehouse/shizhan01.db/t_user

　　　正常查询：

hive> select * from t_user01;
OK
1    Join
2    Mary
3    Bob

　　　通过mr任务：

hive> select count(*) from t_user01;
Query ID = hadoop_20180224172255_b984036d-5bdd-44fc-bfb5-380b9a433034
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapreduce.job.reduces=<number>
Starting Job = job_1519458521203_0001, Tracking URL = http://mini1:8088/proxy/application_1519458521203_0001/ Kill Command = /home/hadoop/apps/hadoop-2.6.4/bin/hadoop job  -kill job_1519458521203_0001
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2018-02-24 17:23:09,002 Stage-1 map = 0%,  reduce = 0%
2018-02-24 17:23:15,635 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.29 sec
2018-02-24 17:23:25,213 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 2.63 sec
MapReduce Total cumulative CPU time: 2 seconds 630 msec
Ended Job = job_1519458521203_0001
MapReduce Jobs Launched:
Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 2.63 sec   HDFS Read: 6416 HDFS Write: 2 SUCCESS
Total MapReduce CPU Time Spent: 2 seconds 630 msec
OK
4
Time taken: 31.956 seconds, Fetched: 1 row(s)
hive>

三、启动为thrift服务

　　1.启动

启动为前台：bin/hiveserver2
启动为后台：nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err &

　　2.连接

　　　　使用支持thrift服务的进行连接，这里采用hive默认提供的beeline（另外复制一个SSH隧道）

[hadoop@mini1 ~]$ beeline
Beeline version 1.2.1 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000
Connecting to jdbc:hive2://localhost:10000
Enter username for jdbc:hive2://localhost:10000: hadoop
Enter password for jdbc:hive2://localhost:10000:
Connected to: Apache Hive (version 1.2.1)
Driver: Hive JDBC (version 1.2.1)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://localhost:10000>

　　// 默认是使用hadoop用户无密码登录即可，或者进行配置（当然配置的意义不大）

　　　　或者使用启动即连接：

bin/beeline -u jdbc:hive2://localhost:10000 -n hadoop

　　　　当然，更加推荐的方式是自己在有环境变量的bin下写个启动脚本，以后就可以使用startbeeline.sh等自定义脚本一键启动了！

补充：

　　也可以通过hive -e 'sql'的形式

[hadoop@mini1 ~]$ hive -e 'sql'

　　这样的好处是执行完了回到命令行，也就是可以通过shell脚本来执行一连串的sql了，而不用一个一个在命令行敲了！

　　或者执行某个sql文件

[hadoop@mini1 ~]$ hive -f '1.sql'