hive简介 安装 hivesql hive开发 性能优化

3.1 hive简介

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供sql查询功能，可以将sql语句转换为MapReduce任务运行。

 优点:

学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用。

缺点：

不能支持实时响应，单条记录的更新操作不能实现，不支持半结构化数据，不支持索引和事务，hive sql比sql有很多制约。

适用：

数据一次写入，多次读，数据无须更新；离线分析。

3.2 hive的安装与配置（hive0.9）

在Hadoop已安装的前提下，我们需要经历以下步骤才能完成hive的安装。

第一步：

（1）在hadoop集群中任选一台安装一个关系型数据库用以存放hive的元数据，可选mysql，oracle，sqlserver等，本集群用的是mysql。

（2）在mysql上建立hive的metadata数据库

172.16.18.191:3306/hive

第二步：

（1）在hdfs上建立hive的数据仓库目录

（2）解压hive0.9到191的任一目录，修改配置文件，修改系统环境变量

（3）启动hiveserver

3.3 hive sql

Create / drop / describe table:

create table ssp_impr_log(id string,cycle_id string,publisher_id string,ad_zone_id string,advertiser_id string,campaign_id string,ad_id string,ad_type string,buy_type string,cost_type string,access_time string,ip string,user_id string,status string,area_code
string,matched_area_code string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE;

create table ssp_test_result(campaign_id string,record_count int)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE;

Load data:

load data local inpath '/data/liujun/IMPR_LOG_20130509.txt' into table ssp_impr_log;

Select / insert

insert into table ssp_test_result select t.campaign_id,count(t.id) from ssp_impr_log t group by t.campaign_id;

3.4 hive开发、性能优化

3.4.1 hive开发（和jdbc一样）

//获取连接

Connection conn = HiveOperator.getHiveConnection();

public static Connection getHiveConnection() {

  if(conn == null){

   try {

    Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");

   } catch (ClassNotFoundException e) {

    log.error(new Date()+":无法加载数据库驱动");

    System.exit(1);

   }      

   try {

    conn = DriverManager.getConnection(GenericMethod.getProperties().getProperty("hive.url"), "", "");

   } catch (SQLException e) {

    log.error(new Date()+":hive连接初始化失败"+GenericMethod.getProperties().getProperty("hive.url"));

   }

  }  

  return conn;

 }

//创建会话

Statement stmt = conn.createStatement();

//构建sql

String processHql=param.get("incrImprSql");

//执行sql

stmt.execute(processHql);

//关闭连接

stmt.close();

3.4.2 性能优化

（1）创建分区表，select的时候用分区做where条件，缩小结果集从而提升效率，分区表有静态分区和动态分区之别，hive 0.6之前不支持动态分区。其实分区就是分文件夹。但是分区不能过多，分区后每个文件不能过小。

（2）sql 优化

Join是小表在前，大表在后，尽量不用order by等等。

（3）调整数据存储格式

Rcfile 行列存储相结合方式，节省磁盘空间，提高查询响应，但是用按列存储后用sqoop导出到数据库有问题，而且数据加载比较麻烦。

Text file 按行存储文本文件