Hive基础入门-架构(转载)

Hive基础入门-架构

Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS（hive superimposes structure on data in HDFS），并允许使用类似于SQL语法进行数据查询

ive更适合于数据仓库的任务，Hive主要用于静态的结构以及需要经常分析的工作。Hive与SQL相似促使其成为Hadoop与其他BI工具结合的理想交集

总体架构图如下：



细分如下：



 

1：Hive的接口

A: HWI

./hive --service hwi

[root@pg2 bin]# ./hive --service hwi

13/01/06 23:56:38 INFO hwi.HWIServer: HWI is starting up

13/01/06 23:56:38 WARN conf.HiveConf: DEPRECATED: Ignoring hive-default.xml found on the CLASSPATH at /hive/hive-0.9.0/conf/hive-default.xml

13/01/06 23:56:38 WARN conf.HiveConf: hive-site.xml not found on CLASSPATH

13/01/06 23:56:39 FATAL hwi.HWIServer: HWI WAR file not found at /hive/hive-0.9.0/hive/hive-0.9.0/lib/hive-hwi-0.9.0.war

[root@pg2 bin]# 

看来配置存在问题

The war path should be /hive/hive-0.9.0/lib/hive-hwi-0.9.0.war

Update hive-default.xml

copy hive-default.xml as hive-site.xml

root@pg2 bin]# ./hive --service hwi

13/01/07 23:18:43 INFO hwi.HWIServer: HWI is starting up

13/01/07 23:18:43 WARN conf.HiveConf: DEPRECATED: Ignoring hive-default.xml found on the CLASSPATH at /hive/hive-0.9.0/conf/hive-default.xml

13/01/07 23:18:43 INFO mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog

13/01/07 23:18:44 INFO mortbay.log: jetty-6.1.26

13/01/07 23:18:44 INFO mortbay.log: Extract /hive/hive-0.9.0/lib/hive-hwi-0.9.0.war to /tmp/Jetty_0_0_0_0_9999_hive.hwi.0.9.0.war__hwi__2l99ri/webapp

13/01/07 23:18:45 INFO mortbay.log: Started SocketConnector@0.0.0.0:9999

B:Client

./hive --service hiveservice 10000 >/dev/null 2>dev/null

C:CLI [命令行]

./hive启动

./hive --service cli

D:JDBC连接方式

连接Hive JDBC URL：jdbc:hive://192.168.6.116:10000/default     （Hive默认端口：10000  默认数据库名：default）

a:hive首先要起动远程服务接口，命令： 

./hive –service hiveserver  & 

[root@pg2 bin]# ./hive --service hiveserver

Starting Hive Thrift Server

WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.

b:java工程中导入相应的需求jar包，列表如下:

antlr-runtime-3.0.1.jar

hive-exec-0.9.0.jar

hive-jdbc-0.9.0.jar

hive-metastore-0.9.0.jar

hive-service-0.9.0.jar

jdo2-api-2.3-ec.jar

libfb303.jar

commons-logging-1.0.4.jar

hadoop-core-1.0.4.jar

slf4j-api-1.6.1.jar

实例：

package org.dw.hive.test;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.Statement;

/**

 * @author root

 *

 */

public class TestHive {

    /**

     * @param args

     */

    public static void main(String[] args) {

        // TODO Auto-generated method stub

        try {

            testHiveByJDBC();

        } catch (ClassNotFoundException e) {

            // TODO Auto-generated catch block

            e.printStackTrace();

        } catch (SQLException e) {

            // TODO Auto-generated catch block

            e.printStackTrace();

        }

    }

    

    public static void testHiveByJDBC() throws ClassNotFoundException, SQLException{

        Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");

        String dropSQL="drop table mybloger";

        String createSQL="create table mybloger (key int, value string)";

        String insterSQL="LOAD DATA LOCAL INPATH '/tmp/hive/test_data_myblog.txt' OVERWRITE INTO TABLE mybloger";

        String querySQL="SELECT a.* FROM mybloger a";

        

        Connection con = DriverManager.getConnection("jdbc:hive://192.168.0.101:10000/default", "", "");

        Statement stmt = con.createStatement();

        stmt.executeQuery(dropSQL);  // 执行删除语句

        stmt.executeQuery(createSQL);  // 执行建表语句

        stmt.executeQuery(insterSQL);  // 执行插入语句

        ResultSet res = stmt.executeQuery(querySQL);   // 执行查询语句

        

        while (res.next()) {

            System.out.println("Result: key:"+res.getString(1) +"  –>  value:" +res.getString(2));

        }

    }

}

hive server run log as following:

OK

OK

Copying data from file:/tmp/hive/test_data_myblog.txt

Copying file: file:/tmp/hive/test_data_myblog.txt

Loading data to table default.mybloger

Deleted hdfs://localhost:9000/user/hive/warehouse/mybloger

OK

OK

but search by CLI 

[root@pg2 bin]# ./hive

WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.

Logging initialized using configuration in file:/hive/hive-0.9.0/conf/hive-log4j.properties

Hive history file=/tmp/root/hive_job_log_root_201301072357_1121120586.txt

hive> show tables;

FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details.

NestedThrowables:

java.sql.SQLException: Failed to start database 'metastore_db', see the next exception for details.

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

hive> select * from mybloger;

FAILED: Error in semantic analysis: Unable to fetch table mybloger

hive> 

2：Hive数据模型

A:Table

对应具体的Table存储数据文件

B:Partition

对应表的Partition列的密集索引

C:External Table

指向HDFS的数据文件，可以创建分区

D:Buckets

对指定列的计算hash,根据hash对数据进行切分，目的为了并行

转载：http://hi.baidu.com/huareal/item/26bdf380ea944dc6b17154d6