hbase与hive的整合

环境说明：

apache-hive-1.2.2-bin

hbase-1.2.6

zookeeper-3.4.9

hadoop-2.7.3

前期说明：

Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类

注意：以下路径以自己的路径为准

第一步：

cp hbase-1.2.6-tests.jar /home/hadoop/apache-hive-1.2.2-bin/lib/

cp zookeeper-3.4.9.jar /home/hadoop/apache-hive-1.2.2-bin/lib/

第二步：修改 hive/conf下hive-site.xml文件

cd /home/hadoop/apache-hive-1.2.2-bin/

mkdir tmp

mkdir logs

以下内容 添加到文件底部  </configuration> 之上 

<!--        

<property>  

  <name>hive.exec.scratchdir</name>

  <value>/home/hadoop/apache-hive-1.2.2-bin/tmp/</value>

</property>   

-->   

<property>

  <name>hive.querylog.location</name> 

  <value>/home/hadoop/apache-hive-1.2.2-bin/logs/</value>

</property> 

<property>

  <name>hive.aux.jars.path</name>  

  <value>file:///home/hadoop/apache-hive-1.2.2-bin/lib/hive-hbase-handler-1.2.2.jar,file:///home/hadoop/apache-hive-1.2.2-bin/lib/hbase-it-1.2.6.jar,file:///home/hadoop/apache-hive-1.2.2-bin/lib/hbase-common-1.2.6.jar,file:///home/hadoop/apache-hive-1.2.2-bin/lib/hbase-common-1.2.6-tests.jar

，file:///home/hadoop/apache-hive-1.2.2-bin/lib/hbase-client-1.2.6.jar，file:///home/hadoop/apache-hive-1.2.2-bin/lib/zookeeper-3.4.9.jar,file:///home/hadoop/apache-hive-1.2.2-bin/lib/hbase-protocol-1.2.6.jar,file:///home/hadoop/apache-hive-1.2.2-bin/lib/htrace-core-3.1.0-incubating.jar,file:///home/hadoop/apache-hive-1.2.2-bin/lib/netty-all-4.0.23.Final.jar,file:///home/hadoop/apache-hive-1.2.2-bin/lib/hbase-hadoop2-compat-1.2.6.jar</value>

</property> 

第三步：

拷贝hbase-common-1.2.6.jar到所有节点的/usr/local/hadoop-2.7.3/share/hadoop/common下

第四步：

拷贝hbase/conf下的hbase-site.xml文件到所有节点的/usr/local/hadoop-2.7.3/hadoop/etc/hadoop下

第五步：

拷贝以下的包，到hive/lib下

cp hbase-common-1.2.6.jar hbase-common-1.2.6-tests.jar hbase-client-1.2.6.jar hbase-hadoop-compat-1.2.6.jar hbase-protocol-1.2.6.jar hbase-server-1.2.6.jar /home/hadoop/hive-1.1.0-cdh5.11.0/lib

hbase-protocol-1.2.6.jar htrace-core-3.2.0-incubating.jar  netty-all-4.0.23.Final.jar  hbase-hadoop2-compat-1.2.6.jar  metrics-core-2.2.0.jar /home/hadoop/apache-hive-1.2.0-bin/lib/

第六步：

拷贝hbase-1.2.6.jar 到所有hadoop节点 lib下（包括master节点）

cp hbase-it-1.2.6.jar /usr/local/hadoop-2.7.3/lib/

第七步：启动hive

cd /home/hadoop/apache-hive-1.2.2-bin/bin

./hive

例子

1创建 hbase识别的表

hive> 

CREATE external TABLE hbase_table_1(key int, value string)  

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'  

WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,cf1:val")  

TBLPROPERTIES ("hbase.table.name"="sq")

; 

***（hbase.table.name 定义在hbase的table名称

     hbase.columns.mapping 定义在hbase的列族）****

2.创建 hive表

hive> create table ha1(id int,name string)

     row format delimited

     fields terminated by '\t'

     stored as textfile;

[hadoop@h91 ~]$ vi ha1.txt

11      zs

22      ls

33      ww

hive> load data local inpath '/home/hadoop/ha1.txt' into table ha1;

hive> insert into table hbase_table_1 select * from ha1;

~~hive> select * from  hbase_table_1;  

3.[hadoop@h91 hbase-1.2.6]$ bin/hbase shell

hbase(main):002:0> scan 'sq'

（能看到结果 说明hive把数据存到hbase中）