您的位置:首页 > 其它

hive-1.2.1 hbase-1.1.3 整合

2016-02-18 00:00 274 查看
摘要: 网上一大堆老古董的hive整合habse教程,对于2016年来说已经只具有参考价值了,经过一天的努力终于把最新版的hive-1.2.1和hbase-1.1.3整合起来了

hive-1.2.1安装:http://my.oschina.net/nenusoul/blog/616357

hbase-1.1.3安装:http://my.oschina.net/nenusoul/blog/616432

编译hive-hbase-handler-1.2.1.jar

1. 下载hive-1.2.1源代码

2. 修改apache-hive-1.2.1-src/pom.xml,把hbase版本修改为你使用的habse版本,然后用mvn编译打包。

<hbase.hadoop2.version>1.1.3</hbase.hadoop2.version>


3. 生成的hive-hbase-handler-1.2.1.jar,拷贝到hive-1.2.1/lib下面,替换掉hive自带的hive-hbase-handler-1.2.1.jar。

4. 启动hive

hive -hiveconf hbase.zookeeper.quorum=bi3:2181,bi4:2181,bi5:2181


问题:

1. hive.aux.jars.path是否需要配置?
这个要看你的配置了,如果你已经在系统变量中(比如.bash_profile),配置了HADOOP_HOME,HIVE_HOME,HBASE_HOME,那么你完全可以不用配置这个变量

2. -hiveconf hbase.zookeeper.quorum是否需要?
如果你已经配置了HBASE_HOME,那么恭喜你,这个你一样不需要配置

测试:

新建一张hive,hbase整合表

hive> CREATE TABLE hbase_table_2(key int, value string)
> STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
> WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
> TBLPROPERTIES ("hbase.table.name" = "xyz2");
OK
Time taken: 5.586 seconds

hive> show tables;
OK
hbase_table_1
hbase_table_2
Time taken: 0.213 seconds, Fetched: 2 row(s)

hbase(main):003:0> list
TABLE
xyz
xyz2
2 row(s) in 0.0160 seconds

=> ["xyz", "xyz2"]
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息