Hive-1.2.1与HBase-1.1.2的整合
2016-01-08 09:46
295 查看
Hive-1.2.1与HBase-1.1.2的整合
这里的整合是指,将HBase作为存储数据的库,由Hive作为连接桥梁修改 Hive hive-site.xml
增加 <property> <name>hbase.zookeeper.quorum</name> <value>master:2181,slave1:2182,slave2:2183</value> </property> <property>
将HBase的以下jar包放到Hive的lib下
hbase-common-1.1.2.jar hbase-server-1.1.2.jar hbase-client-1.1.2.jar hbase-protocol-1.1.2.jar htrace-core-3.1.0-incubating.jar netty-all-4.0.23.Final.jar hbase-hadoop2-compat-1.1.2.jar hbase-hadoop-compat-1.1.2.jar metrics-core-2.2.0.jar
我这里在Hive中创建表时,出现了
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V
这个问题是版本适配问题,关键在Hive 下hive-hbase-handler-1.2.1.jar 这个jar需要重新进行编译
hive-hbase-handler-1.2.1.jar编译步骤
进入hive源码包,找到hbase-handler的源码使用Eclipse创建java工程,名称随意
在src(请注意)下导入handler源码
导入关联jar包
我这里是将Hbase 和 Hive 包下的所有jar包放入了工程下的lib文件夹中,不要将
apache-curator-2.6.0.pom.xml 也导入工程环境中,否则无法正确打包
导出jar包
剩下的默认即可。
导出jar包后,替换Hive lib 包下的相应jar包(hive-hbase-handler-1.2.1.jar)即可
相关文章推荐
- 分享Hive的一份胶片资料
- Facebook's New Real-time Messaging System: HBase to Store 135+ Billion Messages a Month
- Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
- 基于HBase Thrift接口的一些使用问题及相关注意事项的详解
- 如何解决struts2日期类型转换
- hbase shell基础和常用命令详解
- 手把手教你配置Hbase完全分布式环境
- 实战:在Java Web 项目中使用HBase
- HBase RowKey设计的那些事
- Spark中将对象序列化存储到hdfs
- HBase基本原理
- HBase中的基本概念
- 【原创】基于分布式存储的开源系统在实时数据库海量历史数据存储项目上的预研
- 将Hive的默认数据库Derby改为Postgresql
- kettle中对hive操作时需要知道的东西
- HBase0.96.x开发使用(一)--安装
- 基于外部ZooKeeper的GlusterFS作为分布式文件系统的完全分布式HBase集群安装指南
- 基于solr实现hbase的二级索引
- Hive - truncate partition、drop partition 区别