Hadoop 从零开始学习系列-hive与hbase外部关联表建立及数据导入
2015-04-16 17:19
316 查看
由于项目中要把统计的结果提供给外部使用,由于hive查询启动mapreduce等等太慢,所以考虑把数据导入到hbase,用hbase实现。
其中调研过用bulkload来把数据导入hbase。这个下篇再记。此篇只记hive建立外部表及数据导入
建立外部表的sql
导入数据,注意,导入的数据里,key对应的字段必须不为null且长度大于0,不然会抛错
输入hbase shell
scan 'test_hbase'可以看到所有导入的记录
其中调研过用bulkload来把数据导入hbase。这个下篇再记。此篇只记hive建立外部表及数据导入
建立外部表的sql
create table test_outside (key string,sip string,cip string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties ("hbase.columns.mapping" = ":key,fr:sip,fr:cip") tblproperties("hbase.table.name" = "test_hbase");如果table前有external字段,则需要HBASE表存在。
导入数据,注意,导入的数据里,key对应的字段必须不为null且长度大于0,不然会抛错
insert overwrite table test_outside select key,sip,cip from test where dt='20130724' ;
输入hbase shell
scan 'test_hbase'可以看到所有导入的记录
相关文章推荐
- hadoop系列 第二坑: hive hbase关联表问题
- 大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
- 大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
- Hadoop 从零开始学习系列-hive从元数据生成表结构、分区等建表语句
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
- [置顶] 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
- 大数据学习系列之五 ----- Hive整合HBase图文详解
- Hadoop HBase概念学习系列之HBase里的客户端和HBase集群建立连接(详细)(十四)
- 【Hadoop入门学习系列之六】HBase基本架构、编程模型和应用案例
- Hadoop学习笔记(十八)---Hive内部表,外部表,分区表,桶表
- hadoop+hbase+hive+Spark环境性能调优---安装系列九
- Hadoop 从零开始学习系列-bulk load研究
- hadoop学习之HIVE(3):hadoop2.7.2下安装hive2.1.0并关联mysql数据库
- Hadoop学习之HBase和Hive的区别
- Spark 读取Hbase 映射到Hive中的外部表报java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.lazy.LazySim
- Hadoop 从零开始学习系列-wordCount
- 建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们
- 揭秘FaceBook Puma演变及发展——FaceBook公司的实时数据分析平台是建立在Hadoop 和Hive的基础之上,这个根能立稳吗?hive又是sql的Map reduce任务拆分,底层还是依赖hbase和hdfs存储
- 大数据学习系列之九---- Hive整合Spark和HBase以及相关测试
- HBase学习之一: 创建hive和hbase关联表