sqoop hbase导入并与hive结合
2016-07-13 17:23
183 查看
sqoop语句
以tid为主键,info为列族
hbae创建表语句
hive创建表语句
遗留问题
sqoop导入数据至hbase时,split-by字段只能是一个,处理不了多字段联合主键的情况。
以tid为主键,info为列族
sqoop import --connect jdbc:mysql://ip/taobao_db --username hive --password 123456 --table mysql_table_name --hbase-table hbase_table_name --column-family info --split-by tid
hbae创建表语句
create 'trade','info'
hive创建表语句
CREATE EXTERNAL TABLE hbase_trade( tid string, dp_id string, created string, modified string, buyer_cod_fee double,) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = "info:dp_id,info:created,info:modified,info:buyer_cod_fee") TBLPROPERTIES("hbase.table.name" = "hbase_table_name");
遗留问题
sqoop导入数据至hbase时,split-by字段只能是一个,处理不了多字段联合主键的情况。
相关文章推荐
- 今日头条架构演进之路——高压下的架构演进专题
- ganglia监控hadoop各指标说明
- Linux 常用命令记录--2016年7月13日
- 关于sqoop --split-by 及 -m的理解
- sqoop导入数据至hive
- hadoop WordCount源码
- 通过DeveloperApi获取spark程序执行进度及异常
- hadoop format后启动不了
- grep设置查找颜色高亮
- Xshell use
- file_operation
- 服务架构演进
- 我与即时通讯 - 重构之路
- [笔记]linux下和windows下的 创建线程函数
- Hadoop家族学习路线图
- Java——调用Linux和Windows下命令行执行程序
- epoll系列系统调用
- CentOS7 卡在开机界面进不去登录界面
- apache commons fileupload 依赖信息(2016-07-01更新)
- Nginx源码分析 - 主流程篇 - 模块的初始化