您的位置:首页 > 数据库 > SQL

利用Sqoop将MySQL数据导入Hive中

2017-06-26 12:03 721 查看
参考 http://www.cnblogs.com/iPeng0564/p/3215055.html http://www.tuicool.com/articles/j2yayyj http://blog.csdn.net/jxlhc09/article/details/16856873 1.list databases
sqoop list-databases --connect jdbc:mysql://192.168.2.1:3306/ --username sqoop --password sqoop
2.用sqoop创建hive表
sqoop create-hive-table --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --table employee --username root -password 'xx' --hive-database db_hive_edu
3.import数据
#sqoop import --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --table employee --username root -password 'xx' --fields-terminated-by ',' --hive-import --hive-database db_hive_edu -m 1

--fields-terminated-by ',' 导致数据变成null

sqoop import --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --username root -password 'xx' --table employee --hive-import --hive-database db_hive_edu -m 1

截图




如果需要实时同步,不再手动,参考
利用Flume将MySQL表数据准实时抽取到HDFS - wzy0623的专栏 - 博客频道 - CSDN.NET
这才是最正确的解决方案

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  Sqoop