利用Sqoop将MySQL数据导入Hive中
2017-06-26 12:03
721 查看
参考 http://www.cnblogs.com/iPeng0564/p/3215055.html http://www.tuicool.com/articles/j2yayyj http://blog.csdn.net/jxlhc09/article/details/16856873 1.list databases
sqoop list-databases --connect jdbc:mysql://192.168.2.1:3306/ --username sqoop --password sqoop
2.用sqoop创建hive表
sqoop create-hive-table --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --table employee --username root -password 'xx' --hive-database db_hive_edu
3.import数据
#sqoop import --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --table employee --username root -password 'xx' --fields-terminated-by ',' --hive-import --hive-database db_hive_edu -m 1
--fields-terminated-by ',' 导致数据变成null
sqoop import --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --username root -password 'xx' --table employee --hive-import --hive-database db_hive_edu -m 1
截图
如果需要实时同步,不再手动,参考
利用Flume将MySQL表数据准实时抽取到HDFS - wzy0623的专栏 - 博客频道 - CSDN.NET
这才是最正确的解决方案
sqoop list-databases --connect jdbc:mysql://192.168.2.1:3306/ --username sqoop --password sqoop
2.用sqoop创建hive表
sqoop create-hive-table --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --table employee --username root -password 'xx' --hive-database db_hive_edu
3.import数据
#sqoop import --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --table employee --username root -password 'xx' --fields-terminated-by ',' --hive-import --hive-database db_hive_edu -m 1
--fields-terminated-by ',' 导致数据变成null
sqoop import --connect jdbc:mysql://xx:3306/test?characterEncoding=UTF-8 --username root -password 'xx' --table employee --hive-import --hive-database db_hive_edu -m 1
截图
如果需要实时同步,不再手动,参考
利用Flume将MySQL表数据准实时抽取到HDFS - wzy0623的专栏 - 博客频道 - CSDN.NET
这才是最正确的解决方案
相关文章推荐
- 利用sqoop将hive和MySQL数据互导入
- 利用sqoop将hive数据导入导出数据到mysql (转)
- 利用sqoop将hive数据导入导出数据到mysql
- 利用sqoop将hive数据导入导出数据到mysql
- 利用sqoop1将mysql数据导入至hive多分区
- 利用sqoop从mysql向多分区hive表中导入数据
- 利用Sqoop从MySQL数据源向Hive中导入数据
- 利用sqoop将hive数据导入导出数据到mysql
- 利用sqoop将hive数据导入导出数据到mysql
- 利用sqoop将hive数据导入导出数据到mysql
- 利用sqoop将hive数据导入导出数据到mysql
- 利用sqoop将hive数据导入导出数据到mysql
- sqoop把hive表数据导入到mysql中
- sqoop 导入mysql数据到hive
- SQOOP中从mysql导入数据到hive中报错解决方法
- Sqoop增量从MySQL中向hive导入数据
- Sqoop将MySQL和Oracle的数据导入HIVE和Hbase
- [Sqoop]将Mysql数据表导入到Hive
- OOzie调度sqoop1 Action 从mysql导入数据到hive