使用sqoop工具进行数据导入导出 sqoop并行导入
2013-08-29 17:16
591 查看
使用sqoop工具进行数据导入导出中可以进行并行导入的方法
例如 从mysql数据库中导入到hive中可以执行
sqoop import --connect jdbc:mysql://localhost/gamewave --username root --password 123456 --table log --hive-import -m 1
其中-m 1 参数代表的含义是使用多少个并行,这个参数的值是1,说明没有开启并行功能。
将m参数的数值调为5或者更大,Sqoop就会开启5个进程,同时进行数据的导入操作。
注意:mysql数据库的表中需要有个主键,如果没有主键的话需要手动选取一个合适的拆分字段。
sqoop import --connect jdbc:mysql://localhost/gamewave --username root --password 123456 --table log --hive-import -m 5 --split-by uid --where "rdate='2012-03-39'"
如果不能满足需求的话,则使用
sqoop import --connect jdbc:mysql://localhost/gamewave --username root --password 123456 --table log --hive-import -m 1 --where 'logtime<10:00:00'
sqoop import --connect jdbc:mysql://localhost/gamewave --username root --password 123456 --table log --hive-import -m 1 --where 'logtime>=10:00:00'
从而达到并行导入的目的
例如 从mysql数据库中导入到hive中可以执行
sqoop import --connect jdbc:mysql://localhost/gamewave --username root --password 123456 --table log --hive-import -m 1
其中-m 1 参数代表的含义是使用多少个并行,这个参数的值是1,说明没有开启并行功能。
将m参数的数值调为5或者更大,Sqoop就会开启5个进程,同时进行数据的导入操作。
注意:mysql数据库的表中需要有个主键,如果没有主键的话需要手动选取一个合适的拆分字段。
sqoop import --connect jdbc:mysql://localhost/gamewave --username root --password 123456 --table log --hive-import -m 5 --split-by uid --where "rdate='2012-03-39'"
如果不能满足需求的话,则使用
sqoop import --connect jdbc:mysql://localhost/gamewave --username root --password 123456 --table log --hive-import -m 1 --where 'logtime<10:00:00'
sqoop import --connect jdbc:mysql://localhost/gamewave --username root --password 123456 --table log --hive-import -m 1 --where 'logtime>=10:00:00'
从而达到并行导入的目的
相关文章推荐
- sqoop工具介绍(hdfs与关系型数据库进行数据导入导出)
- 使用sqoop工具进行数据表增量导入
- ORACLE数据导出与导入专题(3)——使用exp/imp工具进行数据导入导出
- 使用Transact-SQL进行数据导入导出方法详解
- 使用T-SQL进行数据导入导出方法详解
- ORACLE使用EXPDP和IMPDP数据泵进行导出导入的方法
- SQL Server BI Step by Step 2--- 使用SSIS进行简单的数据导入导出
- 在pl/sql中使用exp/imp工具实现oracle数据导出/导入
- 在pl/sql中使用exp/imp工具实现oracle数据导出/导入
- ORACLE使用EXPDP和IMPDP数据泵进行导出导入的方法
- Mongodb数据导出工具mongoexport和导入工具mongoimport使用
- Sqoop_详细总结 使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出
- Sqoop1.4.6使用数据导入导出
- 使用Transact-SQL进行数据导入导出方法详解
- SQL Server BI Step by Step --- 使用SSIS进行简单的数据导入导出
- SQL Server BI Step by Step 2--- 使用SSIS进行简单的数据导入导出
- 使用Transact-SQL进行数据导入导出方法详解(转)
- 使用Transact-SQL进行数据导入导出方法详解
- 使用Transact-SQL进行数据导入导出方法
- ORACLE使用EXPDP和IMPDP数据泵进行导出导入的方法