Sqoop导入MySQL数据
2015-11-22 18:19
615 查看
导入所有表:
导入一个表:
hive中按照mysql中sqoop数据库tb1表创建表tb1
将数据库sqoop中表tb1数据导入到hdfs中,map tasks数量为1
将hdfs中的数据导入到hive表tb1中
分段并行导入
并行导入:
sqoop import-all-tables –connect jdbc:mysql://ip:port/dbName --username userName --password passWord -m 1 --hive-import;
导入一个表:
sqoop import --connect jdbc:mysql://ip:port/dbName --table tableName --username userName --password passWord -m 1 --hive-import;
hive中按照mysql中sqoop数据库tb1表创建表tb1
sqoop create-hive-table --connect jdbc:mysql://ip:port/dbName --table tableName --fields-terminated-by ',' --username userName --password passWord
将数据库sqoop中表tb1数据导入到hdfs中,map tasks数量为1
sqoop import --connect jdbc:mysql://ip:port/dbName --username userName --password passWord --table tableName -m 1
将hdfs中的数据导入到hive表tb1中
load data inpath '/user/code-pc/tb1/part-m-00000' into table tb1;
分段并行导入
sqoop import --append --connect jdbc:mysql://ip:port/dbName --username userName --password passWord --target-dir '/user/pg' --table tableName -m 1 --where "guidesp<='3'"
sqoop import --append --connect jdbc:mysql://ip:port/dbName --username userName --password passWord --target-dir '/user/pg' --table tableName -m 1 --where "guidesp>'3' and guidestep<='5'"
并行导入:
sqoop import --connect jdbc:mysql://ip:port/dbName --username userName --password passWord --target-dir '/user/pg1/' --split-by columnName --table tableName -m 10
相关文章推荐
- MySQL Drop 大表解决方案
- PLSQL Developer连接Oracle11g 64位数据库配置详解
- PLSQL Developer 完美支持Oracle64位问题
- ORACLE SQL Developer日期显示格式设置
- openstack HA配置-Mysql
- mysql-mmm架构及经验
- 详解 Spotlight on MySQL监控MySQL服务器
- 无法加载 DLL “ SQLite.Interop.dll”
- mysql server has gone away 与max_allowed_packed
- sqoop连接mysql的一些错误
- percona-toolkit对MySQL的复制和监控类操作教程
- 关于sql语句,select查询时很快,加了top + 数字之后就会很慢
- plsqldev与sqldeveloper
- PL/SQL Developer使用技巧、快捷键
- PLSQL DEVELOPER 使用的一些技巧【转】
- PLSQL Developer使用技巧整理
- PL/SQL Developer如何修改表数据
- MySQL 数据库主从复制架构
- PL/SQL Developer遇到一个奇葩无效标识符问题随记
- shell脚本:监控MySQL服务是否正常