您的位置：首页 > 数据库 > SQL

使用Sqoop 对 Oracle 做数据迁移到 PostgreSQL

2016-07-26 18:16 776 查看

基本的流程如上图所示。

前提：

一个可连接的Oracle数据库作为数据源

一个可连接的PostgreSQL数据库作为目的数据库

一个可使用的Hadoop集群

一个可以用的hive平台

注意事项：

对于将要导入的Oracle的数据库表，我们需要在PostgreSQL中创建一个字段结构相同的table，此处还需要注意原表是否有主键。

导入命令：

首先查看Oracle中 xe 数据库中的表

./sqoop list-tables --connect jdbc:oracle:thin:@ip:49161:xe --username system --password oracle

然后将其中的一个SALARY表导入hive

./sqoop import --hive-import --connect jdbc:oracle:thin:@ip:xe --username system --password oracle --table SALARY -m 1 --columns 'EMPLOYEEID, INCOME, OUTCOME' --hive-table salary

然后通过hive命令show tables 查看是否存入hive

然后接着查看postgreSQL中tpcds_1数据库中的所有表

./sqoop list-tables --connect jdbc:postgresql://ip:5432/tpcds_1 --username postgres --password postgres

如果能够正常的显示，接着直接输入命令将 hive 中的表 salary 导入 postgreSQL 中

./sqoop export --connect jdbc:postgresql://ip:5432/tpcds_1 --username postgres --password postgres --table salary --fields-terminated-by '\001' --export-dir /user/hive/warehouse/salary/part-m-00000

再去查询一下表内的数据

最后 OK，迁移成功。

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航

使用Sqoop 对 Oracle 做数据迁移 到 PostgreSQL

使用Sqoop 对 Oracle 做数据迁移到 PostgreSQL