PHP将数据从Oracle向Mysql数据迁移实例
2013-09-04 21:45
190 查看
为什么要迁移?
首先从运营成本考虑,用Mysql可以节约不少的费用。另一方面,Mysql的稳定性及功能不断地提高与增强,基本上可以满足客户的需求,如支持多 节点部署,数据分区等。还有就是Mysql使用方便,比Oracle简单易用。故客户就要求将已有的Oracle数据表与内容迁移到Mysql来。
为什么要自己写脚本?
迁移的表与数据都蛮多的,有几百张表。因此手工完成不太方便。也尝试了一些免费的迁移工具,如:MySQLMigrationTool等,发现转移 的字段类型不太符合要求(可能是原来的Oracle表设计得不太好),会导致数据不太完整,觉得不是太可靠,所以决定自己写迁移脚本放心一些,有不符合要求的也可立即调整,所以就开始吧。
所用到的技术支持
1.php5
2.php oci8
3.mysql 5.1
迁移表结构
获取schema所有表
用以下语句可以从Oracle中获得schema中所有的表名
SELECT table_name FROM user_tables
然后可以遍历所有表向mysql进行表结构的创建与数据的迁移工作。
获取单个表的所有字段与类型
用以下语句可以从oracle中获得单个表的所有字段与类型
SELECT COLUMN_NAME, DATA_TYPE, DATA_LENGTH, NULLABLE, DATA_DEFAULT FROM USER_TAB_COLUMNS WHERE TABLE_NAME = UPPER('{$table_name}') ORDER BY column_id ASC
这样可以得知表字段的名称,类型,长度,是否允许为空,默认值。因为oracle与mysql的字段类型并不完全兼容,故需要建立字段类型的对应关系表。
Oracle Mysql number(int number(>11) bigint varchar varchar varchar2(varchar varchar2(>255) text clob text date date
获取单个表的Primary Foreign Unique Key用以下语句可以从oracle中获得单个表的Primary Foreign Unique Key
SELECT C.CONSTRAINT_NAME, C.CONSTRAINT_TYPE, C.R_CONSTRAINT_NAME, C.DELETE_RULE, CC.COLUMN_NAME FROM USER_CONSTRAINTS C, USER_CONS_COLUMNS CC WHERE C.TABLE_NAME=upper('{$table_name}') AND C.CONSTRAINT_TYPE!='C' AND C.CONSTRAINT_NAME=CC.CONSTRAINT_NAME AND C.OWNER=CC.OWNER AND C.TABLE_NAME=CC.TABLE_NAMEORDER BY C.CONSTRAINT_TYPE, C.CONSTRAINT_NAME, CC.POSITION
获取单个表的索引
用以下语句可以从oracle中获得单个表的索引
SELECT T.INDEX_NAME,T.COLUMN_NAME,I.INDEX_TYPE FROM USER_IND_COLUMNS T,USER_INDEXES I WHERE T.INDEX_NAME = I.INDEX_NAME AND T.TABLE_NAME = I.TABLE_NAME AND T.TABLE_NAME = UPPER('{$table_name}')
这样可以获知表的索引名称,被索引的字段。
将所有的表信息组装成mysql的表结构 有了表名,字段信息,主键,Foreign, Unique.索引等信息,就可以将表结构建立起来。由于oracle没有自增字段,一个变通的方法是用primary key做为mysql中的自增字段,因为在oracle中没办法准确地知道哪个字段用到了seq来做自增,用这种方法也不是很准确。
迁移视图
获取schema所有views。用以下语句可以从oracle中获取schema所有views
SELECT VIEW_NAME,TEXT FROM USER_VIEWS
这样可以获得view的名称及建立view的构成语句。
Oracle与Mysql不兼容的view处理
Oracle的对view的构建语句比较宽松一些,mysql中对view的构建语句要严格些,from不能从子查询中构建,也就是人样的让语句是不被允许的。
CREATE VIEW `view_name` AS SELECT * FROM (SELECT * FROM table_name) ...
那么处理这样的view,有一个办法是将子查询再建立成一个view,将子查询替换成新建立的view名即可。
迁移数据
数据的迁移,从Oracle数据库中select出数据,拼装成Mysql的insert语句就可以了。需要注意的两点:一是oracle的日期类 型的数据格式与mysql的日期类型格式不太一致,所以要用TO_CHAR(field_name, 'YYYY-MM-DD')将其转换成mysql的相应的数据格式;二是oracle中的clob字段的内容要用 oci_fetch_array($stid, OCI_ASSOC|OCI_RETURN_NULLS|OCI_RETURN_LOBS)将其取出,插入到mysql的text字段。 在mysql插入大量数据时,还要注意,在window的my.ini或my.cnf默认max_allowed_packet是1M要将其改为
[mysqld]...max_allowed_packet = 16M...
要不会出现mysql goes away的错误,linux版本没有这个问题,因为其默认值就是16M。
不能迁移的内容
Oracle中的触发器、存储过程与Mysql中是不一样的,所以不能通过脚本程序自动迁移过去。要手工进行重写。
总结
从Oracle向Mysql数据迁移,table结构与数据是基本上可以平移过去的,view有些还不是完全兼容oracle的语句,所以要对其作 出一些中间表。触发器与存储过程是不能平移的,这两部份需要重写。表结构平移过去后,看是否都比较合适,如果觉得不太好还可以通过alter等语句对其进 行相应的调整。在导入大量数据时还要注意一下mysql的配置文件(my.ini或my.cnf)里的max_allowed_packet值,这应设置 得太小,以免导入数据时出错或导不进去或乱码等不稳定因素。
首先从运营成本考虑,用Mysql可以节约不少的费用。另一方面,Mysql的稳定性及功能不断地提高与增强,基本上可以满足客户的需求,如支持多 节点部署,数据分区等。还有就是Mysql使用方便,比Oracle简单易用。故客户就要求将已有的Oracle数据表与内容迁移到Mysql来。
为什么要自己写脚本?
迁移的表与数据都蛮多的,有几百张表。因此手工完成不太方便。也尝试了一些免费的迁移工具,如:MySQLMigrationTool等,发现转移 的字段类型不太符合要求(可能是原来的Oracle表设计得不太好),会导致数据不太完整,觉得不是太可靠,所以决定自己写迁移脚本放心一些,有不符合要求的也可立即调整,所以就开始吧。
所用到的技术支持
1.php5
2.php oci8
3.mysql 5.1
迁移表结构
获取schema所有表
用以下语句可以从Oracle中获得schema中所有的表名
SELECT table_name FROM user_tables
然后可以遍历所有表向mysql进行表结构的创建与数据的迁移工作。
获取单个表的所有字段与类型
用以下语句可以从oracle中获得单个表的所有字段与类型
SELECT COLUMN_NAME, DATA_TYPE, DATA_LENGTH, NULLABLE, DATA_DEFAULT FROM USER_TAB_COLUMNS WHERE TABLE_NAME = UPPER('{$table_name}') ORDER BY column_id ASC
这样可以得知表字段的名称,类型,长度,是否允许为空,默认值。因为oracle与mysql的字段类型并不完全兼容,故需要建立字段类型的对应关系表。
Oracle Mysql number(int number(>11) bigint varchar varchar varchar2(varchar varchar2(>255) text clob text date date
获取单个表的Primary Foreign Unique Key用以下语句可以从oracle中获得单个表的Primary Foreign Unique Key
SELECT C.CONSTRAINT_NAME, C.CONSTRAINT_TYPE, C.R_CONSTRAINT_NAME, C.DELETE_RULE, CC.COLUMN_NAME FROM USER_CONSTRAINTS C, USER_CONS_COLUMNS CC WHERE C.TABLE_NAME=upper('{$table_name}') AND C.CONSTRAINT_TYPE!='C' AND C.CONSTRAINT_NAME=CC.CONSTRAINT_NAME AND C.OWNER=CC.OWNER AND C.TABLE_NAME=CC.TABLE_NAMEORDER BY C.CONSTRAINT_TYPE, C.CONSTRAINT_NAME, CC.POSITION
获取单个表的索引
用以下语句可以从oracle中获得单个表的索引
SELECT T.INDEX_NAME,T.COLUMN_NAME,I.INDEX_TYPE FROM USER_IND_COLUMNS T,USER_INDEXES I WHERE T.INDEX_NAME = I.INDEX_NAME AND T.TABLE_NAME = I.TABLE_NAME AND T.TABLE_NAME = UPPER('{$table_name}')
这样可以获知表的索引名称,被索引的字段。
将所有的表信息组装成mysql的表结构 有了表名,字段信息,主键,Foreign, Unique.索引等信息,就可以将表结构建立起来。由于oracle没有自增字段,一个变通的方法是用primary key做为mysql中的自增字段,因为在oracle中没办法准确地知道哪个字段用到了seq来做自增,用这种方法也不是很准确。
迁移视图
获取schema所有views。用以下语句可以从oracle中获取schema所有views
SELECT VIEW_NAME,TEXT FROM USER_VIEWS
这样可以获得view的名称及建立view的构成语句。
Oracle与Mysql不兼容的view处理
Oracle的对view的构建语句比较宽松一些,mysql中对view的构建语句要严格些,from不能从子查询中构建,也就是人样的让语句是不被允许的。
CREATE VIEW `view_name` AS SELECT * FROM (SELECT * FROM table_name) ...
那么处理这样的view,有一个办法是将子查询再建立成一个view,将子查询替换成新建立的view名即可。
迁移数据
数据的迁移,从Oracle数据库中select出数据,拼装成Mysql的insert语句就可以了。需要注意的两点:一是oracle的日期类 型的数据格式与mysql的日期类型格式不太一致,所以要用TO_CHAR(field_name, 'YYYY-MM-DD')将其转换成mysql的相应的数据格式;二是oracle中的clob字段的内容要用 oci_fetch_array($stid, OCI_ASSOC|OCI_RETURN_NULLS|OCI_RETURN_LOBS)将其取出,插入到mysql的text字段。 在mysql插入大量数据时,还要注意,在window的my.ini或my.cnf默认max_allowed_packet是1M要将其改为
[mysqld]...max_allowed_packet = 16M...
要不会出现mysql goes away的错误,linux版本没有这个问题,因为其默认值就是16M。
不能迁移的内容
Oracle中的触发器、存储过程与Mysql中是不一样的,所以不能通过脚本程序自动迁移过去。要手工进行重写。
总结
从Oracle向Mysql数据迁移,table结构与数据是基本上可以平移过去的,view有些还不是完全兼容oracle的语句,所以要对其作 出一些中间表。触发器与存储过程是不能平移的,这两部份需要重写。表结构平移过去后,看是否都比较合适,如果觉得不太好还可以通过alter等语句对其进 行相应的调整。在导入大量数据时还要注意一下mysql的配置文件(my.ini或my.cnf)里的max_allowed_packet值,这应设置 得太小,以免导入数据时出错或导不进去或乱码等不稳定因素。
相关文章推荐
- PHP通过插入mysql数据来实现多机互锁实例
- PHP无限循环获取MySQL中的数据实例代码
- jQuery+Ajax+PHP+Mysql实现分页显示数据实例讲解
- php实例分享之mysql数据备份
- 从数据库调出数据显示到页面 PHP+Mysql+Html(简单实例)
- mysql数据向oracle数据迁移
- php之连接到MySQL,并将数据储存在MySQL中的实例
- jQuery+Ajax+PHP+Mysql实现分页显示数据实例讲解
- php实例根据ID删除mysql表中的数据
- php实例分享之mysql数据备份
- php实例根据ID删除mysql表中的数据
- PHP+MySQL实现对一段时间内每天数据统计优化操作实例
- php、mysql查询当天,查询本周,查询本月的数据实例(字段是时间戳)
- PHP+Mysql+jQuery中国地图区域数据统计实例讲解
- PHP通过插入mysql数据来实现多机互锁实例
- php实例分享之mysql数据备份
- ajax调取php,mysql后台数据实例
- 如何从数据库调出数据显示到页面 PHP+Mysql+Html(简单实例)
- Atitit. 数据约束 校验 原理理论与 架构设计 理念模式java php c#.net js javascript mysql oracle
- 如何从数据库调出数据显示到页面PHP+Mysql+Html(简单实例)