使用oracle goldengate 实现windows下mysql到oracle的数据同步

原创文章转载须注明出处 作者冷雨夜幻灭

原文地址http://blog.sina.com.cn/s/blog_68d435270102vtld.html

一、环境

系统：Windows2003（32bits）

软件： ogg for mysql （2003/2008（32bits））

ogg for oracle （2003/2008（32bits））

支持 ogg只支持mysql5.15以上数据库

ogg有不同版本对应的数据库软件，10g 11g为不同的ogg软件

二、安装

源端：下载windows版的GoldenGate介质——V18162-01.zip，解压到ggs目录

1）进入安装目录

C:\>cd ggs

2）安装ogg服务器

C:\ggs>install addservice addevents

显示如下：

Oracle GoldenGate messages installed successfully.

Service 'GGSMGR' created.

Install program terminated normally.

3）打开ggsci

C:\ggs>ggsci

显示如下：

Oracle GoldenGate Command Interpreter for MySQL

Version 11.1.1.0.3 Build 001

Linux, x64, 64bit (optimized), MySQL Enterprise on Sep 29 2010 11:37:39

4）创建进程配置需要文件

GGSCI (2003server) 1> create subdirs

Creating subdirectories under current directory C:\ggs

Parameter files C:\ggs\dirprm: created

Report files C:\ggs\dirrpt: created

Checkpoint files C:\ggs\dirchk: created

Process status files C:\ggs\dirpcs: created

SQL script. files C:\ggs\dirsql: created

Database definitions files C:\ggs\dirdef: created

Extract data files C:\ggs\dirdat: created

Temporary files C:\ggs\dirtmp: created

Veridata files C:\ggs\dirver: created

Veridata Lock files C:\ggs\dirver\lock: created

Veridata Out-Of-Sync files C:\ggs\dirver\oos: created

Veridata Out-Of-Sync XML files C:\ggs\dirver\oosxml: created

Veridata Parameter files C:\ggs\dirver\params: created

Veridata Report files C:\ggs\dirver\report: created

Veridata Status files C:\ggs\dirver\status: created

Veridata Trace files C:\ggs\dirver\trace: created

Stdout files C:\ggs\dirout: created

注：实际情况创建时文件夹可能少于上面是没有问题的

5）配置mysql

修改配置文件my.ini

#for goldengate

log-bin = "C:\mysql\logbin\logbin.log"

binlog_format = ROW

log-bin-index = "C:\mysql\logindex"(此句可以注释掉，部分数据库会因此句无法启动)

binlog_cache_size=32m

max_binlog_cache_size=512m

max_binlog_size=512m

6） 创建数据库test，数据表test1，添加数据库用户ggs，密码123456，具有dba权限。添加完毕后重新启动mysql服务器 让上面的配置生效。

7) 配置管理进程参数

GGSCI (2003server) 2> eidt param mgr

Linux下会进入一个vi界面进行文件编辑

Windows 下会提示新建一个文档进行编辑

mgr内容：

PORT 7809

DYNAMICPORTLIST 7840-7914

STARTUPVALIDATIONDELAY 5

PURGEOLDEXTRACTS C:\ggs\dirdat\*, USECHECKPOINTS, MINKEEPDAYS 7

LAGREPORTHOURS 1

LAGINFOMINUTES 30

LAGCRITICALMINUTES 45

8）创建抽取进程参数ext1.prm

GGSCI (2003server) 2> eidt param ext1

Ext.prm 内容：

EXTRACT ext1

tranlogoptions altlogdest "C:\mysql\logbin\logbin.index"

SOURCEDB test@localhost:3306, USERID ggs, PASSWORD 123456

DISCARDROLLOVER ON FRIDAY

DISCARDFILE C:\ggs\dirrpt\ext1.dsc, APPEND, MEGABYTES 1024

WARNLONGTRANS 2h, CHECKINTERVAL 3m

REPORTCOUNT EVERY 30 MINUTES, RATE

EXTTRAIL C:\ggs\dirdat\ex

DYNAMICRESOLUTION

NUMFILES 5000

TABLE test.test1;

9）添加抽取进程

GGSCI (2003server) 3>ADD EXTRACT ext1, tranlog, begin now

GGSCI (2003server)4>ADD EXTTRAIL C:\ggs\dirdat\ex, EXTRACT ext1, megabytes 100

C:\ggs\dirrpt\ex参数为本地trail文件生成的路径，当有数据库操作时会在本地生成一个

文件例如：ex0000001

10）配置投递进程参数

GGSCI (2003server) 5>edit param dp1

dp1内容：

EXTRACT dp1

RMTHOST 192.168.2.218, MGRPORT 7809,COMPRESS

RMTTRAIL d:\ggs\dirdat\ex

PASSTHRU

NUMFILES 5000

DYNAMICRESOLUTION

TABLE test.test1;

RMTHOST 192.168.2.218 后面这个ip地址为目标端的ip地址，

MGRPORT 7809 7809位目标端mgr进程的监听端口

RMTTRAIL d:\ggs\dirdat\ex 为目标端trail文件生成的位置，即将数据库才做投递

的位置

11）添加投递进程：

GGSCI (2003server) 6>ADD EXTRACT dp1, EXTTRAILSOURCE C:\ggs\dirdat\ex

C:\ggs\dirdat\ex为上个抽取进程生成的本地trail文件的路径，所以要和前面保持

一致

GGSCI (2003server) 7> ADD RMTTRAIL d:\ggs\dirdat\ex, EXTRACT dp1,

MEGABYTES 100

d:\ggs\dirdat\ex投递到目标端trail文件生成的位置，需要与配置文件保持一致。

12）测试连接数据库是否成功

GGSCI (2003server) 8>dblogin sourcedb test@localhost:3306, userid ggs, password 123456

其中sourcedb参数的格式是[数据库名]@[ip地址]:[端口]

显示：Successfully logged into database.

13）配置defgen 创建defgen参数

GGSCI (2003server) 9>edit param defgen

配置文件内容：

defsfile C:\ggs\dirdef\defgen.prm

sourcedb test@localhost:3306, userid ggs,password 12356

table test.test1;

14）生成defgen文件

GGSCI (2003server) 9>exit

C:\>defgen paramfile C:\ggs\dirprm\defgen.prm

将C:\ggs\dirdef目录下的文件defgen.prm拷贝到目标端的相应目录下，即目

录.\dirdef下。

注：因为defgen是一个EXE文件所以要先退出ggsci

Defgen是mysql to oracle异构数据库所特有的。其他同构数据库应该不会用

到此文件（目前还不确定，查到的资料目前显示是这个结果）

作者冷雨夜幻灭

原文地址http://blog.sina.com.cn/s/blog_68d435270102vtld.html

目标端：Oracle数据库服务器

1）Oracle环境准备

创建存储空间ggs

创建用户ggs 密码123456

创建数据表test1

grant dba to ggs;赋给ggs dba权限

2）在Oracle服务器安装配置GoldenGate

参照源端1、2、3、4步

3）配置管理进程参数

GGSCI (2003server) 2> eidt param mgr

内容：

PORT 7809

DYNAMICPORTLIST 7840-7914

STARTUPVALIDATIONDELAY 5

PURGEOLDEXTRACTS d:\ggs\dirdat\*, USECHECKPOINTS, MINKEEPDAYS 7

LAGREPORTHOURS 1

LAGINFOMINUTES 30

LAGCRITICALMINUTES 45

4）创建复制进程参数rep1.prm

GGSCI (2003server) 3> eidt param rep1

内容

replicat rep1

sourcedefs D:\ggs\dirdef\defgen.prm

userid ggs,password 123456

reperror default,discard

discardfile D:\ggs\dirrpt\rep1.dsc,append,megabytes 50

dynamicresolution

map test.test1, target ggs.test1;

5）登录oracle数据库

GGSCI (2003server) 4>dblogin userid ggs ,password 12356

如果登录失败步骤如下

GGSCI (2003server)5>dblogin userid ggs@test ,password 12356

失败的话再次输入

GGSCI (2003server) 6>dblogin userid ggs ,password 12356

应该会是成功，如果还是失败请检查oracle客户端配置文件

Tnsnames.ora 是否配置好，实例名是否正确

如下

test =

(DESCRIPTION =

(ADDRESS_LIST =

(ADDRESS = (PROTOCOL = TCP)(HOST = 127.0.0.1)(PORT = 1521))

)

(CONNECT_DATA =

(SERVICE_NAME = test)

)

)

如果以上正确还是连接不上，那请在命令行里用sqlplus验证是否用户名正确。

6）添加复制进程

GGSCI (2003server) 7>add checkpointtable chkpnttab

GGSCI (2003server)8>add replicat rep1,exttrail D:\ggs\dirdat\ex, checkpointtable chkpnttab

D:\ggs\dirdat\ex 为源端投递进程投递过来的trail文件的路径。

7）配置完毕启动进程

源端：

GGSCI (2003server) 1>start mgr

GGSCI (2003server) 2>start ext1

GGSCI (2003server) 3>start dp1

目标端：

GGSCI (2003server) 9>start mgr

GGSCI (2003server)10>start rep1

8） 源端插入数据看目标端是否有数据插入

检查进程是否抓取数据库操作

源端

GGSCI (2003server) 4>stats ext1 hourly

目标端

GGSCI (2003server) 11>stats rep1 hourly

原创文章转载须注明出处

原文地址http://blog.sina.com.cn/s/blog_68d435270102vtld.html