第七章：datapump模式的搭建


1.安装环境说明

os: redhat linux 5.5 64bit
db:Oracle 11.2.0.3 64bit

模式：采用goldengate datapump 模式的搭建

2.配置ORACLE_HOME 和 ORACLE_SID

如果系统上只有一个单实例，那么可以在操作系统级别设置ORACLE_HOME和ORACLE_SID变量。
如果有多个instance,那么可以再Extrace和Replicat group 中设置setenv变量，这种session级别的设置会覆盖操作系统的设置。
如果有多个实例，那么可以分别配置同步的Extrace groups,那么参数文件可以按照如下进行配置：

group 1:
extract ora9a
setenv (ORACLE_HOME="/u01/app/product")
setenv("ORACLE_SID="oraa")
useridalias tiger1
rmhost sysb
rmttrail /u01/ggs/dirdat/rt
table hr.emp;
table hr.salary;

group 2:
extract orab
setenv (ORACLE_HOME="/u01/app/product")
setenv("ORACLE_SID="orab")
useridalias tiger1
rmhost sysb
rmttrail /u01/ggs/dirdat/st
table fin.sales;
table fin.cust;

3.设置library路径

ogg使用共享的library.所以在linux上运行ogg之前，必须先配置好library路径。
假设ogg的安装目录是/u01/ggs,那么在/home/oracle/.bash_profile文件里添加如下内容：

export PATH=/u01/ggs:$PATH
export LD_LIBRARY_PATH=/u01/ggs:$LD_LIBRARY_PATH

4.安装ogg

在ogg11中，直接解压缩安装文件就行了，到了ogg12c的版本，ogg使用oui来进行安装。

[oracle@ogg2 Disk1]$ pwd

/u01/software/fbo_ggs_Linux_x64_shiphome/Disk1

[oracle@ogg2 Disk1]$ ls

install response runInstaller stage

[oracle@ogg2 Disk1]$

运行RunInstaller：
如果数据库版本是12c,就选择12c;如果数据库是11g,就选择11g的。





software location 选择ogg的解压安装目录

进入ogg安装目录，运行如下命令：

[oracle@ogg1 ggs]$ ldd --version
[oracle@ogg1 ggs]$ldd ggsci --查看需要的安装包

librt.so.1 => /lib64/librt.so.1 (0x0000003dafe00000)
libdl.so.2 => /lib64/libdl.so.2 (0x0000003daf200000)
libgglog.so => /u01/zw/libgglog.so (0x00002b9d080f3000)
libggrepo.so => /u01/zw/libggrepo.so (0x00002b9d0849c000)
libdb-5.2.so => /u01/zw/libdb-5.2.so (0x00002b9d08707000)
libggperf.so => /u01/zw/libggperf.so (0x00002b9d089a2000)
libicui18n.so.48 => /u01/zw/libicui18n.so.48 (0x00002b9d08bd1000)
libicuuc.so.48 => /u01/zw/libicuuc.so.48 (0x00002b9d08edf000)
libicudata.so.48 => /u01/zw/libicudata.so.48 (0x00002b9d0915d000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x0000003daf600000)
libxerces-c.so.28 => /u01/zw/libxerces-c.so.28 (0x00002b9d0a823000)
libantlr3c.so => /u01/zw/libantlr3c.so (0x00002b9d0ad3a000)
libnnz11.so => not found
libclntsh.so.11.1 =>not found
libggnnzitp.so => not found
libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x0000003dc1000000)
libm.so.6 => /lib64/libm.so.6 (0x0000003daee00000)
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x0000003dbd400000)
libc.so.6 => /lib64/libc.so.6 (0x0000003daea00000)
/lib64/ld-linux-x86-64.so.2 (0x0000003dae600000)
libnsl.so.1 => /lib64/libnsl.so.1 (0x0000003db2e00000)
libaio.so.1 => /usr/lib64/libaio.so.1 (0x00002b9d0e305000)

少包了，解决办法。

[oracle@ogg02 ggs]$ find /u01 -name libons.so 或 find / -name libons.so
[oracle@ogg02 ggs]$ ln -s /u01/app/oracle/product/11.2.0.3/db_1/lib/libons.so

假设OGG的安装目录是/u01/ggs，那么在/home/oracle/.bash_profile文件里添加如下内容：

export PATH=/u01/ggs:$PATH
export LD_LIBRARY_PATH=/u01/ggs:$LD_LIBRARY_PATH

--source 使修改生效：

[oracle@ogg1 u01]$ source ~/.bash_profile
cd /u01/ggs
ggsci
info manager

在 Oracle 11g中，安装完后，需要ggsci执行create subdirs创建ogg的目录，到了12c,就不用创建了。

5.开启归档模式、强制日志、附加日志

5.1 开规档

SQL> alter system set log_archive_dest_1='location=/oradata/arch' scope=both;
SQL> alter database archivelog;
SQL> archive log list;

5.2 添加附加日志
SQL> alter database add supplemental log data;

5.3 强制日志
SQL> alter database force logging;

--确认修改：
SQL> select LOG_MODE, SUPPLEMENTAL_LOG_DATA_MIN,FORCE_LOGGING from v$database;

6.启用DDL支持

ogg可以配置支持ddl的同步，对ddl的支持是通过创建一些table来保存这些ddl的信息，并且有一些限制。

6.1.禁用recycel bin

SQL> alter system set recyclebin=off scope=spfile;

6.2. 创建存放DDL 信息的user并赋权

创建GG的表空间：（source和target端都要创建）
SQL> create tablespace ggs datafile '/oradata/ggs01.dbf' size 200m autoextend off;
这里的表空间不能自动扩展。ogg11g可以使用默认的user表空间，12c需要独立的表空间，否则报错。
SQL> create user ggs identified by ggs default tablespace ggs temporary tablespace temp;
SQL> grant connect,resource to ggs;
SQL> grant execute on utl_file to ggs;

退出oracle的所有session,然后用sysdba权限执行以下脚本
注意：要先进入/u01/ggs,再执行脚本

pwd
/u01/ggs
sqlplus / as sysdba

6.3执行脚本

<1>创建DDL标记表

SQL> @/u01/pjj/marker_setup.sql; (这里会提示要输入ggs用户)

<2>将在数据库中创建捕获DDL语句的Trigger等必要组件 (这里会提示要输入ggs用户)

SQL> @/u01/pjj/ddl_setup.sql;

注意：（1）执行时必须断开GGSCI连接，否则报错
（2）执行的时候不用选择操作类型了。在11g中需要选择initialsetup选项。

<3>创建GGS_GGSUSER_ROLE角色 这里会提示要输入ggs用户)

SQL> @/u01/pjj/role_setup.sql;

<4> 授予给extract group参数中定义的userid用户

SQL> grant GGS_GGSUSER_ROLE to ggs;

<5> 启用ddl捕获触发器：

SQL> @/u01/pjj/ddl_enable.sql;

还有两个可选的脚本，用来提高ddl复制性能：

@?/rdbms/admin/dbmspool ---创建DBMS_SHARED_POOL包
@/u01/ggs/ddl_pin.sql

--通过DBMS_SHARED_POOL.keep存储过程将DDLReplication相关对象keep在共享池中，保证这些对象不要reload,提升性能。

注意，在oracle 11.2.0.4 中需要配置；

SQL> alter system set enable_goldengate_replication=true;
System altered.

7.检查点表配置

goldengate 的检查点表示 目标端 的一个可选的配置，默认情况下，goldengate不会设置检查点表机制，而依耐于文件系统的保证，相对于后者，检查点表机制更可靠，且便于日常维护。
建议在首次配置目标库的时候，在全局变量中设置检查点表，并创建，这样做的话，以后所有的replicat进程默认情况下均会使用这个检查点表。
配置检查点表后，goldengate日常维护的操作区别在于，所有replicate进程的添加删除前均需要从ggsci中登录数据。

配置步骤如下：
1. 登录ggsci界面，在./GLOBALS文件里添加checkpoint表名
checkpointtable owner.table --指定的检查点记录表
2.连上db,创建checkpoint表
dblogin sourcedb dbname,userid db_user,password pw
add checkpointtable ggs.checkpoint --生成一个检查点记录表

这里不做配置，直接在后面测试中配置。

8.OGG单向复制测试

注意三点： （1）目标库的用户名和对象名称可以和源端不同，关键在于配置文件中能够正确匹配。
（2）配置源端和目标端tnsnames,保持互联互通。
（3）对于采用oralce asm的实例，还需要配置监听，使得goldengate能够连接到对应的asm实例上，访问redo日志。
可以通过lsnrctl status 命令查看监听器状态，看看能否找到asm实例的信息，默认情况下asm实例已经注册，信息类似 service "+ASM" has 1 instance(s)

8.1在source和target database 上创建测试用户

--source database
SQL> create user sender identified by oracle default tablespace users temporary tablespace temp; --创建用户
User created.
SQL> grant connect,resource,dba to sender;
Grant succeeded.

2. --target database
SQL> create user receiver identified by oracle default tablespace users temporary tablespace temp; --创建用户
User created.
SQL> grant connect,resource,dba to receiver;
Grant succeeded.

8.2 配置SourceDB 的复制队列

GGSCI (ogg02) 10> dblogin userid ggs, password ggs

Successfully logged into database.

GGSCI (ogg02) 11> add extract ext1,tranlog, begin now

EXTRACT added.

GGSCI (ogg02) 12> add exttrail /u01/pjj/dirdat/lt, extract ext1

EXTTRAIL added.

修改抽取进程ext1参数：

GGSCI (ogg1) 13> edit params ext1

extract ext1

userid ggs, password ggs

exttrail /u01/pjj/dirdat/lt

ddl include mapped objname sender.*;

table sender.*;

8.2.1 增加Pump 进程

GGSCI (ogg1) 8> add extract dpump,exttrailsource /u01/pjj/dirdat/lt

EXTRACT added.

--这里指定我们localtrail 的位置。

GGSCI (ogg02) 18> add rmttrail /u01/pjj/dirdat/rt, extract dpump,megabytes 10 --trail文件的大小

RMTTRAIL added.

配置Data Pump 参数：

GGSCI (gg1) 56> view params dpump

extract dpump

userid ggs@ogg1, password ggs

dynamicresolution

passthru

rmthost 192.168.1.62, mgrport 7809

rmttrail /u01/ggs/dirdat/rt

table sender.*;

配置Data Pump 参数：
-----------------------------------------以这个为准

GGSCI (ogg02) 27> edit params dpump
extract dpump

userid ggs, password ggs

dynamicresolution

passthru

rmthost 192.168.1.62, mgrport 7809 --target

rmttrail /u01/zt/dirdat/rt --target

table sender.*;

GGSCI (ogg02) 27> edit params dpump --查看一下

extract dpump

userid ggs, password ggs

dynamicresolution

passthru

rmthost 192.168.56.23, mgrport 7809

rmttrail /u01/pjj/dirdat/rt

table sender.*;

9. target 端

9.1 添加checkpointtable

GGSCI (ogg2) 1> dblogin userid ggs,password ggs

Successfully logged into database.

GGSCI (ogg2) 2> add checkpointtable ggs.checkpoint

Successfully created checkpoint table ggs.checkpoint.

9.2添加target replicat进程

GGSCI (ogg04) 1> add replicat rep1,exttrail /u01/pjj/dirdat/rt, checkpointtable ggs.checkpoint
REPLICAT added.

GGSCI (ogg04) 2> edit params rep1
replicat rep1

ASSUMETARGETDEFS

userid ggs,password ggs

discardfile /u01/pjj/dirdat/rep1_discard.txt,append, megabytes 10

DDL

map sender.*, target receiver.*;

10.启动source端

GGSCI (ogg02) 30> info all --查看一下
Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

EXTRACT STOPPED DPUMP 00:00:00 00:20:49

EXTRACT STOPPED EXT1 00:00:00 00:26:57

EXTRACT STOPPED EXT2 00:00:00 00:25:27

1.启动extract进程
GGSCI (ogg02) 31> start ext2
Sending START request to MANAGER ...

EXTRACT EXT2 starting

GGSCI (ogg02) 32> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

EXTRACT STOPPED DPUMP 00:00:00 00:20:58

EXTRACT STOPPED EXT1 00:00:00 00:27:06

EXTRACT RUNNING EXT2 00:25:35 00:00:00 running说明启动了

2.启动datapump进程
GGSCI (ogg02) 33> start extract dpump

Sending START request to MANAGER ...

EXTRACT DPUMP starting

GGSCI (ogg02) 34> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

EXTRACT RUNNING DPUMP 00:00:00 00:24:11

EXTRACT STOPPED EXT1 00:00:00 00:30:19

EXTRACT RUNNING EXT2 00:00:00 00:00:01

Target DB

GGSCI (ogg2) 20> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

REPLICAT STOPPED REP1 00:00:00 00:11:40

GGSCI (ogg2) 21> start rep1

Sending START request to MANAGER ...

REPLICAT REP1 starting

GGSCI (ogg2) 29> info all

Program Status Group Lag at Chkpt Time Since Chkpt

MANAGER RUNNING

REPLICAT RUNNING REP1 00:00:00 00:00:01

测试Data 复制

--Source DB：

SQL> conn sender/oracle;

Connected.

SQL> create table p1 as select * from sys.dba_users;

Table created.

SQL> select count(1) from p1;

COUNT(1)

----------

32

--Target DB：

SQL> conn receiver/oracle;

Connected.

SQL> select count(1) from p1;

COUNT(1)

----------

32

SQL> select count(1) from p1;

COUNT(1)

----------

32