Linux环境下,DM8-MPP两节点集群搭建
目录
1.主备库,监视器信息部署
(1)主库
实例名 |
存放路径 |
端口号 |
所在机器 |
对应备库 |
OGUID |
ip |
GRP1_MPP_EP01 |
/home/dmdba/dmdbms/data |
5236 |
CenOS7_1 |
GRP1_MPP_EP11 |
45330 |
192.168.75.131 |
GRP2_MPP_EP02 |
/home/dmdba/dmdbms/data |
5236 |
CenOS7_2 |
GRP2_MPP_EP22 |
45331 |
192.168.75.130 |
(2)备库
实例名 |
存放路径 |
端口号 |
所在机器 |
对应主库 |
OGUID |
ip |
GRP1_MPP_EP11 |
/home/dmdba/dmdbms/data |
5237 |
CenOS7_2 |
GRP1_MPP_EP01 |
45330 |
192.168.75.130 |
GRP2_MPP_EP22 |
/home/dmdba/dmdbms/data |
5237 |
CenOS7_1 |
GRP2_MPP_EP02 |
45331 |
192.168.75.131 |
(3)监视器
实例名 |
存放路径 |
端口号 |
所在机器 |
ip |
GRP_MPP_Monitor |
/home/dmdba/dmdbms/data |
5236 |
CenOS7_3 |
192.168.75.132 |
2.初始化数据库实例
按照上面的参数设置,初始化四个数据库实例,主库两个,备库两个,示例如下:
[code]./dminit path=/home/dmdba/dmdbms/data db_name=GRP2_MPP_EP22 instance_name=GRP2_MPP_EP22 port_num=5237
3.启停数据库
前台启动方式,启停上面初始化的数据库,示例如下:
[code]./dmserver /home/dmdba/dmdbms/data/GRP1_MPP_EP01/dm.ini
4.数据库备份与还原
为了同步各数据库的数据,确保各数据保持完全一致。这里需对主库进行备份操作,备库进行恢复、还原操作。
方法:使用DMRMAN工具,备份主库上面的数据,将备份集传输到备库上,同样使用DMRMAN工具进行数据还原、恢复、更新,示例:
主库备份示例:
[code]./dmrman ctlstmt="backup database '/home/dmdba/dmdbms/data/GRP2_MPP_EP02/dm.ini' to db_bk backupset '/home/dmdba/dmdbms/data/GRP2_MPP_EP02/db_bk'"
备库还原、恢复、更新魔数示例:
[code]还原:./dmrman ctlstmt="restore database '/home/dmdba/dmdbms/data/GRP2_MPP_EP02/dm.ini' from backupset '/home/dmdba/dmdbms/data/GRP2_MPP_EP02/db_back'" 恢复:./dmrman ctlstmt="recover database '/home/dmdba/dmdbms/data/GRP2_MPP_EP02/dm.ini' from backupset '/home/dmdba/dmdbms/data/GRP2_MPP_EP02/db_back'" 更新:./dmrman ctlstmt="recover database '/home/dmdba/dmdbms/data/GRP2_MPP_EP02/dm.ini' update db_magic"
5.检查、修改和创建配置文件
(1)dm.ini
以主库GRP1_MPP_EP01为例,修改dm.ini文件,其他库需要修改的地方已标红
参数 |
值 |
INSTANCE_NAME |
GRP1_MPP_EP01 |
PORT_NUM |
5236 |
ALTER_MODE_STATUS |
0 |
ENABLE_OFFLINE_TS |
2 |
MAL_INI |
1 |
ARCH_INI |
1 |
MPP_INI |
1 |
(2)dmmal.ini
创建MAL系统配置文件dmmal.ini,并添加信息(各主备库的dmmal.ini文件必须完全一致,其他库不用修改)
[code]MAL_CONN_FAIL_INTERVAL = 5 #判定 MAL 链路断开的时间 [MAL_INST1] MAL_INST_NAME = GRP1_MPP_EP01 #实例名,和 dm.ini 中的 INSTANCE_NAME 一致 MAL_HOST = 192.168.75.131 #MAL 系统监听 TCP 连接的 IP 地址 MAL_PORT = 5337 #MAL 系统监听 TCP 连接的端口 MAL_INST_HOST = 192.168.1.131 #实例的对外服务 IP 地址 MAL_INST_PORT = 5236 #实例的对外服务端口,和 dm.ini 中的 PORT_NUM 一致 MAL_DW_PORT = 5253 #实例对应的守护进程监听 TCP 连接的端口 MAL_INST_DW_PORT = 5243 #实例监听守护进程 TCP 连接的端口 [MAL_INST2] MAL_INST_NAME = GRP2_MPP_EP02 MAL_HOST = 192.168.75.136 MAL_PORT = 5337 MAL_INST_HOST = 192.168.1.132 MAL_INST_PORT = 5236 MAL_DW_PORT = 5253 MAL_INST_DW_PORT = 5243 [MAL_INST3] MAL_INST_NAME = GRP1_MPP_EP11 MAL_HOST = 192.168.75.136 MAL_PORT = 5338 MAL_INST_HOST = 192.168.1.132 MAL_INST_PORT = 5237 MAL_DW_PORT = 5254 MAL_INST_DW_PORT = 5244 [MAL_INST4] MAL_INST_NAME = GRP2_MPP_EP22 MAL_HOST = 192.168.75.131 MAL_PORT = 5338 MAL_INST_HOST = 192.168.1.131 MAL_INST_PORT = 5237 MAL_DW_PORT = 5254 MAL_INST_DW_PORT = 5244
(3)dmarch.ini
创建归档文件dmarch.ini,并添加内容(实时归档)-其他库需要修改的内容:REALTIME1:ARCH_DEST=远程备库实例名;
LOCAL1:ARCH_DEST=当前库的本地归档路径
[code][ARCHIVE_REALTIME1] ARCH_TYPE = REALTIME #实时归档类型 ARCH_DEST = GRP1_MPP_EP11 #实时归档目标实例名 [ARCHIVE_LOCAL1] ARCH_TYPE = LOCAL #本地归档类型 ARCH_DEST = /home/dmdba/dmdbms/data/GRP1_MPP_EP01/arch_mpp #本地归档文件存放路径 ARCH_FILE_SIZE = 128 #单位 Mb,本地单个归档文件最大值 ARCH_SPACE_LIMIT = 0 #单位 Mb,0 表示无限制,范围 1024~4294967294M
(4)dmmpp.ini
创建MPP配置文件dmmpp.ini,添加内容,并使用转换工具dmctlcvt转换为dmmpp.ctl控制文件(其他库不用修改,直接拷贝)。
示例:
[code][service_name1] mpp_seq_no = 0 mpp_inst_name = GRP1_MPP_EP01 [service_name2] mpp_seq_no = 1 mpp_inst_name = GRP2_MPP_EP02
文件转换命令:
[code]./dmctlcvt type=2 src=/home/dmdba/dmdbms/data/GRP2_MPP_EP02/dmmpp.ini dest=/home/dmdba/dmdbms/data/GRP2_MPP_EP02/dmmpp.ctl
6.启动数据库,修改数据库模式和OGUID
注:同一守护组的OGUID保持一致,数据库模式:主库-primary;备库-standby
启动方式:mount
修改命令示例:
[code]SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 1); sp_set_oguid(45330); alter database primary; SP_SET_PARA_VALUE(1, 'ALTER_MODE_STATUS', 0);
8.配置守护进程
因为在本次演示的例子中,每台机器上有两个实例,所以,配置一个守护进程,同时守护两个实例即可,创建dmwatcher.ini文件添加内容:注意修改:OGUID:INST_OGUID以及配置文件路径:INST_INI
[code][GRP1] DW_TYPE = GLOBAL #全局守护类型 DW_MODE = AUTO #自动切换模式 DW_ERROR_TIME = 10 #远程守护进程故障认定时间 INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间 INST_ERROR_TIME = 10 #本地实例故障认定时间 INST_OGUID = 45330 #守护系统唯一 OGUID 值 INST_INI = /home/dmdba/dmdbms/data/GRP1_MPP_EP01/dm.ini #dm.ini 配置文件路径 INST_AUTO_RESTART = 1 #打开实例的自动启动功能 INST_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmserver #命令行方式启动 RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阀值,默认关闭 RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阀值,默认关闭 [GRP2] DW_TYPE = GLOBAL #全局守护类型 DW_MODE = AUTO #自动切换模式 DW_ERROR_TIME = 10 #远程守护进程故障认定时间 INST_RECOVER_TIME = 60 #主库守护进程启动恢复的间隔时间 INST_ERROR_TIME = 10 #本地实例故障认定时间 INST_OGUID = 45331 #守护系统唯一 OGUID 值 INST_INI = /home/dmdba/dmdbms/data/GRP2_MPP_EP22/dm.ini #dm.ini 配置文件路径 INST_AUTO_RESTART = 1 #打开实例的自动启动功能 INST_STARTUP_CMD = /home/dmdba/dmdbms/bin/dmserver #命令行方式启动 RLOG_SEND_THRESHOLD = 0 #指定主库发送日志到备库的时间阀值,默认关闭 RLOG_APPLY_THRESHOLD = 0 #指定备库重演日志的时间阀值,默认关闭
9.配置监视器
创建监视器配置文件dmmonitor.ini(监视器类型:确认监视器-发生故障,自动接管),示例:
[code]MON_DW_CONFIRM = 1 #确认监视器模式 MON_LOG_PATH = /home/dmdba/dmdbms/data/GRP2_MPP_EP02/mon_log #监视器日志文件存放路径 MON_LOG_INTERVAL = 60 #每隔 60s 定时记录系统信息到日志文件 MON_LOG_FILE_SIZE = 32 #每个日志文件最大 32M MON_LOG_SPACE_LIMIT = 0 #不限定日志文件总占用空间 [GRP1] MON_INST_OGUID = 45330 #组 GRP1 的唯一 OGUID 值 #以下配置为监视器到组 GRP1 的守护进程的连接信息,以―IP:PORT‖的形式配置 #IP 对应 dmmal.ini 中的 MAL_HOST,PORT 对应 dmmal.ini 中的 MAL_DW_PORT MON_DW_IP = 192.168.75.131:5253 MON_DW_IP = 192.168.75.136:5254 [GRP2] MON_INST_OGUID = 45331 #组 GRP2 的唯一 OGUID 值 #以下配置为监视器到组 GRP2 的守护进程的连接信息,以―IP:PORT‖的形式配置 #IP 对应 dmmal.ini 中的 MAL_HOST,PORT 对应 dmmal.ini 中的 MAL_DW_PORT MON_DW_IP = 192.168.75.136:5253 MON_DW_IP = 192.168.75.131:5254
10.启动守护进程
示例:
[code]./dmwatcher /home/dmdba/dmdbms/data/GRP1_MPP_EP01/dmwatcher.ini
11.启动监视器
示例:
[code]./dmmonitor /home/dmdba/dmdbms/data/GRP2_MPP_EP02/dmmonitor.ini
至此 MPP 实时主备搭建完毕,在搭建步骤和各项配置都正确的情况下,在监视器上执行show 命令,可以监控到所有实例都处于 Open 状态,所有守护进程也都处于 Open 状态,即为正常运行状态。
- Linux多节点下MPI集群环境搭建
- linux下postgresql 一主多从、redis集群、rabbitmq等环境搭建 (二) 安装 nginx
- 项目进阶 之 集群环境搭建(三)多管理节点MySQL集群
- Linux环境下搭建hadoop分布式集群
- JAVA学习笔记06——Linux环境下安装Nginx和集群搭建
- Linux下搭建spark集群开发环境
- Oracle10.2.0.4-RAC两节点集群环境搭建
- 【向Linux迁移记录】Deepin Linux下Spark本地模式及基于Yarn的分布式集群环境搭建
- 搭建多个节点的hadoop集群环境(CDH)
- linux下postgresql 一主多从、redis集群、rabbitmq等环境搭建 (一) linux 配置
- kaa系统安装------在一个单一的Linux节点或集群环境中安装和配置kaa平台。
- 虚拟机下32位CentOs版本的linux下hadoop2.4.1集群搭建(3个节点版本)
- Linux CentOS7.5搭建高可用Hadoop分布式集群环境
- MQ集群测试环境搭建(多节点负载均衡,共享一个kahaDB文件(nas方式))
- (大数据之hadoop)Hadoop2.2.0版本多节点集群及eclipse开发环境搭建
- Hadoop2.2.0版本多节点集群及eclipse开发环境搭建
- Linux下Hadoop2.6.0集群环境的搭建
- Hadoop回顾:(二)搭建5节点hadoop集群环境(CDH5)
- linux环境下Elasticsearch2.3.2集群搭建和插件安装
- Linux docker环境kafka集群搭建