数栈数据安全案例:混合云环境数据库备份容灾实现
本文整理自:袋鼠云技术荟 | 数据安全(1):混合云环境数据库备份容灾实现
数栈是云原生—站式数据中台PaaS,我们在github上有一个有趣的开源项目:FlinkX,欢迎给我们点个star!star!star!
https://github.com/DTStack/flinkx
FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等,是全域、异构、批流一体的数据同步引擎,大家如果有兴趣,欢迎来github社区找我们玩~
近些年,数据安全事件频发。
作为企业的核心资产,数据的外泄、破坏都会导致不可挽回的经济损失和核心竞争力缺失。规范的制度建设、权限管理和变更流程是保证数据安全的重要落地措施。
袋鼠云DBA团队承接多个客户的容灾架构设计需求,制定可靠、有效的容灾架构方案并推动落地。备份重于一切。我们会优先考虑数据库备份集的容灾设计:两地三中心VS混合云、权限分配&监控告警&恢复演练。
基于混合云的备份容灾方案,已成功向多个客户输出。今天来谈一下阿里云—IDC混合云场景下的备份容灾设计:
1. 阿里云RDS等数据库产品,备份集、binlog保留在OSS对象存储,下载后可见;同时提供备份/日志API接口,用于编程开发;
2. 云环境和IDC容灾机房走了专线,带宽根据备份、日志量,传输时间窗口来规划;
3. IDC容灾机房重要是存储的规划:RAID&文件保留期限&容量&权限;
4. 备份集、日志文件的抽取、验证程序;5. 运维监控平台,收集、分析IDC容灾机房程序日志,发现、告警,运维及时响应。
具体实现:
1. 元数据。阿里云RDS提供了两个API:备份文件信息DescribeBackups、日志文件信息DescribeBinlogFiles,传入参数instance_id即可获取备份集、日志文件的基础信息:下载路径、大小、文件名、checksum值等。
袋鼠云智能运维中台可以准实时同步RDS元数据信息,确保备份集、日志文件的抽取时效。
2. 文件抽取。依赖元数据信息,分为备份集和日志文件两个抽取程序,每个程序均配置有文件大小、checksum值双重验证。
对拉取进程超时、文件不完整等问题,会自动重新拉取。
控制抽取进程并发数量,避免专线拥挤。
3. 运维监控平台接入,分析同步任务运行日志,配置抽取失败、传输超时等告警;同时接入IDC存储空间使用量、使用率变化趋势告警,对异常问题主动发现、及时处理。
4. 恢复演练。制定演练计划,模拟以时间点恢复、数据误操作等运维事件,收集操作过程,整理成册。
5. IDC存储管理由机房运维部门负责,云平台运维部门操作存储需严格按照审批流程进行申请。
从架构设计、权限管理到程序开发、告警响应、异常处理、恢复演练,多环节无死角确保备份集安全。
只要备份安全,数据一定能恢复。
- linux下通过rsync+inotify 实现数据实时备份(远程容灾备份系统)
- 西安市电子政务以CBS为备份系统保护数据安全案例
- 【DSG简介/案例】全球领先的致力于数据存储与容灾备份的专业厂商
- linux下通过rsync+inotify 实现数据实时备份(远程容灾备份系统)
- 利用rsync实现数据远程容灾备份
- linux下通过rsync+inotify 实现数据实时备份(远程容灾备份系统)
- 利用数据存储技术实现数据安全合理备份
- “两地三中心”容灾备份设计与实现_数据备份_数据恢复-阿里云
- linux下通过rsync+inotify 实现数据实时备份(远程容灾备份系统)
- 数据容灾备份:数据安全的最后一道防线
- 大亚湾区“智慧医疗”数据与网络安全异地容灾备份二期建设项目
- 巧用win2008备份功能 保护数据安全
- 网络附加存储设备NAS等设备应用在数据备份(本地及远程数据备份)、数据容灾应用中的分析
- [案例]硬盘数据备份/恢复系统-基于ecGUI
- 企业数据异地备份容灾解决方案(拯救赵明)
- 用RSYNC实现数据的备份和同步
- 通过oms实现Oracle的数据备份
- 使用navicat8通过数据转移实现更新 和 数据库保存实现备份[图文]
- EDB PPAS/PostgreSQL异地容灾,并实现“0数据丢失”的灾难恢复
- 存储基础知识(七):数据备份与容灾