分布式系统中的几种数据备份模式. 数据可靠性(基本,),数据一致性(脑裂问题,高可靠性容灾性),数据可用性(数据拆分,读写分离),系统扩展性.
2017-05-22 20:49
579 查看
分布式两个层面含义:
1. 分布式服务,rpc 调用
2. 分布式数据库
其中数据的分布式又分
两个维度.
同一份数据 N 个备份.
CAP (
一致性就是数据的可靠性,数据的正确性. 非强一致后的关机导致数据丢失,数据不可靠.) 要求数据强一致,且要求可用性高.那就是 zk 的1/2 ,并且主机宕机后要重新选举和数据同步.
可用性 这个词在CAP理论里面,不只是指服务可以被访问,还有个属性是延迟,因为延迟这个属性很难被量化定义,延迟越低越好。
)
同一份数据拆成 N 块.
提高整体并发极限. 数据的迁移,自动扩容,自动缩容. 扩展性.
本文主要讲的是 分布式数据库中如何多份备份的一致性问题.
大并发,大数据
图来自 2010 谭俊青 mysql 数据库集群的高可用设计及应用
**
1. 先备份保证数据简单可靠性,
2. 用paxos来保证数据一致性,数据的高可靠性.
3. 数据备份同步用来保证读可用性.
4. 数据拆分来保证系统水平扩展性.
**
读写分离:读 salve 库,改到 master 库,压力还是太大怎么办?
1.半同步?
2.全同步?
3.不要从同步维度思考,使用 master-master 模式.(从master 转移角度思考.将一部分数据的 master 迁移到另外一台机器上. 把数据拆分和备份完美地整合在一起. )(缺点:索引总量并没有降低)
线下读太多怎么办?
通过slave 或者 hbase 解决,elasearch.
线上读太多怎么办?
线上写太多怎么办?
1. 分布式服务,rpc 调用
2. 分布式数据库
cap 理论 和 caid 中 c 的区别. http://www.infoq.com/cn/articles/cap-twelve-years-later-how-the-rules-have-changed
其中数据的分布式又分
两个维度.
同一份数据 N 个备份.
CAP (
一致性就是数据的可靠性,数据的正确性. 非强一致后的关机导致数据丢失,数据不可靠.) 要求数据强一致,且要求可用性高.那就是 zk 的1/2 ,并且主机宕机后要重新选举和数据同步.
可用性 这个词在CAP理论里面,不只是指服务可以被访问,还有个属性是延迟,因为延迟这个属性很难被量化定义,延迟越低越好。
)
同一份数据拆成 N 块.
提高整体并发极限. 数据的迁移,自动扩容,自动缩容. 扩展性.
本文主要讲的是 分布式数据库中如何多份备份的一致性问题.
大并发,大数据
图来自 2010 谭俊青 mysql 数据库集群的高可用设计及应用
**
1. 先备份保证数据简单可靠性,
2. 用paxos来保证数据一致性,数据的高可靠性.
3. 数据备份同步用来保证读可用性.
4. 数据拆分来保证系统水平扩展性.
**
读写分离:读 salve 库,改到 master 库,压力还是太大怎么办?
1.半同步?
2.全同步?
3.不要从同步维度思考,使用 master-master 模式.(从master 转移角度思考.将一部分数据的 master 迁移到另外一台机器上. 把数据拆分和备份完美地整合在一起. )(缺点:索引总量并没有降低)
线下读太多怎么办?
通过slave 或者 hbase 解决,elasearch.
线上读太多怎么办?
线上写太多怎么办?
相关文章推荐
- Dynamo分布式系统——「RWN」协议解决多备份数据如何读写来保证数据一致性,而「向量时钟」来保证当读取到多个备份数据的时候,如何判断哪些数据是最新的这种情况
- 网络数据备份系统结构的几种类型分析----gengzy@dc
- 重装系统必须备份的几种数据
- 浅谈分布式系统的基本问题:可用性与一致性
- 关于页面框架/iframe等几种模式下数据的传递问题
- 对于分布式数据处理系统的性能问题
- 一致性问题和Raft一致性算法——一致性问题是无法彻底解决的,可以说一个分布式系统可靠性达到99.99…%,但不能说它达到了100%
- 1.读写分离(主数据库写 可分拆副数据库读);2.垂直分库(将系统按业务进行了垂直拆分主数据库);3.水平分主库(ID生成算法决定了如何拆分数据,以及增删改查)
- 关系型数据的分布式处理系统MyCAT(1)—概述和基本使用教程
- 几种分布式网络存储编码的数据恢复问题()
- 第5章分布式系统模式 Data Transfer Object(数据传输对象)
- 分布式系统中数据一致性问题
- 不懂这些高并发分布式架构、分布式系统的数据一致性解决方案,你如何能找到高新互联网工作呢?强势解析eBay BASE模式、去哪儿及蘑菇街分布式架构
- 数据项、数据字典、模式等基本概念辨析 数据库系统结构
- 重装系统必须备份的几种数据
- 关系型数据的分布式处理系统MyCAT(1)—概述和基本使用教程
- 第5章分布式系统模式 Data Transfer Object(数据传输对象)
- 带着问题学习分布式系统之数据分片
- 几种异地数据备份软件/系统方案
- 分布式系统基本概念(一致性、数据分布、复制策略、分布式协议)