阿里云课程：云计算—分布式文件存储系统及实现

分布式文件存储系统及实现（阿里云课程）
一、大数据对分布式存储的需求：
·存储容量大
·高吞吐量
·提高数据可靠性 8个9
·服务高可用 99.95%
·高效运维
将日常硬件处理作为常态，做成流程化
对于监控、报警等机制也要有非常完善的支持
·低成本
 
二、小概率事件对分布式系统的挑战
单击(桌面)系统：小概率出错
大规模存储：小概率成为常态
小概率事件：
1、磁盘错误
2、Raid卡故障
3、网络故障
4、电源故障
5、数据错误  磁盘、网络、内存
6、系统异常
7、热点
8、软件缺陷
9、误操作
 
三、常见分布式系统
ceph 无中心节点   mons 虽然也是比较重要的节点，但是存储的量比较少。
HDFS Namenode -> Metadata   Datanodes   Client 协议简单、不易出错、数据一致性容易保证  数据可分布在不同的Rack上去
阿里——Pangu系统
高性能设备作缓存，低性能设备作永久存储。
安全访问认证，用户访问时，带着认证信息。
审计，把所有操作存入日志文件中。
 
四、分布式存储设计要点
·读写流程 绕过慢节点、热节点
·Qos:服务质量
·Checksum
·Replication 复制
·Rebalance  重平衡
·Garbage Collection （GC） 垃圾回收
·Erasure Coding
 
五、分布式系统功能设计——写入流程
链式写入流程：
作用：有利于从集群外部导入数据到集群内部，网络流量充分被利用。
弊端：会产生三段网络的延迟
 
主从模式：
使用辐射发包方式，导致Primary网络最高利用率是
1/2，对于流量较高的应用是不合适的。对流量较低的应用比较合适。
   

    
 
六、读取流程
规避慢节点：读取数据时同时发多个请求，当有一个响应后，发送cancel请求到其他节点，结束掉其IO操作。
发起多个请求可以把慢节点完全规避掉。在平均延迟都增大的情况，会出现问题。
读取流程优化——规避慢节点：(选取最优副本)
当master节点返回给Client时，会返回给一张列表，告知每个节点大概返回的时间是多长(基于位置考虑)。
先发给期望最快的，当一段时间没有返回时，再发给期望第二快的，当收到返回后，停掉没有响应的，并更新列表，下次请求时，按照新的列表操作。
优点：有效地发现集群中最快的节点，可以有效规避慢节点，对集群中的热点做到动态规避、
 
七、QoS 质量服务
用分类器把不同用户的不同请求，放到不同的队列中。每个队列都有一个权重。按照权重，轮询响应每个用户请求。
 
八、Checksum 总和校验码
 
九、数据可靠性 - Replication
 
十、数据均衡 - Rebalance
1)当新加入机器时   2)
用户写入数据时不均衡
·充分利用多台机器的带宽
·复制要有优先级
·流量控制要严格
 
十一、垃圾回收 - GC
·数据被删除的时候  ——做成异步的删除
·数据写入失败，脏数据留在磁盘上  ——根据数据版本决定
·由于机器宕机造成的   由于一个宕机，多备份了，宕机的机器恢复后，备份数多了。
两个关键点：
1)异步删除 2)基于版本的回收
 
十二、Erasure Coding - 纠错码

 
想要读取 osd2节点上的数据，发现是慢节点，就要从1,3,5上读取数据，利用纠错码，得到osd2上的数据，这种方法可以减少备份的数量。
弊端：会造成流量大，一般应用在冷数据的存储上。
 
十三、元数据的高可用和扩展性
·高可用
多个备份，在故障时快速切换
保证状态一致性
·可扩展性
元数据容量可线性扩展
元数据服务能力可线性扩展
 
1.主从方式
·一个主服务器，其他为从服务器(通过锁互斥技术选举)
·数据一致性是通过共享存储(做到多个备份和切换)
主节点在服务写操作时，对数据的更改会以日志的方式持久化到共享存储里。从节点从共享存储里读 取日志，恢复自己的内存状态。
2.分布式协议
Paxos/Raft协议  切换和状态服务
 
主从方式和分布式协议对比
·主从方式
简单
所需要的复杂功能依赖其他模块 例如：分布式锁服务、共享存储
·分布式协议
独立自包含  不依赖其他模块
 
 
HDFS的NameNode(有两个)采用主从模式，使用NFS作为共享存储
 使用Zonkeeper作为分布式锁服务。达到了两个节点互为备份。
 
Pangu Metadata Server
使用Paxos一致性协议，保证高可用和快速切换
不依赖外部共享存储和互斥锁服务，独立自包含。
 
ceph系统
自身具备共享存储能力
用心跳代替分布式文件锁
做到独立自包含
 
Paxos协议一致性可得到证明，但在工业界采用的非常少，因为事先过于复制，程序实现难理解，不利于维护。
Raft协议是对Paxos协议的简化，有效保证了数据一致性，是分布式系统采用最多的一种算法。
 
十四、元数据管理的可扩展性
HDFS NameNode:

 
Ceph Metadata Server:

十五、数据的混合存储
不同存储介质的特性：
 
HDFS混合存储：
一部分SSD一部分备份HHD
Pangu
用户写数据写入SSD，后台一部分异步导入HHD
读取时，查询具体位置后，
两种介质一起读取。
优点：有效降低磁盘介质带来的维护难度
  有利于用户不感知的更换磁盘介质