分布式在线数据库学习 && 资料汇总

参考：

慕课网在线分布式数据库原理与实践

淘宝沈询博客

沈询微博

淘宝技术原理系列视频

在公司学习TDDL，无意间感觉这方面挺有意思的。

很多工程上的方案并不像论文上写的那样精准，要考虑的问你有很多，最后看到的方案比较粗暴、高效、精准性略低。

性能

易用

可运维、可监控

结果简单

组件化

内网上的课程笔记：

分布式存储原理与TDDL 地址

零、数据库提供功能

ACID中的事务（保证原子性），sql的查询、视图、存储过程。

数据库功能：K-V存储 关系代数和事务引擎 用户API

K-V存储关键

1. 范围查找

2. 处理更新

3. 读写性能

4. 面向磁盘

5. 并行指标

6. 内存占用

一、基本数据结构

数据库底层实现的角度来看问题。计算机中的大部分问题都是映射问题即K-V

查询分为两种：单值查询，范围查询。前者使用hash、后者使用树解决问题。

存储介质上，硬盘特性寻道和分块存储，内存是随机存储

跳表：解决链表不能二分查找的问题

B树 ：解决二分查找且可插入。相对于二叉树，考虑到磁盘的特性读取块是性能瓶颈，因此树要矮，同时B树存在空间浪费情况，这在内存不可取。

LSM树：目前nosql中使用的数据结构，减少了随机性，但读取性能低于B-tree

二、关系代数即数据库如何使用映射

对于一条select * from table where id=? 处理

对于索引来说，主键建立索引支持范围

对于其他属性可以建立二级索引，对于项目少且常用的可以建立组合索引，或者单个索引，分步查找回表查找。

三、用户API即SQL引擎

将SQL语句转为AST，就可以做到有序分步执行。然后做执行计划（选取可以达到目标的最优方案，选取索引的顺序、步骤的顺序不唯一NP问题）

利用SQL将数据库与应用业务隔离、降低耦合

eg：查找汽车轮子是name的轮子，如果仅仅是K-V就要查看所有的汽车然后再在其中查看轮子，若是关系代数模型就可以直接查找（name=xx）

四、分布式

核心问题：partion、replication。性能方面是网络和均衡

partion 如何路由：传统的就是K-V，一致性hash、路由hash

1. 传统K-V的扩容要成2倍的进行，这样就能保证只有一半的数据需要迁移，否则迁移数据会很多（机器数由3到4迁移60%）

2. 一致性hash

hashid=id%100;

if(hashid<25) return 0;

else if(hashid<50) return 1;

else if(hashid<75) return 2;

else return 3;

扩容的时候将字段范围拆分改变即可eg：<40 <50

3. 虚拟hash就是对应一张映射表，迁移的时候先将原先的对应关系放上去，这样平滑过渡，然后再修改

对于TDDL它的规则引擎就是简单hash，热点处理就是简单脚本判断。扩容过程：先将增量数据存储到本地，全量复制到新机器，数据校验，数据同步（可以选用原库停写等待追上）然后切换

replication中的一致性

1. 无主机模式Ｒ>Ｎ-W 读机器 总机器 写机器 。读几次能取到最新数据，适应于写多读少情况

eg：N=3，W=1，那么R>2 就要读3份。

eg：N=3，W=2，那么R>1 就要读2份。

2. 有主机模式，只有一台可写，Master管理多个slave。很好控制一致性。

实用：若主机挂掉就随机选响应的。

问题：

1. 读写不均衡

2. 单个节点死掉，导致雪崩

3. 突发情况的雪崩

TDDL

第一层Matrix 可以自动扩容，路径：SQL解析-规则引擎-执行-合并。路由到哪一组。

第二层group里面有主备，数据统一。读写分离，权重设置，读写切换，允许动态增加slave机器。

第三册Atom保护业务线程等等

数据增量复制：异构增量（买家分库卖家查询，评价被评价双维度）

使用：

1. 预估性能：数据从读取位置的时间预估到传输等等

2. 尽可能对一对多规则中的一进行数据切分

3. 使用数据增量复制的方式冗余数据进行查询，合理利用冗余减少网络

4. 尽可能在单机、内存、同一块中。

读取瓶颈：增加slave

写入瓶颈：用规则切分