您的位置:首页 > 数据库

数据库分表使用思考

2015-11-23 00:52 281 查看
最近的工作中设计到了数据库分表的使用,因此讲自己使用过程中的一些思考记录下来。

在数据库的单表数据超过一定规模之后,为了满足性能的需要,采用分表是必须的进行的。在我的工作当中,发现数据库单表数据超过6ooW之后,就开始进行分表的规划,争取控制数据库的单表数据规模在千万级左右。

采用的分表设计中,大致有以下几种,有部分在我的工作中已经使用,有部分没有使用过,当然实际的使用过程中,需要根据需求选择不同的方式,甚至需要将多种设计结合起来一起使用。

1,路由表。

这中分表的方式就是根据一种维度保存数据路由,每次查询实际数据时,先查询路由表数据之后,再进行实际的数据查询。

其实最常用的查询也可以认为是路由表的一个规则, 比如 存在一个用户表,一个用户爱好表,我们通常通过用户名在用户表中找到userKey,然后在用户爱好表中,通过userKey查找到用户爱好数据。 这其实可以认为是最简单的一个路由表的分表规则。

优点:数据伸缩性强,数据的增加是比较容易的;对于热度不均的情况,路由表可以方便数据的调整。

缺点:数据迁移困难,在使用过程中,需要考虑迁移数据的可能性,需要特殊考虑; 会浪费一次额外的查询性能。

2,数据范围分表。

数据范围分表,也就是根据数据维度,讲数据分成不同的范围进行存储,最常用的可能就是时间维度。比如2014年数据存放在A表中,2015年数据存放在B表中。在比如根据userKey数字范围做为维度,userKey<=100W放入A表,userKey>100W放入B表等等。实际使用中,需要根据自己的需求来选择数据维度。

优点: 数据伸缩性强,如果设计合理,数据量可以非常方便的增长;数据迁移方便,因为是根据维度范围分表,调整维度范围也是比较方便。

缺点:在实际的使用中,存在冷热不均的情况。比如按照时间维度,2015年的数据被查看的可能性远远大于2014年数据,讲会导致大量的压力在B表中。

3,根据主键规则进行分表。

在存放数据时,数据主键此采用自己定义主键,这样在主键的生成规则中,设定主键的分表标示。比如主键最后两位作为分表标示,那么id = xxxxx01放入01表,id=xxxxx10放入10表。

优点: 数据伸缩性强,

缺点: 存在冷热不均的情况,当然,可以通过调整主键生成规则来尽量避免冷热不均的情况。

4,hash规则分表。

根据数据维度做hash运算,然后根据hash结果,对数据进行分表。在我的实际使用过程中,更多的是对内存数据处理时,比如jms数据的队列,采用hash规则,没有于数据存储。

优点:如果设计规则合理,对于冷热不均的情况,会有比较好的处理。

缺点:数据迁移差。

数据采用分表之后,对于条件查询是非常不友好的,这部分的处理,目前我没有太多经验,在获取的信息中,大多数都是采用搜索引擎的方式实现条件查询,这部分希望在以前的工作中能够有所了解。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: