新系统-关于高并发的思考

这两天新系统已经进入了尾声,部署的事情也需要很多考虑了.
在从需求到开发过程中,现在注意应用的技术主要包括
1.wcf的接口读写分离,这个最大的一个好处就是可以实行权限的分离.在新系统中出现的问题是前期很多同事的代码没有考虑这个
问题,所以根据同事的建议,在代码中,动态为wcf来指定地址,来实现读写的分离.
wcf还有很多需要注意的地方,比如说客户端缓存值的设定,还有那种协议,都需要我们自己琢磨了.
2.从软件架构采用了asp.net mvc模式,并对controller和web实现了分离部署,这个部署的好处也是为了权限,毕竟controller的操
作权限不能放开.
3.代码的细节中,能一次访问数据库的,千万不要多次访问,就比如说如果一些复杂的数据库操作过程,如果可以用stringBuiler连
接依次执行或者放在存储过程中的,千万放在一起,并且加事物处理.一个关键的算法,分页算法,我们采用了下面的思路,个人感觉
效果一般,可以考虑优化,可以参考我转发的博客.
http://blog.csdn.net/hliq5399/article/details/6455781
4.缓存的加入,这个现在有些模块已经加入,但很多模块还没有加入,而且如果一个模块中,数据需要实时的话,缓存不一定能用.
这两天关注高并发,并参考了一些资料后,感觉需要加入的技术,以及可能对公司产生的有利影响:
1.分表技术,现在公司的业务也发展多年了,有些表数据已经达到了千万级别,未来可能会更多,这个时候分表特表重要了
计划采用的方式:
• sql server 2005以后出现的表分区
•分表:
这个基于基础表的分表处理方式大致的思想就是：一个主要表，保存了所有的基本信息，如果某个项目需要找到它所存储的表，
那么必须从这个基础表中查找出对应的表名等项目，好直接访问这个表。如果觉得这个基础表速度不够快，可以完全把整个基础
表保存在缓存或者内存中，方便有效的查询。
 
我们基于贴吧的情况，构建假设如下的3张表：
 
1. 贴吧版块表: 保存贴吧中版块的信息
2. 贴吧主题表：保存贴吧中版块中的主题信息，用于浏览
3. 贴吧回复表：保存主题的原始内容和回复内容
 
 
“贴吧版块表”包含如下字段：
版块ID      board_id         int(10)
版块名称   board_name     char(50)
子表ID      table_id           smallint(5)
产生时间   created            datetime
 
“贴吧主题表”包含如下字段：
主题ID         topic_id      int(10)
主题名称       topic_name    char(255)
版块ID         board_id         int(10)
创建时间      created          datetime
 
“贴吧回复表”的字段如下：
回复ID       reply_id          int(10)
回复内容     reply_text       text
主题ID       topic_id          int(10)
版块ID       board_id        int(10)
创建时间     created           datetime
 
那么上面保存了我们整个贴吧中的表结构信息，三个表对应的关系是：
 
版块 --> 多个主题
主题 --> 多个回复
 
那么就是说，表文件大小的关系是：
版块表文件 < 主题表文件 < 回复表文件
 
所以基本可以确定需要对主题表和回复表进行分表，已增加我们数据检索查询更改时候的速度和性能。
 
看了上面的表结构，会明显发现，在“版块表”中保存了一个"table_id"字段，这个字段就是用于保存一个版块对应的主题和回
复都是分表保存在什么表里的。
 
比如我们有一个叫做“PHP”的贴吧，board_id是1，子表ID也是1，那么这条记录就是：
 
board_id | board_name | table_id | created
1 | PHP | 1 | 2007-01-19 00:30:12
 
相应的，如果我需要提取“PHP”吧里的所有主题，那么就必须按照表里保存的table_id来组合一个存储了主题的表名称，比如我
们主题表的前缀是“topic_”，那么组合出来“PHP”吧对应的主题表应该是：“topic_1”，那么我们执行：
 
SELECT * FROMtopic_1 WHERE board_id = 1 ORDER BY topic_id DESC LIMIT 10
 
这样就能够获取这个主题下面回复列表，方便我们进行查看，如果需要查看某个主题下面的回复，我们可以继续使用版块表中保
存的“table_id”来进行查询。比如我们回复表的前缀是“reply_”，那么就可以组合出“PHP”吧的ID为1的主题的回复：
 
SELECT * FROMreply_1 WHERE topic_id = 1 ORDER BY reply_id DESC LIMIT 10
 
这里，我们能够清晰的看到，其实我们这里使用了基础表，基础表就是我们的版块表。那么相应的，肯定会说：基础表的数据量
大了以后如何保证它的速度和效率？
 
当然，我们就必须使得这个基础表保持最好的速度和性能，比如，可以采用MySQL的内存表来存储，或者保存在内存当中，比如
Memcache之类的内存缓存等等，可以按照实际情况来进行调整。
 
一般基于基础表的分表机制在SNS、交友、论坛等Web2.0网站中是个比较不错的解决方案，在这些网站中，完全可以单独使用一个
表来来保存基本标识和目标表之间的关系。使用表保存对应关系的好处是以后扩展非常方便，只需要增加一个表记录。
 
 
【优势】增加删除节点非常方便，为后期升级维护带来很大便利
【劣势】需要增加表或者对某一个表进行操作，还是无法离开数据库，会产生瓶颈

2.负载平衡:
这个首先的考虑是下面的文章给出的方案:
http://blog.csdn.net/hliq5399/article/details/7185246
而squid 做前端反向代理加缓存也是可以考虑的，不过可能有前面的第一种就够了
http://axislover.blog.163.com/blog/static/107765152009113091235777/
其他的方案,像我转载的博客里写的,不一定能实施太多,毕竟成本太重要了,镜像浮云也
http://blog.csdn.net/hliq5399/article/details/7185825
http://blog.csdn.net/hliq5399/article/details/7185810