使用Mysql搭建简单的可持续的Cache系统
2008-11-16 14:27
881 查看
过段时间旺旺要搞运营活动了,这两天在设计系统的时候有个需求,需要实现半小时内的数据更新500万次左右,数据量不大,最多一千万; 使用数据库肯定是实现不了,需要使用Cache系统来延迟导入到DB中。但普通的memcache由于数据是存在于内存中,那么当程序crash或则机器down的时候,数据将丢失,可靠性不能满足。 自己开发一套pesistented memcache,但需要时间开发,进度不允许,因此想到了mysql 的memory DB机制。Mysql 采用插件机制,支持memory db方式。 通过复制技术,实现数据的双机备份。 再对mysql 的memory db进行性能测试,测试结果表明,使用普通的服务器(2cpu),可以实现15000~25000/s 的数据插入/更新操作,能够 满足15000/s数据读操作。 从测试结果看,性能上可以满足500万 半小时的要求,另外由于使用复制技术,也满足了数据的可靠性要求。毕竟2台机器同时down的概率我们可以忽略不计。
配置复制的时候,把sync_binlog=0. 提高更新操作.
使用mysqlbinlog来恢复数据. 当mysql的机器down或则mysqld服务器程序down的时候,可以使用mysqlbinlog来恢复数据. 如
mysqlbinlog --disable-log-bin -l /tmp/ --force-read --set-charset=gbk --start-position=981 mysql-bin.000003 |mysql
经过测试,对1000万条记录更新操作的日志,进行恢复,大概需要花20分钟
配置复制的时候,把sync_binlog=0. 提高更新操作.
使用mysqlbinlog来恢复数据. 当mysql的机器down或则mysqld服务器程序down的时候,可以使用mysqlbinlog来恢复数据. 如
mysqlbinlog --disable-log-bin -l /tmp/ --force-read --set-charset=gbk --start-position=981 mysql-bin.000003 |mysql
经过测试,对1000万条记录更新操作的日志,进行恢复,大概需要花20分钟
相关文章推荐
- MySQL简单Replication集群系统搭建
- ubuntu下使用nginx、mysql、python搭建一个简单的webserver
- Windows下Memcache环境的搭建及简单使用(包含 APACHE+PHP+MYSQL 环境配置 )
- maven+springmvc+spring+ibatis+velocity+mysql搭建简单登陆系统
- ELK (ElasticSearch + Logstash + Kibaba + Marvel)系统的搭建学习与简单使用
- 使用Mahout搭建推荐系统之入门篇1-搭建REST风格简单推荐系统
- 使用Struts2和jQuery EasyUI实现简单CRUD系统(四)——基础环境搭建
- 使用Mahout搭建推荐系统之入门篇1-搭建REST风格简单推荐系统
- Android系统上使用ANMPP搭建Nginx+PHP+MySQL+FTP服务(以天猫魔盒TMB100A为例)搭建网站
- linux系统环境下--学会使用简单的MySQL操作
- 使用OpenDIR搭建简单的图像检索系统
- 使用 Dubbo 搭建一个简单的分布式系统-chat
- Linux系统下Mysql使用简单教程(一)
- Android使用jsp+sevlet+mysql实现简单的前后台登录系统
- linux系统上搭建FTP服务,使用MYSQL验证用户
- 使用Mahout搭建推荐系统之入门篇1-搭建REST风格简单推荐系统
- ELK (ElasticSearch + Logstash + Kibaba + Marvel)系统的搭建学习与简单使用
- (转载)使用OpenDIR搭建简单的图像检索系统
- 使用 Dubbo 搭建一个简单的分布式系统
- 使用Mahout搭建推荐系统之入门篇1-搭建REST风格简单推荐系统