【高并发简单解决方案】redis缓存队列+mysql 批量入库+php离线整合
2016-04-12 20:19
661 查看
【高并发简单解决方案】redis缓存队列+mysql 批量入库+php离线整合
需求背景:有个调用统计日志存储和统计需求,要求存储到mysql中;存储数据高峰能达到日均千万,瓶颈在于直接入库并发太高,可能会把mysql干垮。问题分析
思考:应用网站架构的衍化过程中,应用最新的框架和工具技术固然是最优选择;但是,如果能在现有的框架的基础上提出简单可依赖的解决方案,未尝不是一种提升自我的尝试。解决:
问题一:要求日志最好入库;但是,直接入库mysql确实扛不住,批量入库没有问题,done。【批量入库和直接入库性能差异参考文章】
问题二:批量入库就需要有高并发的消息队列,决定采用redis list 仿真实现,而且方便回滚。
问题三:日志量毕竟大,保存最近30条足矣,决定用php写个离线统计和清理脚本。
done,下面是小拽的简单实现过程
一:设计数据库表和存储
考虑到log系统对数据库的性能更多一些,稳定性和安全性没有那么高,存储引擎自然是只支持select insert 没有索引的archive。如果确实有update需求,也可以采用myISAM。
考虑到log是实时记录的所有数据,数量可能巨大,
主键采用bigint,自增即可。
考虑到log系统
以写为主,统计采用离线计算,字段均不要出现索引,因为一方面可能会影响插入数据效率,另外读时候会造成死锁,影响写数据。
二:redis存储数据形成消息队列
由于高并发,尽可能简单,直接,上代码。三:数据定时批量入库。
定时读取redis消息队列里面的数据,批量入库。四:离线天级统计和清理数据脚本
五:代码部署
主要是部署,批量入库脚本的调用和天级统计脚本,crontab例行运行。相关文章推荐
- linux下边搭建redis
- 我的第一篇CSDN博客——Redis集群安装与配置1
- redis中数据持久化(四)
- redis-server python
- java批量删除redis中以某字符串前缀的key
- 复习redis (一)
- redis.conf配置解析
- es,redis,nginx启动
- Redis运行多个实例以充分发挥多核处理器的能力
- redis状态与性能监控
- redis 主从复制,读写分离
- Redis-3.0.7_初步解析redis-cli
- centos6.5安装配置redis
- [REDIS]: Codis作者黄东旭细说分布式Redis架构设计和踩过的那些坑
- Linux安装php的Redis扩展
- Redis中的跳跃表
- java连接vm中redis报错 Connection refused: connect
- Redis内存使用优化与存储
- Redis内存使用优化与存储
- Redis学习手册(Sorted-Sets数据类型)