架构系列---分布式缓存重建并发冲突问题以及zookeeper分布式锁解决方案
本篇讲解分布式缓存重建冲突原因及利用zookeeper分布式锁解决缓存重建冲突问题。
- 缓存重建什么意思呢?
比如应用跑了一段时间,缓存(redis cluster)实例中的部分数据由于被LRU等算法或者其他手段清理了,这时候就需要重新到数据源中拉取数据,然后重新设置到缓存中。 - 分布式缓存重建又是什么意思呢?
比如在多个node节点上部署了相同的服务实例,对外提供服务,就会出现多个node分布式的去读取相同的数据,然后写入缓存(redis cluster)中
从缓存重建或分布式缓存重建从而会发现一个新的问题又来了,那就是 —— 分布式 重建缓存的并发冲突问题
分布式 重建缓存的并发冲突问题分析
- 请求流量均匀分布(负载均衡)到所有的缓存服务实例中(前提是缓存服务部署到多个node 上),就会导致相同的商品id会打到不同的缓存服务实例,这样就导致了分布式缓存重建问题发生。(前面 28、27 章节讲解了使用nginx 分发层和应用层对外提供服务,根据 商品id 转发到应用层,应用层获取缓存服务实例数据,更新本地缓存并渲染),如下图所示:
通过lua 脚本将商品 id 相同的请求分发到固定的cache service 上
解决思路:部署多个cache service 实例,定义缓存实例请求地址列表,在nginx 应用层 计算 hash( 商品id ),然后对缓存实例地址列表数量取模,取出相应的缓存实例地址,请求到指定的 缓存实例node
- mysql 源数据变更时,向缓存服务实例发送变更消息时,由于缓存服务是监听kafka topic的,所有一个kafka consumer 就会消费topic 中一个partition,那么多个缓存服务就会消费多个kafka partition,这样说来就会发送缓存重建问题了,如下图所示:
多实例kafka 消费问题
解决思路:在源数据服务的 kafka producer 中 ,发送message 加上 商品id即可,kafka 就会按照商品id 的方式进行分区
- 上面讲源数据服务变更引入分区,只能解决单向缓存服务消费(不包含其他请求也请求到缓存服务情况),如果源数据服务变更打到cache service node 1 ,其他请求(nginx等等)请求打到cache service node2 ,那么问题就来了,因为nginx 分发层或者应用层的分发hash 分发策略是自己定义的,安装crc32 取hash 后取模的,你无法确定kafka 的分区策略,这里就无法统一了,这时候在高并发或者一些不确定因素的情况下就会出现两边都更新缓存了,就会出现冲突了。如下图所示:
数据冲突分析
上图有两条更新线:
a: nginx > cache service node1 > 源数据服务 > redis cluster
b: 源数据服务 > kafka > cache service node3 > 源数据服务 > redis cluster
很明显就可以发现问题了,最终redis cluster 中的最新数据并不是最新的。
基于以上分析,该怎么解决呢,前面两个点按照解决思路做好后,我们就可以单独解决第三点问题,这里可以使用分布式的共享锁,将不同node 实例的访问共享资源串行起来,分布式锁有很多,比如redis 分布式锁、zookeeper 分布式锁,笔者以zokeeper 分布式锁为例
基于zookeeper分布式锁的解决方案
zookeeper 分布式锁解决方案
基于问题三中分析图中加入zookeeper,谁先得到zookeeper 锁,谁先更新redis cluster ,同时缓存数据加入当时的时间(版本控制、比较),没有得到锁的等待。
zookeeper分布式锁的解决逻辑思路
- 变更缓存重建或者空缓存请求重建,更新redis之前,先获取对应商品id的分布式锁
- 拿到分布式锁后,做时间版本比较,如果自己的版本新于redis中的版本,那么就更新,否则就不更新
- 如果拿不到分布式锁,那么就等待,不断轮询等待,直到自己获取到分布式的锁
以上就是本章内容,如有不对的地方,请多多指教,谢谢!
为了方便有需要的人,本系列全部软件都在 https://pan.baidu.com/s/1qYsJZfY
作者:逐暗者
链接:https://www.jianshu.com/p/7de21a7dc352
- 分布式重建缓存的并发冲突问题
- 想精通分布式以及高并发架构?那你得先搞定ZooKeeper架构原理!
- 高并发架构系列:详解Redis的存储类型、集群架构、以及应用场景
- 大型网站架构系列之四,多对多关系的以及并发缓存的设计
- 缓存穿透、缓存并发、缓存失效问题以及解决方案
- 【转】疯狂代码,大型网站架构系列之四,多对多关系的以及并发缓存的设计 - 与三雷同...
- 高并发架构系列:Redis并发竞争key的解决方案详解
- 并发内存分配问题以及TBB的解决方案
- 分布式架构中一致性解决方案——Zookeeper集群搭建
- 分布式缓存技术redis学习系列(一)——redis简介以及linux上的安装以及操作redis问题整理
- Zookeeper系列二:分布式架构详解、分布式技术详解、分布式事务
- 数据库并发操作带来的问题以及解决方案
- 发锁事务重试机制(JPA高并发下的乐观锁异常)总结,以及中间遇到各种问题和解决方案
- JAVA架构师课程(大数据,分布式事物解决方案,大型互联网项目,大型金融项目,高并发集群解决方案)实战开发[技术 activeMQ,zookeeper,http,支付,团购,dubbox,stom]
- java基础解析系列(五)---HashMap并发下的问题以及HashTable和CurrentHashMap的区别
- 【JavaSE系列-入门篇5】——常见问题以及解决方案
- ScrollView中嵌套的viewPager,viepager高度设置为wrap_content时内容不显示问题以及与scrollview冲突的解决方案
- shareSDK的初步使用(shareSDK中微信、qq等兼容问题,以及cocoapods支持架构冲突问题的解决)
- 架构演变之海量数据及高并发问题的解决方案笔记
- 分布式缓存技术redis学习系列(一)——redis简介以及linux上的安装以及操作redis问题整理