Redis缓存穿透、缓存雪崩、缓存击穿和缓存预热的详解及其就解决方案
Redis缓存的使用可以极大的提升了应用程序的性能和效率,特别是数据查询方面。但同时,它也带来了一些问题。其中,最要害的问题,就是数据的一致性问题,从严格意义上讲,这个问题无解。如果对数据的一致性要求很高,那么就不能使用缓存。
另外的一些典型问题就是,缓存穿透、缓存雪崩和缓存击穿。目前,业界也都有比较流行的解决方案。本篇文章,并不是要更加完美的解决这三个问题,也不是要颠覆业界流行的解决方案。而是,从实际代码操作,来演示这三个问题现象。之所以要这么做,是因为,仅仅看这些问题的学术解释,脑袋里很难有一个很形象的概念,有了实际的代码演示,可以加深对这些问题的理解和认识。
缓存一般处理流程
前台请求,后台先从缓存中取数据,取到直接返回结果,取不到时从数据库中取,数据库取到更新缓存,并返回结果,数据库也没取到,那直接返回空结果。
缓存穿透
缓存穿透是指用户查询数据,在数据库没有,自然在缓存中也不会有,即是指查询一个数据库一定不存在的数据。这样就导致用户查询的时候,在缓存中找不到,每次都要去数据库再查询一遍,然后返回空。这样请求就绕过缓存直接查数据库,这也是经常提的缓存命中率问题。
而正常的使用缓存流程大致是这样的:数据查询先进行缓存查询,如果key不存在或者key已经过期,再对数据库进行查询,并把查询到的对象,放进缓存。如果数据库查询对象为空,则不放进缓存。
解决的办法就是:如果查询数据库也为空,直接设置一个默认值存放到缓存,这样第二次到缓冲中获取就有值了,而不会继续访问数据库,这种办法最简单粗暴。
[code] public object GetProductListNew() { const int cacheTime = 30; const string cacheKey = "product_list"; var cacheValue = CacheHelper.Get(cacheKey); if (cacheValue != null) return cacheValue; cacheValue = CacheHelper.Get(cacheKey); if (cacheValue != null) { return cacheValue; } else { cacheValue = GetProductListFromDB(); //数据库查询不到,为空。 if (cacheValue == null) { cacheValue = string.Empty; //如果发现为空,设置个默认值,也缓存起来。 } CacheHelper.Add(cacheKey, cacheValue, cacheTime); return cacheValue; } }
把空结果,也给缓存起来,这样下次同样的请求就可以直接返回空了,即可以避免当查询的值为空时引起的缓存穿透。同时也可以单独设置个缓存区域存储空值,对要查询的key进行预先校验,然后再放行给后面的正常缓存处理逻辑。
缓存雪崩
缓存雪崩,是指在某一个时间段,缓存集中过期失效。
由于原有缓存失效(过期),新缓存未到期间。所有请求都去查询数据库,而对数据库CPU和内存造成巨大压力,严重的会造成数据库宕机。从而形成一系列连锁反应,造成整个系统崩溃。
其实集中过期,倒不是非常致命,比较致命的缓存雪崩,是缓存服务器某个节点宕机或断网。因为自然形成的缓存雪崩,一定是在某个时间段集中创建缓存,那么那个时候数据库能顶住压力,这个时候,数据库也是可以顶住压力的。无非就是对数据库产生周期性的压力而已。而缓存服务节点的宕机,对数据库服务器造成的压力是不可预知的,很有可能瞬间就把数据库压垮。
产生雪崩的原因之一,比如在写本文的时候,马上就要到双十二零点,很快就会迎来一波抢购,这波商品时间比较集中的放入了缓存,假设缓存一个小时。那么到了凌晨一点钟的时候,这批商品的缓存就都过期了。而对这批商品的访问查询,都落到了数据库上,对于数据库而言,就会产生周期性的压力波峰。
小编在做电商项目的时候,一般是采取不同分类商品,缓存不同周期。在同一分类中的商品,加上一个随机因子。这样能尽可能分散缓存过期时间,而且,热门类目的商品缓存时间长一些,冷门类目的商品缓存时间短一些,也能节省缓存服务的资源。
解决办法:
1. 碰到这种情况,一般并发量不是特别多的时候,使用最多的解决方案是加锁排队。
[code]public object GetProductListNew() { const int cacheTime = 30; const string cacheKey = "product_list"; const string lockKey = cacheKey; var cacheValue = CacheHelper.Get(cacheKey); if (cacheValue != null) { return cacheValue; } else { lock (lockKey) { cacheValue = CacheHelper.Get(cacheKey); if (cacheValue != null) { return cacheValue; } else { cacheValue = GetProductListFromDB(); //这里一般是 sql查询数据。 CacheHelper.Add(cacheKey, cacheValue, cacheTime); } } return cacheValue; } }
2. 加锁排队只是为了减轻数据库的压力,并没有提高系统吞吐量。假设在高并发下,缓存重建期间key是锁着的,这是过来1000个请求999个都在阻塞的。同样会导致用户等待超时,这是个治标不治本的方法。
还有一个解决办法解决方案是:给每一个缓存数据增加相应的缓存标记,记录缓存的是否失效,如果缓存标记失效,则更新数据缓存。
[code]public object GetProductListNew() { const int cacheTime = 30; const string cacheKey = "product_list"; //缓存标记。 const string cacheSign = cacheKey + "_sign"; var sign = CacheHelper.Get(cacheSign); //获取缓存值 var cacheValue = CacheHelper.Get(cacheKey); if (sign != null) { return cacheValue; //未过期,直接返回。 } else { CacheHelper.Add(cacheSign, "1", cacheTime); ThreadPool.QueueUserWorkItem((arg) => { cacheValue = GetProductListFromDB(); //这里一般是 sql查询数据。 CacheHelper.Add(cacheKey, cacheValue, cacheTime*2); //日期设缓存时间的2倍,用于脏读。 }); return cacheValue; } }
缓存标记:记录缓存数据是否过期,如果过期会触发通知另外的线程在后台去更新实际key的缓存。
缓存数据:它的过期时间比缓存标记的时间延长1倍,例:标记缓存时间30分钟,数据缓存设置为60分钟。 这样,当缓存标记key过期后,实际缓存还能把旧数据返回给调用端,直到另外的线程在后台更新完成后,才会返回新缓存。
这样做后,就可以一定程度上提高系统吞吐量。
缓存击穿
缓存击穿,是指一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间(一般是缓存时间到期),持续的大并发就穿破缓存,直接请求数据库,就像在一个屏障上凿开了一个洞,引起数据库压力瞬间增大,造成过大压力
小编在做电商项目的时候,把这货就成为“爆款”。
其实,大多数情况下这种爆款很难对数据库服务器造成压垮性的压力。达到这个级别的公司没有几家的。所以,务实主义的小编,对主打商品都是早早的做好了准备,让缓存永不过期。即便某些商品自己发酵成了爆款,也是直接设为永不过期就好了。
解决办法:
- 设置热点数据永远不过期。
- 加互斥锁
互斥锁参考代码如下:
说明:
1)缓存中有数据,直接走上述代码13行后就返回结果了
2)缓存中没有数据,第1个进入的线程,获取锁并从数据库去取数据,没释放锁之前,其他并行进入的线程会等待100ms,再重新去缓存取数据。这样就防止都去数据库重复取数据,重复往缓存中更新数据情况出现。
3)当然这是简化处理,理论上如果能根据key值加锁就更好了,就是线程A从数据库取key1的数据并不妨碍线程B取key2的数据,上面代码明显做不到这点。
缓存预热
缓存预热就是系统上线后,将相关的缓存数据直接加载到缓存系统。这样避免,用户请求的时候,再去加载相关的数据。
解决思路:
1,直接写个缓存刷新页面,上线时手工操作下。
2,数据量不大,可以在WEB系统启动的时候加载。
3,定时刷新缓存
参考:
百家号传陆编程实例解读什么是Redis缓存穿透、缓存雪崩和缓存击穿
每天进步一点点yes缓存穿透、缓存击穿、缓存雪崩区别和解决方案
- 一分钟get-----------缓存穿透、缓存击穿、缓存雪崩的详解及解决方案
- redis缓存穿透、缓存雪崩、缓存击穿(热点Key)解决方案
- 缓存穿透,缓存雪崩,缓存击穿的解决方案
- 缓存穿透,缓存击穿,缓存雪崩解决方案分析
- 缓存穿透,缓存击穿,缓存雪崩解决方案分析
- 缓存穿透,缓存击穿,缓存雪崩解决方案分析
- 缓存穿透,缓存击穿,缓存雪崩解决方案分析
- 缓存穿透,缓存击穿,缓存雪崩解决方案分析
- 缓存穿透,缓存击穿,缓存雪崩解决方案分析
- 实例解读什么是Redis缓存穿透、缓存雪崩和缓存击穿
- 缓存穿透,缓存击穿,缓存雪崩解决方案分析
- 实例解读什么是Redis缓存穿透、缓存雪崩和缓存击穿
- 缓存穿透,缓存击穿,缓存雪崩解决方案分析
- 缓存穿透,缓存击穿,缓存雪崩解决方案分析
- Redis缓存雪崩、缓存穿透、热点Key解决方案和分析
- Redis缓存穿透、缓存雪崩和缓存击穿理解
- 缓存穿透,缓存雪崩,缓存击穿解决方案分析
- 缓存穿透、缓存击穿、缓存雪崩解决方案分析
- 关于Redis中缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等概念的入门及简单解决方案
- 缓存穿透,缓存击穿,缓存雪崩解决方案分析