使用Redis模拟简单分布式锁,解决单点故障的问题
2017-01-22 15:12
851 查看
需求描述:
最近做一个项目,项目中有一个功能,每天定时(凌晨1点)从数据库中获取需要爬虫的URL,并发送到对应的队列中,然后客户端监听对应的队列,然后执行任务。如果同时部署多个定时任务节点的话,每个节点都会去查数据库,然后将查到的url发送到队列中,这样的话,客户端就会执行很多重复的任务,如果不同时部署多个节点的话,又存在单点故障的风险。要解决这种类似的问题,可以使用分布式锁来实现,当节点获取到锁的时候就执行任务,没有获取到锁的时候,就不执行任务,这样就解决了多节点同时执行任务的问题,实现分布式锁有多种方法,例如zookeeper,数据库等,今天就用Redis来模拟实现一个简单的分布式锁,来解决这个问题。
一、新建工程
本例是基于前面的
springboot整合H2内存数据库,实现单元测试与数据库无关性
示例的基础上来实现的。
二、工程结构
三、添加配置文件
########################################################
###REDIS (RedisProperties) redis基本配置;
########################################################
# database name
spring.redis.database=0
# server host1 单机使用,对应服务器ip
#spring.redis.host=127.0.0.1
# server password 密码,如果没有设置可不配
#spring.redis.password=
#connection port 单机使用,对应端口号
#spring.redis.port=6379
# pool settings ...池配置
spring.redis.pool.max-idle=8
spring.redis.pool.min-idle=0
spring.redis.pool.max-active=8
spring.redis.pool.max-wait=-1
# name of Redis server 哨兵监听的Redis server的名称
spring.redis.sentinel.master=mymaster
# comma-separated list of host:port pairs 哨兵的配置列表
spring.redis.sentinel.nodes=127.0.0.1:26379,127.0.0.1:26479,127.0.0.1:26579
##########################################################
############jpa配置########################################
#########################################################
# 服务器端口号
server.port=7902
# 是否生成ddl语句
spring.jpa.generate-ddl=false
# 是否打印sql语句
spring.jpa.show-sql=true
# 自动生成ddl,由于指定了具体的ddl,此处设置为none
spring.jpa.hibernate.ddl-auto=none
# 使用H2数据库
spring.datasource.platform=h2
# 指定生成数据库的schema文件位置
spring.datasource.schema=classpath:schema.sql
# 指定插入数据库语句的脚本位置
spring.datasource.data=classpath:data.sql
# 配置日志打印信息
logging.level.root=INFO
logging.level.org.hibernate=INFO
logging.level.org.hibernate.type.descriptor.sql.BasicBinder=TRACE
logging.level.org.hibernate.type.descriptor.sql.BasicExtractor=TRACE
logging.level.com.itmuch=DEBUG 四、定时任务实现
package com.chhliu.springboot.singlenode.solve.task;
import java.util.List;
import java.util.concurrent.TimeUnit;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Service;
import com.chhliu.springboot.singlenode.solve.entity.User;
import com.chhliu.springboot.singlenode.solve.repository.UserRepository;
@Service
public class ScheduledTasks {
@Autowired
private UserRepository repository;
@Autowired
private StringRedisTemplate stringRedisTemplate;
private static final String LOCK = "task-job-lock";
private static final String KEY = "tasklock";
//每1分钟执行一次
@Scheduled(cron = "0 0/1 * * * ?")
public void reportCurrentByCron() throws InterruptedException{
boolean lock = false;
try{
// 获取锁
lock = stringRedisTemplate.opsForValue().setIfAbsent(KEY, LOCK);
System.out.println("是否获取到锁:"+lock);
if(lock){
// 如果在执行任务的过程中,程序突然挂了,为了避免程序因为中断而造成一直加锁的情况产生,20分钟后,key值失效,自动释放锁,
stringRedisTemplate.expire(KEY, 20, TimeUnit.MINUTES);
List<User> users = repository.findAll();
if(null != users && !users.isEmpty()){
for(User u:users){
System.out.println("name:"+u.getName());
}
}
// 模拟长时间任务
TimeUnit.MINUTES.sleep(3);
}else{
System.out.println("没有获取到锁,不执行任务!");
return;
}
}finally{// 无论如何,最终都要释放锁
if(lock){// 如果获取了锁,则释放锁
stringRedisTemplate.delete(KEY);
System.out.println("任务结束,释放锁!");
}else{
System.out.println("没有获取到锁,无需释放锁!");
}
}
}
}
五、测试
package com.chhliu.springboot.singlenode.solve;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.scheduling.annotation.EnableScheduling;
@SpringBootApplication
@EnableScheduling
public class SinglenodeSolveApplication {
public static void main(String[] args) {
SpringApplication.run(SinglenodeSolveApplication.class, args);
}
}
同时启动3个定时任务,模拟多个节点的情况,注意,每次启动的时候,需要修改配置文件中的对应的
测试结果如下:
节点1:
是否获取到锁:true
2017-01-22 14:37:00.099 INFO 1932 --- [pool-2-thread-1] o.h.h.i.QueryTranslatorFactoryInitiator : HHH000397: Using ASTQueryTranslatorFactory
Hibernate: select user0_.id as id1_0_, user0_.age as age2_0_, user0_.balance as balance3_0_, user0_.name as name4_0_, user0_.username as username5_0_ from user user0_
name:张三
name:李四
name:王五
name:马六
任务结束,释放锁!
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
上面的结果是节点1的执行结果。
节点2:
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
节点3:
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
是否获取到锁:true // 此时节点1已经释放了锁,节点3获取到了锁
2017-01-22 14:41:00.072 INFO 5332 --- [pool-2-thread-1] o.h.h.i.QueryTranslatorFactoryInitiator : HHH000397: Using ASTQueryTranslatorFactory
Hibernate: select user0_.id as id1_0_, user0_.age as age2_0_, user0_.balance as balance3_0_, user0_.name as name4_0_, user0_.username as username5_0_ from user user0_
name:张三
name:李四
name:王五
name:马六以上测试结果是5分钟内的情况。
通过上面的测试,就基本上实现了利用模拟Redis的分布式锁来实现多节点中,同时只有一个节点在运行的目的。
六、原理分析
为什么,我们可以用Redis来实现简单的分布式锁的模拟了,这和Redis的一个命令相关,该命令是setnx key value
该命令的作用是,当往Redis中存入一个值时,会先判断该值对应的key是否存在,如果存在则返回0,如果不存在,则将该值存入Redis并返回1,根据这个特性,我们在程序中,每次都调用setIfAbsent(该方法是setnx命令的实现)方法,来模拟是否获取到锁,如果返回true,则说明该key值不存在,表示获取到锁,如果返回false,则说明该key值存在,已经有程序在使用这个key值了,从而实现了类似加锁的功能。
最近做一个项目,项目中有一个功能,每天定时(凌晨1点)从数据库中获取需要爬虫的URL,并发送到对应的队列中,然后客户端监听对应的队列,然后执行任务。如果同时部署多个定时任务节点的话,每个节点都会去查数据库,然后将查到的url发送到队列中,这样的话,客户端就会执行很多重复的任务,如果不同时部署多个节点的话,又存在单点故障的风险。要解决这种类似的问题,可以使用分布式锁来实现,当节点获取到锁的时候就执行任务,没有获取到锁的时候,就不执行任务,这样就解决了多节点同时执行任务的问题,实现分布式锁有多种方法,例如zookeeper,数据库等,今天就用Redis来模拟实现一个简单的分布式锁,来解决这个问题。
一、新建工程
本例是基于前面的
springboot整合H2内存数据库,实现单元测试与数据库无关性
示例的基础上来实现的。二、工程结构
三、添加配置文件
########################################################
###REDIS (RedisProperties) redis基本配置;
########################################################
# database name
spring.redis.database=0
# server host1 单机使用,对应服务器ip
#spring.redis.host=127.0.0.1
# server password 密码,如果没有设置可不配
#spring.redis.password=
#connection port 单机使用,对应端口号
#spring.redis.port=6379
# pool settings ...池配置
spring.redis.pool.max-idle=8
spring.redis.pool.min-idle=0
spring.redis.pool.max-active=8
spring.redis.pool.max-wait=-1
# name of Redis server 哨兵监听的Redis server的名称
spring.redis.sentinel.master=mymaster
# comma-separated list of host:port pairs 哨兵的配置列表
spring.redis.sentinel.nodes=127.0.0.1:26379,127.0.0.1:26479,127.0.0.1:26579
##########################################################
############jpa配置########################################
#########################################################
# 服务器端口号
server.port=7902
# 是否生成ddl语句
spring.jpa.generate-ddl=false
# 是否打印sql语句
spring.jpa.show-sql=true
# 自动生成ddl,由于指定了具体的ddl,此处设置为none
spring.jpa.hibernate.ddl-auto=none
# 使用H2数据库
spring.datasource.platform=h2
# 指定生成数据库的schema文件位置
spring.datasource.schema=classpath:schema.sql
# 指定插入数据库语句的脚本位置
spring.datasource.data=classpath:data.sql
# 配置日志打印信息
logging.level.root=INFO
logging.level.org.hibernate=INFO
logging.level.org.hibernate.type.descriptor.sql.BasicBinder=TRACE
logging.level.org.hibernate.type.descriptor.sql.BasicExtractor=TRACE
logging.level.com.itmuch=DEBUG 四、定时任务实现
package com.chhliu.springboot.singlenode.solve.task;
import java.util.List;
import java.util.concurrent.TimeUnit;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Service;
import com.chhliu.springboot.singlenode.solve.entity.User;
import com.chhliu.springboot.singlenode.solve.repository.UserRepository;
@Service
public class ScheduledTasks {
@Autowired
private UserRepository repository;
@Autowired
private StringRedisTemplate stringRedisTemplate;
private static final String LOCK = "task-job-lock";
private static final String KEY = "tasklock";
//每1分钟执行一次
@Scheduled(cron = "0 0/1 * * * ?")
public void reportCurrentByCron() throws InterruptedException{
boolean lock = false;
try{
// 获取锁
lock = stringRedisTemplate.opsForValue().setIfAbsent(KEY, LOCK);
System.out.println("是否获取到锁:"+lock);
if(lock){
// 如果在执行任务的过程中,程序突然挂了,为了避免程序因为中断而造成一直加锁的情况产生,20分钟后,key值失效,自动释放锁,
stringRedisTemplate.expire(KEY, 20, TimeUnit.MINUTES);
List<User> users = repository.findAll();
if(null != users && !users.isEmpty()){
for(User u:users){
System.out.println("name:"+u.getName());
}
}
// 模拟长时间任务
TimeUnit.MINUTES.sleep(3);
}else{
System.out.println("没有获取到锁,不执行任务!");
return;
}
}finally{// 无论如何,最终都要释放锁
if(lock){// 如果获取了锁,则释放锁
stringRedisTemplate.delete(KEY);
System.out.println("任务结束,释放锁!");
}else{
System.out.println("没有获取到锁,无需释放锁!");
}
}
}
}
五、测试
package com.chhliu.springboot.singlenode.solve;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.scheduling.annotation.EnableScheduling;
@SpringBootApplication
@EnableScheduling
public class SinglenodeSolveApplication {
public static void main(String[] args) {
SpringApplication.run(SinglenodeSolveApplication.class, args);
}
}
同时启动3个定时任务,模拟多个节点的情况,注意,每次启动的时候,需要修改配置文件中的对应的
server.port=7902将端口号改成不同。
测试结果如下:
节点1:
是否获取到锁:true
2017-01-22 14:37:00.099 INFO 1932 --- [pool-2-thread-1] o.h.h.i.QueryTranslatorFactoryInitiator : HHH000397: Using ASTQueryTranslatorFactory
Hibernate: select user0_.id as id1_0_, user0_.age as age2_0_, user0_.balance as balance3_0_, user0_.name as name4_0_, user0_.username as username5_0_ from user user0_
name:张三
name:李四
name:王五
name:马六
任务结束,释放锁!
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
上面的结果是节点1的执行结果。
节点2:
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
节点3:
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
是否获取到锁:false
没有获取到锁,不执行任务!
没有获取到锁,无需释放锁!
是否获取到锁:true // 此时节点1已经释放了锁,节点3获取到了锁
2017-01-22 14:41:00.072 INFO 5332 --- [pool-2-thread-1] o.h.h.i.QueryTranslatorFactoryInitiator : HHH000397: Using ASTQueryTranslatorFactory
Hibernate: select user0_.id as id1_0_, user0_.age as age2_0_, user0_.balance as balance3_0_, user0_.name as name4_0_, user0_.username as username5_0_ from user user0_
name:张三
name:李四
name:王五
name:马六以上测试结果是5分钟内的情况。
通过上面的测试,就基本上实现了利用模拟Redis的分布式锁来实现多节点中,同时只有一个节点在运行的目的。
六、原理分析
为什么,我们可以用Redis来实现简单的分布式锁的模拟了,这和Redis的一个命令相关,该命令是setnx key value
该命令的作用是,当往Redis中存入一个值时,会先判断该值对应的key是否存在,如果存在则返回0,如果不存在,则将该值存入Redis并返回1,根据这个特性,我们在程序中,每次都调用setIfAbsent(该方法是setnx命令的实现)方法,来模拟是否获取到锁,如果返回true,则说明该key值不存在,表示获取到锁,如果返回false,则说明该key值存在,已经有程序在使用这个key值了,从而实现了类似加锁的功能。
相关文章推荐
- 使用Redis模拟简单分布式锁,解决单点故障的问题
- API接口非幂等性问题及使用redis实现简单的分布式锁
- redis简单使用及用JSON字符串的方式解决对象存储问题
- 一步一步SharePoint 2007之十八:解决允许使用简单密码注册用户的问题
- 使用 StateServer 保存 Session 解决 Session过期,登陆过期问题,最简单的方法。
- 使用cygwin在windows上模拟unix环境,解决不能显示中文的问题
- redhat下使用mysql,python,redis,httpsqs,shell脚本开机自启动的一些问题与解决
- 使用C++TR1实现物流配送问题的简单模拟
- 使用C++TR1实现物流配送问题的简单模拟
- 使用一个简单的webframe来解决EAI和分工合作问题
- 简单的说一下MYSQL的AA复制和使用MMM解决MYSQL数据复制的问题
- 分布式环境下基于redis解决在线客服坐席动态分配的问题
- 大雾课论文《浅谈简单使用计算机与算法快速解决物理问题》
- 使用简单标签解决防盗链问题
- 操作系统启动不了和网络连接无法使用的故障问题解决办法
- 故障解决:VS2005的水晶报表在WEB应用程序中多次使用后,就会出现加载报表失败.重启WEB服务器又正常了.过一段时间又出同样问题
- 可靠简单的 解决Microsoft.Jet.OLEDB.4.0 不能在64位系统下使用的问题
- 解决IE使用css表达式模拟fixed效果时抖动问题
- 使用redis实现分布式锁,可以解决集群中需要单例的情况
- 一步一步SharePoint 2007之十八:解决允许使用简单密码注册用户的问题