Redis Pipeline管道使用

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

1.Redis单条命令使用场景

Redis客户端连接到Redis服务端执行一条命令需要经历的步骤如下：

以上过程称为Round Trip Time（RTT，往返时间），mget和mset命令节约了RTT，但是大部分指令不支持批量操作。

Redis通过TCP来对外提供服务，Client通过Socket连接发起请求，每个请求在命令发出后会阻塞等待Redis服务器进行处理，处理完毕后将结果返回给client。

Redis的Client和Server是采用一问一答的形式进行通信，请求一次给一次响应。而这个过程在排除掉Redis服务本身做复杂操作时的耗时的话，可以看到最耗时的就是这个网络传输过程。每一个命令都对应了发送、接收两个网络传输，假如一个流程需要0.1秒，那么1秒最多只能处理10个请求，将严重制约Redis的性能。

在很多场景下，我们要完成一个业务，可能会对redis做连续的多个操作，譬如库存减一、订单加一、余额扣减等等，这有很多个步骤是需要依次连续执行的。

2.Redis单条命令执行耗时

正常情况下，Redis单条命令的执行时间是毫秒级别的。大部分的Redis命令可以在2ms内返回。因此Redis的执行时非常快的。但是在高并发场景下，同时操作大量的Redis KEY可能并不能满足高性能的要求。

假设有一个请求，需要批量校验某个用户能否参与现有的10000个返利活动，用户能否参与返利活动使用Redis KEY记录和存储的。正常情况下，需要使用for循环遍历每个活动，校验用户能否参加每一个活动。

假设每个Redis命令执行时间为1ms，校验10000个活动需要的时间=10000 * 1ms = 10s，即一个接口需要10s才能响应结果，这显然不能满足现实的需求。

3.Redis连接池

除了第2点中描述的接口响应时间较慢的问题外，还有一个问题：一个接口中进行多次Redis KEY的操作，造成Redis连接池的连接长时间得不到释放，因此可能会造成连接池中的连接很快就被前几个线程所占有，迟迟得不到释放，并发量较高时，大量线程得不到连接池中的连接而造成大量线程等待超时。

4.Redis Pipeline管道命令的使用

Pipeline命令原理如下图所示。

Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。这意味着通常情况下一个请求会遵循以下步骤：

1.客户端向服务端发送一个查询请求，并监听Socket返回，通常是以阻塞模式，等待服务端响应。 2.服务端处理命令，并将结果返回给客户端。

Redis管道技术可以在服务端未响应时，客户端可以继续向服务端发送请求，并最终一次性读取所有服务端的响应。这样可以最大限度的利用Redis的高性能并节省不必要的网络IO开销。

不使用Pipeline命令执行单条set命令100000次

/**
* 不使用Pipeline命令
* @param count 操作的命令个数
* @return 执行时间
*/
@GetMapping("redis/no/pipeline/{count}")
public String testWithNoPipeline(@PathVariable("count") String count) {
// 开始时间
long start = System.currentTimeMillis();
// 参数校验
if (StringUtils.isEmpty(count)) {
throw new IllegalArgumentException("参数异常");
}
// for循环执行N次Redis操作
for (int i = 0 ; i < Integer.parseInt(count); i++) {
// 设置K-V
stringRedisTemplate.opsForValue().set(String.valueOf(i),
String.valueOf(i), 1, TimeUnit.HOURS);
}
// 结束时间
long end = System.currentTimeMillis();
// 返回总执行时间
return "执行时间等于=" + (end - start) + "毫秒";
}

浏览器输入以下URL：

http://localhost:8080/redis/no/pipeline/10000

验证Redis执行结果如下。

执行结果为2191毫秒。

执行以下命令清空刚刚执行的代码向Redis保存的结果。

flushall

通过Pipeline命令保存10000条数据

/**
* 使用Pipeline命令
* @param count 操作的命令个数
* @return 执行时间
*/
@GetMapping("redis/pipeline/{count}")
public String testWithPipeline(@PathVariable("count") String count) {
// 开始时间
long start = System.currentTimeMillis();
// 参数校验
if (StringUtils.isEmpty(count)) {
throw new IllegalArgumentException("参数异常");
}
/* 插入多条数据 */
stringRedisTemplate.executePipelined(new SessionCallback<Object>() {
@Override
public <K, V> Object execute(RedisOperations<K, V> redisOperations) throws DataAccessException {
for (int i = 0 ; i < Integer.parseInt(count); i++) {
stringRedisTemplate.opsForValue().set(String.valueOf(i), String.valueOf(i), 1, TimeUnit.HOURS);
}
return null;
}
});
// 结束时间
long end = System.currentTimeMillis();
// 返回总执行时间
return "执行时间等于=" + (end - start) + "毫秒";
}

浏览器输入以下URL：

http://localhost:8080/redis/no/pipeline/10000

执行以上代码，执行结果为161毫秒。

由以上测试结果可知，Redis Pipeline可以大幅提升多个key交互时的性能。

以上是单条set命令和Pipeline执行set命令执行对比，下面执行单条get命令和Pipeline执行get命令。

测试单条get命令，for循环10000次

/**
* 不使用Pipeline命令单条执行get命令
*
* @param count 操作的命令个数
* @return 执行时间
*/
@GetMapping("redis/no/pipeline/get/{count}")
public Map<String, Object> testGetWithNoPipeline(@PathVariable("count") String count) {
// 开始时间
long start = System.currentTimeMillis();
// 参数校验
if (StringUtils.isEmpty(count)) {
throw new IllegalArgumentException("参数异常");
}
List<String> resultList = new ArrayList<>();
// for循环执行N次Redis操作
for (int i = 0; i < Integer.parseInt(count); i++) {
// 获取K-V
resultList.add(stringRedisTemplate.opsForValue().get(String.valueOf(i)));
}
// 结束时间
long end = System.currentTimeMillis();
Map<String, Object> resultMap = new HashMap<>(4);
resultMap.put("执行时间", (end - start) + "毫秒");
resultMap.put("执行结果", resultList);
// 返回resultMap
return resultMap;
}

执行以下URL：

http://localhost:8080/redis/no/pipeline/get/10000

执行结果如下。

测试Pipeline 执行get命令，获取10000条数据

/**
* 使用Pipeline命令
*
* @param count 操作的命令个数
* @return 执行时间
*/
@GetMapping("redis/pipeline/get/{count}")
public Map<String, Object> testGetWithPipeline(@PathVariable("count") String count) {
// 开始时间
long start = System.currentTimeMillis();
// 参数校验
if (StringUtils.isEmpty(count)) {
throw new IllegalArgumentException("参数异常");
}
// for循环执行N次Redis操作
/* 批量获取多条数据 */
List<Object> resultList = stringRedisTemplate.executePipelined(new RedisCallback<String>() {
@Override
public String doInRedis(RedisConnection redisConnection) throws DataAccessException {
StringRedisConnection stringRedisConnection = (StringRedisConnection) redisConnection;
for (int i = 0; i < Integer.parseInt(count); i++) {
stringRedisConnection.get(String.valueOf(i));
}
return null;
}
});
// 结束时间
long end = System.currentTimeMillis();
Map<String, Object> resultMap = new HashMap<>(4);
resultMap.put("执行时间", (end - start) + "毫秒");
resultMap.put("执行结果", resultList);
// 返回resultMap
return resultMap;
}

执行以下URL：

http://localhost:8080/redis/pipeline/get/10000

执行结果如下。

执行总耗时为18毫秒。

5.总结

使用管道不仅仅是为了降低RTT以减少延迟成本, 实际上使用管道也能大大提高Redis服务器中每秒可执行的总操作量. 这是因为, 在不使用管道的情况下, 尽管操作单个命令开起来十分简单, 但实际上这种频繁的I/O操作造成的消耗是巨大的, 这涉及到系统读写的调用, 这意味着从用户域到内核域.上下文切换会对速度产生极大的损耗.

使用管道操作时, 通常使用单个read() 系统调用读取许多命令，并通过单个write()系统调用传递多个回复. 因此, 每秒执行的总查询数最初会随着较长的管道线性增加, 并最终达到不使用管道技术获的10倍, 如下图所示:

本文源码地址

https://github.com/online-demo/redis-pipeline.git