redis 入门概念

目录：

1.Redis 简介

2.数据类型

3.持久化

4.虚拟内存

5.主从同步

1.Redis 简介

Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于 内存 亦可持久化的日志 型、Key-Value 数据库。

2.数据类型

2.1. Redis 的 Key

Redis 的 key 是字符串类型,但是 key 中不能包括边界字符,由于 key 不是 binary safe 的字符串,所以像”my key”和”mykey\n”这样包含空格和换行的 key 是不允许的。

2.2. Redis 的 vaule

redis 提供五种数据类型:string,hash,list,set 及 sorted set。

2.2.1. string 类型

string 是最基本的类型,而且 string 类型是二进制安全的。意思是 redis 的 string 可以 包含任何数据。比如 jpg 图片或者序列化的对象。从内部实现来看其实 string 可以看作 byte数组,最大上限是 1G 字节。

2.2.2. hash 类型

hash 是一个 string 类型的 field 和 value 的映射表。添加,删除操作都是 O(1)(平均)。

hash 特别适合用于存储对象。相对于将对象的每个字段存成单个 string 类型。将一个对象 存储在 hash 类型中会占用更少的内存,并且可以更方便的存取整个对象。

省内存的原因是 新建一个 hash 对象时开始是用 zipmap(又称为 small hash)来存储的。这个 zipmap 其实并 不是 hash table,但是 zipmap 相比正常的 hash 实现可以节省不少 hash 本身需要的一些元 数据存储开销。尽管 zipmap 的添加,删除,查找都是 O(n),但是由于一般对象的 field 数量都不太多。所以使用 zipmap 也是很快的,也就是说添加删除平均还是 O(1)。如果 field 或者 value的大小超出一定限制后,redis会在内部自动将zipmap替换成正常的hash实现. 这个限制可以在配置文件中指定。

hash-max-zipmap-entries 64 #配置字段最多 64 个
hash-max-zipmap-value 512 #配置 value 最大为 512 字节

2.2.3. list 类型

list 是一个链表结构,可以理解为一个每个子元素都是 string 类型的双向链表。主要功 能是 push、pop、获取一个范围的所有值等。操作中 key 理解为链表的名字。

2.2.4. set 类型

set 是无序集合,最大可以包含(2 的 32 次方-1)个元素。set 的是通过 hash table 实现的, 所以添加,删除,查找的复杂度都是 O(1)。hash table 会随着添加或者删除自动的调整大小。

需要注意的是调整 hash table 大小时候需要同步(获取写锁)会阻塞其他读写操作。可能不 久后就会改用跳表(skip list)来实现。跳表已经在 sorted sets 中使用了。

关于 set 集合类型 除了基本的添加删除操作,其它有用的操作还包含集合的取并集(union),交集(intersection), 差集(difference)。通过这些操作可以很容易的实现 SNS 中的好友推荐和 blog 的 tag 功能。

2.2.5 sorted set 类型

sorted set 是有序集合,它在 set 的基础上增加了一个顺序属性,这一属性在添加修 改元素的时候可以指定,每次指定后,会自动重新按新的值调整顺序。可以理解了有两列的 mysql 表,一列存 value,一列存顺序。操作中 key 理解为 sorted set 的名字。

3. 持久化

通常 Redis 将数据存储在内存中或虚拟内存中,它是通过以下两种方式实现对数据的持 久化。

3.1. 快照方式:(默认持久化方式)

这种方式就是将内存中数据以快照的方式写入到二进制文件中 ,默认的文件名为 dump.rdb。

客户端也可以使用 save 或者 bgsave 命令通知 redis 做一次快照持久化。save 操作是在 主线程中保存快照的,由于 redis 是用一个主线程来处理所有客户端的请求,这种方式会阻 塞所有客户端请求。所以不推荐使用。另一点需要注意的是,每次快照持久化都是将内存数 据完整写入到磁盘一次,并不是增量的只同步增量数据。如果数据量大的话,写操作会比较 多,必然会引起大量的磁盘 IO 操作,可能会严重影响性能。

redis 是单核，，单进程。
注意:由于快照方式是在一定间隔时间做一次的,所以如果 redis 意外当机的话,就会 丢失最后一次快照后的所有数据修改。

3.2. 日志追加方式:

这种方式 redis 会将每一个收到的写命令都通过 write 函数追加到文件中(默认 appendonly.aof)。当 redis 重启时会通过重新执行文件中保存的写命令来在内存中重建整 个数据库的内容。当然由于操作系统会在内核中缓存 write 做的修改,所以可能不是立即写 到磁盘上。这样的持久化还是有可能会丢失部分修改。不过我们可以通过配置文件告 诉 redis 我们想要通过 fsync 函数强制操作系统写入到磁盘的时机。有三种方式如下(默认是: 每秒 fsync 一次)

appendonly yes //启用日志追加持久化方式

#appendfsync always //每次收到写命令就立即强制写入磁盘,最慢的,但是保证完全的持久化,不推荐使用

appendfsync everysec //每秒钟强制写入磁盘一次,在性能和持久化方面做了很好的折中,推荐

appendfsync no //完全依赖操作系统,性能最好,持久化没保证

日志追加方式同时带来了另一个问题。持久化文件会变的越来越大。例如我们调用 incr test 命令 100 次,文件中必须保存全部 100 条命令,其实有 99 条都是多余的。因为要恢复 数据库状态其实文件中保存一条 set test 100 就够了。

为了压缩这种持久化方式的日志文件。 redis 提供了 bgrewriteaof 命令。收到此命令 redis 将使用与快照类似的方式将内存中的数据 以命令的方式保存到临时文件中,最后替换原来的持久化日志文件。

4. 虚拟内存(适用于 value 比 key 大的情况)

4.1. Redis 虚拟内存简介

（就是暂时把不经常访问的数据从内存交换到磁盘中 ）

首先说明下 redis 的虚拟内存与操作系统虚拟内存不是一码事,但是思路和目的都是相 同的。就是暂时把不经常访问的数据从内存交换到磁盘中,从而腾出宝贵的内存空间。对于 redis这样的内存数据库,内存总是不够用的。除了可以将数据分割到多个redis 服务器以 外。另外的能够提高数据库容量的办法就是使用虚拟内存技术把那些不经常访问的数据交换 到磁盘上。如果我们存储的数据总是有少部分数据被经常访问,大部分数据很少被访问,对 于网站来说确实总是只有少量用户经常活跃。当少量数据被经常访问时,使用虚拟内存不但 能提高单台 redis 数据库服务器的容量,而且也不会对性能造成太多影响。

redis 没有使用操作系统提供的虚拟内存机制而是自己在用户态实现了自己的虚拟内 存机制。

主要的理由有以下两点:

操作系统的虚拟内存是以 4k/页为最小单位进行交换的（也就是页缓存的概念，Linux在Alpha AXP系统上使用8K字节的页，而在Intel x86系统上使用4K字节的页）。而 redis 的大多数对象都远小于 4k,所以一个操作系统页上可能有多个 redis 对象。另外 redis 的集合对象类型如 list,set 可能存在于多个操作系统页上。最终可能造成只有 10%的 key 被经常访问,但 是所有操作系统页都会被操作系统认为是活跃的,这样只有内存真正耗尽时操作系统才 会进行页的交换。

相比操作系统的交换方式。redis 可以将被交换到磁盘的对象进行压缩,保存到磁盘的对 象可以去除指针和对象元数据信息。一般压缩后的对象会比内存中的对象小 10 倍。这 样 redis 的虚拟内存会比操作系统的虚拟内存少做很多 IO 操作。

4.2. Redis 虚拟内存相关配置

vm-enabled yes   //开启虚拟内存功能

vm-swap-file /tmp/redis.swap   //交换出来value保存的文件路径/tmp/redis.swap

vm-max-memory 268435456 //redis 使用的最大内存上限（256MB），超过上限后redis 开始交换 value 到磁盘 swap 文件中。建议设置为系统空闲内存的 60%-80%

vm-page-size 32  //每个 redis 页的大小 32 个字节

vm-pages 134217728 //最多在文件中使用多少个页,交换文件的大小 =(vm-page-size * vm-pages)4GB

vm-max-threads 8 //用于执行 value 对象换入换出的工作线程数量。0表示不使用工作线程(详情后面介绍)

redis 的虚拟内存在设计上为了保证 key 的查询速度,只会将 value 交换到 swap 文件 中。如果是由于太多 key 和很多很小的 value 造成的内存问题,那么 redis 的虚拟内存并不能解 决问题。

和操作系统一样 redis 也是按页来交换对象的。redis 规定同一个页只能保存一个 对象。但是一个对象可以保存在多个页中。在 redis 使用的内存没超过 vm-max-memory 之前 是不会交换任何 value 的。当超过最大内存限制后,redis 会选择把较老的对象交换到 swap 文件中去。如果两个对象一样老会优先交换比较大的对象,精确的交换计算公式 swappability = age*log(size_in_memory)。

对于 vm-page-size 的设置应该根据自己应用 将页的大小设置为可以容纳大多数对象的尺寸。太大了会浪费磁盘空间,太小了会造成交换文件出现过多碎片。

对于交换文件中的每个页,redis 会在内存中用一个 1bit 值来对应记 录页的空闲状态。所以像上面配置中页数量(vm-pages 134217728 )会占用 16MB 内存用来记 录页的空闲状态。vm-max-threads 表示用做交换任务的工作线程数量。如果大于 0 推荐设 为服务器的 cpu 的核心数。如果是 0 则交换过程在主线程进行。

4.3 redis 虚拟内存工作方式简介

4.3.1. 当 vm-max-threads 设为 0 时(阻塞方式)

(使用主线程进行交换，会阻塞客户端请求的处理,如果redis中的信息有先后顺序时建议使用阻塞方式)

换出

主线程定期检查发现内存超出最大上限后,会直接以阻塞的方式,将选中的对象保存到 swap 文件中,并释放对象占用的内存空间,此过程会一直重复直到下面条件满足

1.内存使用降到最大限制以下

2.swap 文件满了。

3.几乎全部的对象都被交换到磁盘了

换入

当有客户端请求已经被换出的 value 时,主线程会以阻塞的方式从 swap 文件中加载对应的 value 对象,加载时此时会阻塞所有客户端。然后处理该客户端的请求

4.3.2. 当 vm-max-threads 大于 0 时(工作线程方式)

个人感觉用redis做缓存的话建议用工作线程方式

换出

当主线程检测到使用内存超过最大上限,会将选中要交换的对象信息放到一个队列中交给工 作线程后台处理,主线程会继续处理客户端请求。

换入

如果有客户端请求的 key 已经被换出了,主线程会先阻塞发出命令的客户端,然后将加载对 象的信息放到一个队列中,让工作线程去加载。加载完毕后工作线程通知主线程。主线程再 执行客户端的命令。这种方式只阻塞请求的 value 是已经被换出 key 的客户端。

总的来说阻塞方式的性能会好一些,因为不需要线程同步、创建线程和恢复被阻塞的客 户端等开销。但是也相应的牺牲了响应性。工作线程方式主线程不会阻塞在磁盘 IO 上,所 以响应性更好。如果我们的应用不太经常发生换入换出,而且也不太在意有点延迟的话推荐 使用阻塞方式。

5.主从同步

5.1. Redis 主从复制简介

Redis 支持将数据同步到多台从库上,这种特性对提高读取性能非常有益。

1) master 可以有多个 slave。

2) 除了多个 slave 连到相同的 master 外,slave 也可以连接其它 slave 形成图状结构。

3) 主从复制不会阻塞 master。也就是说当一个或多个 slave 与 master 进行初次同步数据

时,master 可以继续处理客户端发来的请求。相反 slave 在初次同步数据时则会阻塞

不能处理客户端的请求。

4) 主从复制可以用来提高系统的可伸缩性 ,我们可以用多个 slave 专门用于客户端的读

请求,比如 sort 操作可以使用 slave 来处理。也可以用来做简单的数据冗余。

5) 可以在 master 禁用数据持久化,只需要注释掉 master 配置文件中的所有 save 配置,然后只在 slave 上配置数据持久化。

5.2. Redis 主从复制的过程介绍

当设置好 slave 服务器后,slave 会建立和 master 的连接,然后发送 sync 命令。无论是 第一次同步建立的连接还是连接断开后的重新连接,master 都会启动一个后台进程,将数据 库快照保存到文件中,同时 master 主进程会开始收集新的写命令并缓存起来。后台进程完 成写文件后,master 就发送文件给 slave,slave 将文件保存到磁盘上,然后加载到内存恢复 数据库快照到 slave 上。接着 master 就会把缓存的命令转发给 slave。而且后续 master 收到 的写命令都会通过开始建立的连接发送给slave。从master到slave的同步数据的命令和从 客 户端发送的命令使用相同的协议格式。当 master 和 slave 的连接断开时 slave 可以自动重新 建立连接。如果 master 同时收到多个 slave 发来的同步连接命令,只会启动一个进程来写数 据库镜像,然后发送给所有 slave。