redis的Linux系统安装与配置、redis的api使用、高级用法之慢查询、pipline事物
2022-05-21 18:57
2121 查看
今日内容概要
- redis 的linux安装和配置
- redis 的api使用
- 高级用法之慢查询
- pipline事务
内容详细
1、redis 的linux安装和配置
# redis 版本选择问题 -最新:7.0 -最稳定版本:6.x -讲课:5.x -企业里:3.x,4.x,5.x 6.x(极少数公司在用) -windows:3.x,5.x # 哪些公司在用 -大部分公司-多多少少都会用到 redis -99%以上公司项目会用关系型数据库(mysql,postgrasql,oracle,国产数据库:达梦) -80%公司用redis -去ioe--->ibm(浪潮,联想) ,oracle(达梦..),emc存储 -通用性东西:网络,数据库,redis,nginx,docker... # 特性 1 速度快:10w ops(每秒10w读写),数据存在内存中,c语言实现 2 持久化:rdb和aof 3 多种数据结构: 五大数据结构 BitMaps位图:布隆过滤器 本质是 字符串 HyperLogLog:超小内存唯一值计数,12kb HyperLogLog 本质是 字符串 GEO:地理信息定位 本质是有序集合--》附近5公里的美女 4 支持多种编程语言:基于tcp通信协议,各大编程语言都支持,客户端 5 功能丰富:发布订阅(消息) Lua脚本 事务(pipeline),实现分布式锁---(mysql,redis,zookeeper) 6 简单:源代码几万行,不依赖外部库(源码编译安装---》可执行文件执行) 7 主从复制:主服务器和从服务器,主服务器可以同步到从服务器中 8 高可用和分布式: 2.8版本以后使用redis-sentinel支持高可用 3.0版本以后支持分布式
1.1 下载安装
### 1 连接Linux服务器端 wget http://download.redis.io/releases/redis-5.0.7.tar.gz # 2 解压 tar -xzf redis-5.0.7.tar.gz # 3 建立软连接 ln -s redis-5.0.7 redis cd redis # 文件和文件夹 -Makefile # make,make install的安装依赖文件 -src # c的源代码 -redis.conf # redis的配置文件,启动的时候使用 # 4 编译---可执行文件 make # 5 安装--》根据config配置---》把可执行文件释放到某个路径,在环境变量中 make install # 在src目录下可以看到 redis-server--->redis服务器 redis-cli---》redis命令行客户端 redis-benchmark---》redis性能测试工具 redis-check-aof--->aof文件修复工具 redis-check-dump---》rdb文件检查工具 redis-sentinel---》sentinel服务器,哨兵 redis作者对windows维护不好,window自己有安装包 # 卸载 ---卸载redis # 1、查看redis进程; ps aux|grep redis # 2、kill掉进程; kill 进程id # 3、进入到redis目录 cd /root/s20(安装路径) # 4、删除redis对应的文件 rm -f /usr/local/redis/bin/redis* rm -f /usr/local/bin/redis* # 5、删除对应的文件 rm -rf redis
1.2 三种启动方式
# 只要在环境变量的某个路径下,在任意位置敲,都能找到 默认的 /usr/bin /usr/local/bin # 最简启动, cd 来到redis路径下 ./src/redis-server ps -ef|grep redis # 查看进程 netstat -antpl|grep redis # 查看端口 redis-cli -h ip -p port ping # 命令查看 redis-cli -h 127.0.0.1 -p 6379 # 动态参数启动 redis-serve --port 6380 #启动,监听6380端口 # 常用:配置文件启动---》100来对配置文件 # redis 的目录下 vim redis.conf daemonize yes pidfile /var/run/redis.pid port 6379 dir "/root/s20/redis/data" logfile 6379.log # 启动 mkdir data redis-server ./redis.conf
1.3 客户端连接
# 无密码情况 redis-cli -p 端口 -h 地址 # 有密码情况 redis-cli -h 127.0.0.1 -p 6370 -a 123456 # 查看redis的配置信息 config get port config get * # 100多对 # 修改配置文件---》有漏洞--》可以利用这个漏洞,提权,以root用户登录到你的redis服务器上 config set maxmemory 128M # 设置最大使用的内存 config set requirepass 123456 # 设置密码,如果没执行下面,在内存中,只要redis服务不重启,就一直生效,但是咱们下写到配置文件中 config REWRITE # 保存到配置文件,重启redis,密码也在 # 进入到链接后,再输密码 redis-cli -p 端口 -h 地址 auth 123456 # 登陆的同时输入密码 redis-cli -h 127.0.0.1 -p 6370 -a 123456
1.4 使用场景
# 缓存系统:使用最广泛的就是缓存---> 做缓存,接口缓存 # 计数器: 网站访问量,转发量,评论数(文章转发,商品销量,不会出现并发问题) # 消息队列: 发布订阅,阻塞队列实现(简单的分布式,blpop:阻塞队列,生产者消费者) # 排行榜: 有序集合(阅读排行,点赞排行,推荐(销量高的,推荐)) 有序集合 # 社交网络: 很多特效跟社交网络匹配,粉丝数,关注数 集合 # 实时系统: 垃圾邮件处理系统,布隆过滤器
2、redis 的api使用
2.1 通用命令
# 衡量算法好坏的指标,大 O 表示法 -空间复杂度(占多大内存),时间复杂(耗费多长时间) -O(1),O(log n),O(n),O(n方) # 1、keys 打印出所有key keys * 打印出所有以he开头的key keys he* 打印出所有以he开头,第三个字母是h到l的范围 keys he[h-l] 三位长度,以he开头,?表示任意一位 keys he? keys命令一般不在生产环境中使用,生产环境key很多,时间复杂度为 o(n),用scan命令 # 2、dbsize 计算key的总数 dbsize # redis内置了计数器,插入删除值该计数器会更改,所以可以在生产环境使用,时间复杂度是o(1) #3、exists key 时间复杂度o(1) 设置a set a b 查看a是否存在 exists a (integer) 1 存在返回1 不存在返回0 # 4、del key 时间复杂度o(1) 删除成功返回1,key不存在返回0 # 5、expire key seconds 时间复杂度o(1) expire name 3 # 3s 过期 ttl name # 查看name还有多长时间过期 persist name # 去掉name的过期时间 # 6、type key 时间复杂度o(1) type name # 查看name类型,返回string # 7、其他-->系统相关 info 命令:内存,cpu,主从相关--->django写一个redis服务监控--》折线图,饼形图 subprocess---》redis-cli -a 123456 info---》字符串---》 client list 正在连接的会话 client kill ip:端口 client kill 127.0.0.1:40704 dbsize # 总共有多少个key flushall # 清空所有 flushdb # 只清空当前库 16 个库 select 数字 # 选择某个库 总共16个库 默认在第0个 monitor # 记录操作日志,夯住
注意:
# 一个次只会执行一条命令 # 为什么这么快? 1 纯内存 2 非阻塞IO (epoll),自身实现了事件处理,不在网络io上浪费过多时间 # 注意: 1 一次只运行一条命令 2 拒绝长慢命令 -keys,flushall,flushdb,慢的lua脚本,mutil/exec,operate,big value 3 其实不是单线程(在做持久化是另外的线程)
2.2 字符串操作
### 1---基本使用get,set,del get name # 时间复杂度 o(1) set name lqz # 时间复杂度 o(1) del name # 时间复杂度 o(1) ### 2---其他使用incr,decr,incrby,decrby incr age # 对age这个key的value值自增1 decr age # 对age这个key的value值自减1 incrby age 10 # 对age这个key的value值增加10 decrby age 10 # 对age这个key的value值减10 统计网站访问量(单线程无竞争,天然适合做计数器) 缓存mysql的信息(json格式) ### 3---set,setnx,setxx set name lqz # 不管key是否存在,都设置 setnx name lqz # key不存在时才设置(新增操作) set name lqz nx # 同上 set name lqz xx # key存在,才设置(更新操作) ### 4---mget mset mget key1 key2 key3 # 批量获取key1,key2.。。时间复杂度o(n) mset key1 value1 key2 value2 key3 value3 # 批量设置时间复杂度o(n) n次get和mget的区别: n次get时间=n次命令时间+n次网络时间 mget时间=1次网络时间+n次命令时间 ### 5---其他:getset,append,strlen getset name lqznb # 设置新值并返回旧值 时间复杂度o(1) append name 666 # 将value追加到旧的value 时间复杂度o(1) strlen name # 计算字符串长度,字节(注意中文,3个字节) 时间复杂度o(1) ### 6---其他:incrybyfloat,getrange,setrange increbyfloat age 3.5 # 为age自增3.5,传负值表示自减 时间复杂度o(1) getrange key start end # 获取字符串制定下标所有的值 时间复杂度o(1) setrange key index value # 从指定index开始设置value值 时间复杂度o(1)
2.3 哈希hash 类型
# 只支持一层 info {name:lqz,age:19,hobby:字符串} ### 1---hget,hset,hdel hget key field # 获取hash key对应的field的value 时间复杂度为 o(1) hset key field value # 设置hash key对应的field的value值 时间复杂度为 o(1) hdel key field # 删除hash key对应的field的值 时间复杂度为 o(1) # 测试 hset user:1:info age 23 hget user:1:info ag hset user:1:info name lqz hgetall user:1:info hdel user:1:info age ### 2---hexists,hlen hexists key field # 判断hash key 是否存在field 时间复杂度为 o(1) hlen key # 获取hash key field的数量 时间复杂度为 o(1) hexists user:1:info name hlen user:1:info # 返回数量 ### 3---hmget,hmset hmget key field1 field2 ...fieldN # 批量获取hash key 的一批field对应的值 时间复杂度是o(n) hmset key field1 value1 field2 value2 # 批量设置hash key的一批field value 时间复杂度是o(n) ### 4--hgetall,hvals,hkeys hgetall key # 返回hash key 对应的所有field和value 时间复杂度是o(n) hvals key # 返回hash key 对应的所有field的value 时间复杂度是o(n) hkeys key # 返回hash key对应的所有field 时间复杂度是o(n) ### 小心使用 hgetall ## 1 计算网站每个用户主页的访问量 hincrby user:1:info pageview count ## 2 缓存mysql的信息,直接设置hash格式--> 建议用字符串,json形式存 ## 其他操作 hsetnx,hincrby,hincrbyfloat hsetnx key field value # 设置hash key对应field的value(如果field已存在,则失败),时间复杂度o(1) hincrby key field intCounter # hash key 对英的field的value自增intCounter 时间复杂度o(1) hincrbyfloat key field floatCounter # hincrby 浮点数 时间复杂度o(1)
2.4 列表
# 有序队列,可以从左侧添加,右侧添加,可以重复,可以从左右两边弹出 # 插入操作 rpush 从右侧插入 rpush key value1 value2 ...valueN # 时间复杂度为o(1~n) lpush 从左侧插入 # linsert linsert key before|after value newValue # 从元素value的前或后插入newValue 时间复杂度o(n) ,需要遍历列表 linsert listkey before b java linsert listkey after b php # 删除操作 lpop key # 从列表左侧弹出一个item 时间复杂度o(1) rpop key # 从列表右侧弹出一个item 时间复杂度o(1) lrem key count value # 根据count值,从列表中删除所有value相同的项 时间复杂度o(n) 1 count>0 从左到右,删除最多count个value相等的项 2 count<0 从右向左,删除最多 Math.abs(count)个value相等的项 3 count=0 删除所有value相等的项 lrem listkey 0 a # 删除列表中所有值a lrem listkey -1 c # 从右侧删除1个c ltrim key start end # 按照索引范围修剪列表 o(n) ltrim listkey 1 4 # 只保留下表1--4的元素 # 查询 lrange key start end # 包含end获取列表指定索引范围所有item o(n) lrange listkey 0 2 lrange listkey 1 -1 # 获取第一个位置到倒数第一个位置的元素 lindex key index # 获取列表指定索引的item o(n) lindex listkey 0 lindex listkey -1 llen key #获取列表长度 # 修改 lset key index newValue # 设置列表指定索引值为newValue o(n) lset listkey 2 ppp # 把第二个位置设为ppp # 其它 blpop key timeout # lpop的阻塞版,timeout是阻塞超时时间,timeout=0为拥有不阻塞 o(1) brpop key timeout # rpop的阻塞版,timeout是阻塞超时时间,timeout=0为拥有不阻塞 o(1) # 要实现栈的功能:先进后出,后进先出---》吃了吐 lpush+lpop #实现队列功能:先进先出---》吃了拉--》直梯 lpush+rpop #固定大小的列表 lpush+ltrim #消息队列 lpush+brpop
2.5 集合
sadd key element # 向集合key添加element(如果element存在,添加失败) o(1) srem key element # 从集合中的element移除掉 o(1) scard key # 计算集合大小 sismember key element # 判断element是否在集合中 srandmember key count # 从集合中随机取出count个元素,不会破坏集合中的元素 (抽奖) spop key # 从集合中随机弹出一个元素 smembers key # 获取集合中所有元素 ,无序,小心使用,会阻塞住 sdiff user:1:follow user:2:follow # 计算user:1:follow和user:2:follow的差集 sinter user:1:follow user:2:follow # 计算user:1:follow和user:2:follow的交集 sunion user:1:follow user:2:follow # 计算user:1:follow和user:2:follow的并集 sdiff|sinter|suion + store destkey... # 将差集,交集,并集结果保存在destkey集合中
2.6 有序集合
zadd key score element # score可以重复,可以多个同时添加,element不能重复 o(logN) zadd class lyf 100 ... zrem key element # 删除元素,可以多个同时删除 o(1) zscore key element # 获取元素的分数 o(1) zincrby key increScore element # 增加或减少元素的分数 o(1) zcard key # 返回元素总个数 o(1) zrank key element # 返回element元素的排名(从小到大排,从0开始) zrange key 0 -1 #返回排名,不带分数 o(log(n)+m) n是元素个数,m是要获取的值 zrange player:rank 0 -1 withscores # 返回排名,带分数 zrangebyscore key minScore maxScore # 返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数,m是要获取的值 zrangebyscore user:1:ranking 90 210 withscores # 获取90分到210分的元素 zcount key minScore maxScore # 返回有序集合内在指定分数范围内的个数 o(log(n)+m) zremrangebyrank key start end # 删除指定排名内的升序元素 o(log(n)+m) zremrangebyrank user:1:rangking 1 2 # 删除升序排名中1到2的元素 zremrangebyscore key minScore maxScore # 删除指定分数内的升序元素 o(log(n)+m) zremrangebyscore user:1:ranking 90 210 # 删除分数90到210之间的元素 zrevrank # 从高到低排序 zrevrange # 从高到低排序取一定范围 zrevrangebyscore # 返回指定分数范围内的降序元素 zinterstore # 对两个有序集合交集 zunionstore # 对两个有序集合求并集 # 可以写 排行榜---》金币排行,阅读排序,销量排行
客户端
# python --->redis模块 # go---》 https://www.cnblogs.com/liuqingzheng/p/16024070.html
3、高级用法之慢查询
# 通过配置,对慢查询命令的保存,通过命令,取出保存的慢查询命令---》分析 # 两个配置 慢查询是一个先进先出的队列 固定长度 保存在内存中 slowlog-max-len=128 slowly-log-slower-than=10000 # 毫秒,超过这个毫秒的,就会被记录在队列中 # 配置 config set slowlog-log-slower-than 0 config set slowlog-max-len 100 config rewrite # 命令 slowlog get # 查到哪个用户执行的那个命令 slowlog len # 获取慢查询队列长度 slowlog reset # 清空慢查询队列
4、pipline事务
# Redis的 pipeline(管道)功能 在命令行中没有,但 redis是支持 pipeline的,而且在各个语言版的 client中都有相应的实现(客户端又,py-redis,go-redis) # 将一批命令,批量打包,在redis服务端批量计算(执行),然后把结果批量返回 # 1次pipeline(n条命令) = 1次网络时间 + n次命令时间 # pipeline 期间将 “独占” 链接,此期间将不能进行 非“管道” 类型的其他操作,直到pipeline关闭 如果你的pipeline的指令集很庞大,为了不干扰链接中的其他操作,你可以为 pipeline操作新建 Client链接,让 pipeline和其他正常操作分离在2个client中。 不过pipeline 事实上所能容忍的操作个数,和s ocket-output缓冲区大小/返回结果的数据尺寸都有很大的关系 同时也意味着每个 redis-server同时所能支撑的 pipeline链接的个数,也是有限的,这将受限于server的物理内存或网络接口的缓冲能力 import redis pool = redis.ConnectionPool(host='127.0.0.1', port=6379) r = redis.Redis(connection_pool=pool) # pipe = r.pipeline(transaction=False) # 创建pipeline pipe = r.pipeline(transaction=True) # 开启事务 pipe.multi() pipe.set('name', 'lqz') # 其他代码,可能出异常 pipe.set('role', 'nb') pipe.execute() ##### 注意: pipeline每次只能作用在一个Redis的节点上 集群环境中,用不了pipline ## redis支持事务操作 # 1 mutil 开启事务,放到管道中一次性执行--->管道的使用 multi # 开启事务 set name lqz set age 18 exec # 2 模拟事务 # 在开启事务之前,先watch,监控age,如果被别人改了,它就改不成功了--》乐观锁 wathc age multi decr age exec # 另一台机器 multi decr age exec # 先执行,上面的执行就会失败(乐观锁,被wathc的事务不会执行成功) # 集成到项目中---demo https://www.cnblogs.com/liuqingzheng/p/9997092.html
相关文章推荐
- 使用LINUX系统安装配置redis主备
- oracle安装前系统配置查询(linux)
- Linux系统中安装和简易配置redis
- redis-linux 安装配置以及使用手册
- Vim的常见高级用法 ---加深Linux系统下的文件管理(1)中vim的使用
- oracle安装前系统配置查询(linux)
- oracle安装前系统配置查询(linux)
- linux 入门 - 双系统的安装&JDK环境配置&Android Studio 的安装使用
- oracle安装前系统配置查询(linux)
- oracle安装前系统配置查询(linux)
- oracle安装前系统配置查询(linux)
- oracle安装前系统配置查询(linux)
- setpci命令_Linux setpci 命令用法详解:查询和配置PCI设备的使用工具
- Vim的常见高级用法 ---加深Linux系统下的文件管理(1)中vim的使用
- CentOS Linux系统下安装Redis过程和配置参数说明
- Linux系统文件查找命令find的基本使用及其高级用法
- oracle安装前系统配置查询(linux)
- oracle安装前系统配置查询(linux)
- linux安装redis并使用其提供的初始化启动脚本加入到系统服务中
- oracle安装前系统配置查询(linux)