在团800运维工作总结之codis使用

Codis功能特点

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.

需要说明的是codis我只是进行了线下测试，并未通过最终的讨论进行线上使用，具体原因是codis的版本不更新所导致

Codis 由四部分组成:· Codis Proxy (codis-proxy)· Codis Manager (codis-config)· Codis Redis (codis-server)· ZooKeepercodis-proxy 是客户端连接的 Redis 代理服务, codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy), 对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的.codis-config 是 Codis 的管理工具, 支持包括, 添加/删除 Redis 节点, 添加/删除 Proxy 节点, 发起数据迁移等操作. codis-config 本身还自带了一个 http server, 会启动一个 dashboard, 用户可以直接在浏览器上观察 Codis 集群的运行状态.codis-server 是 Codis 项目维护的一个 Redis 分支, 基于 2.8.21 开发, 加入了 slot 的支持和原子的数据迁移指令. Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行.Codis 依赖 ZooKeeper 来存放数据路由表和 codis-proxy 节点的元信息, codis-config 发起的命令都会通过 ZooKeeper 同步到各个存活的 codis-proxy.Codis 支持按照 Namespace 区分不同的产品, 拥有不同的 product name 的产品, 各项配置都不会冲突.Codis还有一大特点由于是用go语言写的，proxy端支持多线程，代表可以充分利用服务器的cpu资源

使用机器

192.168.10.169 用途: proxy redis
192.168.10.170 用途: redis

架构说明

Proxy代理层: 192.168.10.169:19000
Codis实例层:
Group组相当于codis的分片机制
分为2组group，group_1和group_2



group_1中的机器 ip:192.168.10.169:6379 角色:master
ip:192.168.10.170:6379 角色:slave

group_2中的机器 ip:192.168.10.169:6380 角色:master
ip:192.168.10.170:6380 角色:slvae

Codis-ha 负责group中的从检测主挂掉后自动提升

功能测试脚本

1.链接codis的proxy代理，对codis集群进行读操作



2.链接codis的proxy代理，对codis集群进行写操作

功能测试点

1.断掉group_1中的master节点
读是否出现异常: 否
写是否出现异常: 否

2.同时断掉group_1和group_2中的master
读是否出现异常: 否
写是否出现异常: 否

3.同时断掉group_1和group_2中的slave
读是否出现异常: 否
写是否出现异常: 否

4.新增一组，把slot槽，从100-200的槽位迁移到新增组中
读是否出现异常: 否
写是否出现异常: 否

5.同时断掉group_1中的master和slave节点
读是否出现异常: 出现一部分访问报错
写是否出现异常: 否

目前手动操作的地方(以下操作可以编写脚本做成自动操作)

1.当group_1中的master断掉
操作步骤
(1).需要先从group_1中把挂掉的master节点删除掉
命令：
codis-config -c ../conf/config.ini server remove 1 192.168.10.170:6379
(2)把以前的master重新加进来换成slave节点
命令:
codis-config -c ../conf/config.ini server add 1 192.168.10.170:6379 slave
(3).如果group_1中有>=2个slave时，master断掉后，没有提升为master的slave还是会同步断掉的master节点
(1).依次把slave从group_1中删除
(2).依次把slave节点加入group_1中
2.当group_1中的slave断掉,之后恢复后(1).人为重新加入到group_1中命令:codis-config -c ../conf/config.ini server add 1 192.168.10.170:6379 slave

启动一组codis集群的顺序及解释

1、启动codis web页面 在zookeeper中注册codis组的节点nohup ./bin/codis-config -c config.ini -L ./log/dashboard.log dashboard --addr=:18087 --http-log=./log/requests.log &>/dev/null 2.初始化slot$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini slot init -f 3.添加codis组codis-config -c /usr/local/codis/conf/config.ini server add-group 1 4.添加机器到codis组中codis-config -c /usr/local/codis/conf/config.ini server add 2 192.168.10.170:6380 master 5.分槽./bin/codis-config -c /etc/codis/config_10.ini slot range-set 0 300 1 online

6.生成一个proxy，把codis_proxy_1这个proxy名称注册到zookeeper中，并设置为offline状态
/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini proxy offline codis_proxy_1 7.启动proxy，代理端口为19000 http端口为11000nohup /usr/local/codis/bin/codis-proxy --log-level info -c /usr/local/codis/conf/config.ini -L /usr/local/codis/logs/proxy.log --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 & 8.把proxy id为codis_proxy_1的proxy设置为online状态，可以让客户端访问/usr/local/codis/bin/codis-config -c /usr/local/codis/conf/config.ini proxy online codis_proxy_1 9.启动codis-ha，用来做group中从自动提升为master用，并针对哪个codis组名nohup ./codis-ha --codis-config=127.0.0.1:18087 --productName=testgroup1 &

Codis命令总结

列出codis集群中的机器当前状态，并返回数组
Codis-config -c /usr/local/codis/conf/config.ini server list



添加redis实例到codis组中
Codis-config -c /usr/local/codis/conf/config.ini server add 1 192.168.10.169:6379 slave

删除redis实例从codis组中
Codis-config -c /usr/local/codis/conf/config.ini server remove 1 192.168.10.169:6379

添加codis组
Codis-config -c /usr/local/codis/conf/config.ini server add-group 1

删除codis组
Codis-config -c /usr/local/codis/conf/config.ini server remove-group 1

初始化slot
Codis-config -c /usr/local/codis/conf/config.ini slot init -f

查看slot槽位1的信息
./codis-config -c /usr/local/codis/conf/config.ini slot info 1



分给组名为group_2 100-200分为的hash槽
./codis-config -c /usr/local/codis/conf/config.ini range-set 100 200 2 online