centos7-codis安装部署，解决redis分布式的方案

运维菜 2017-10-30 07:37

前言

Codis是一个分布式的Redis解决方案。



codis-proxy是codis的转发代理，使用的时候，连接codis-proxy进行操作，与连接原生的redis对比，存在一些不支持的命令，其他没有明显的区别。

codis-fe开启Web服务，通过浏览器进行操作，简化了复杂的设置。

GITHUB地址：https://github.com/CodisLabs/codis

github给出的架构图



Codis Server：基于 redis-3.2.8 分支开发。增加了额外的数据结构，以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档 redis 的修改。

Codis Proxy：客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外(不支持的命令列表)，表现的和原生的 Redis 没有区别（就像 Twemproxy）。

对于同一个业务集群而言，可以同时部署多个 codis-proxy 实例；不同 codis-proxy 之间由 codis-dashboard 保证状态同步。

Codis Dashboard：集群管理工具，支持 codis-proxy、codis-server 的添加、删除，以及据迁移等操作。在集群状态发生改变时，codis-dashboard 维护集群下所有 codis-proxy 的状态的一致性。对于同一个业务集群而言，同一个时刻 codis-dashboard 只能有 0个或者1个；所有对集群的修改都必须通过 codis-dashboard 完成。

Codis Admin：集群管理的命令行工具。

可用于控制 codis-proxy、codis-dashboard 状态以及访问外部存储。

Codis FE：集群管理界面。

多个集群实例共享可以共享同一个前端展示页面；

通过配置文件管理后端 codis-dashboard 列表，配置文件可自动更新。

需要zookeeper的支持

可以根据这个文章进行安装部署：

centos-试试zookeeper集群部署

下载：

在github上已经有编译好的二进制包（注：需要Centos7系统）
https://github.com/CodisLabs/codis/releases
最新版本是3.2

下载二进制包：codis3.2.0-go1.8.1-linux.tar.gz

部署需要zookeeper运行环境

解压二进制包到/opt/

tar zxvf codis-3.2.0-go.1.8.1-linux.tar.gz -C /opt/

cd /opt/

ln -s codis-3.2.0-go.1.8.1-linux codis

创建配置文件

cd /opt/codis

mkdir -p etc scripts

./codis-dashboard --default-config | tee etc/dashboard.toml

修改其中的zookeeper地址

coordinator_name = "zookeeper"

coordinator_addr = "127.0.0.1:2181"

./codis-proxy --default-config | tee etc/proxy.toml

创建codis-server配置文件：

cat >etc/8001.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8001.pid

port 8001

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8001.log"

databases 16

rdbcompression yes

dbfilename dump-8001.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8001.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

cat >etc/8002.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8002.pid

port 8002

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8002.log"

databases 16

rdbcompression yes

dbfilename dump-8002.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8002.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

cat >etc/8003.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8003.pid

port 8001

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8003.log"

databases 16

rdbcompression yes

dbfilename dump-8001.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8003.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

cat >etc/8004.conf<<EOF

daemonize yes

pidfile /data/codis/logs/redis_8004.pid

port 8001

timeout 60

loglevel warning

logfile "/data/codis/logs/codis-server-8004.log"

databases 16

rdbcompression yes

dbfilename dump-8001.rdb

dir /data/codis/data

maxclients 80000

maxmemory 1gb

maxmemory-policy volatile-lru

appendonly yes

appendfilename "appendonly8004.aof"

appendfsync everysec

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

slowlog-log-slower-than 10000

slowlog-max-len 1024

hz 50

aof-rewrite-incremental-fsync yes

EOF

启动脚本：

cat >scripts/start_codis_dashboard.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

nohup ${CODIS_HOME}/bin/codis-dashboard --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --config=${CODIS_HOME}/etc/dashboard.toml --log=/data/codis/logs/dashboard.log --log-level=WARN &

EOF

chmod +x scripts/start_codis_dashboard.sh

cat >scripts/start_codis_proxy.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

nohup ${CODIS_HOME}/bin/codis-proxy --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --config=${CODIS_HOME}/etc/proxy.toml --log=/data/codis/logs/proxy.log --log-level=WARN &

EOF

chmod +x scripts/start_codis_proxy.sh

cat >scripts/start_codis_fe.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

nohup ${CODIS_HOME}/codis-fe --ncpu=`cat /proc/cpuinfo | grep cores | wc -l` --log=/data/codis/logs/fe.log --log-level=WARN --zookeeper=127.0.0.1:2181 --listen=0.0.0.0:8080 &

EOF

chmod +x scripts/start_codis_fe.sh

cat >scripts/start_codis_server.sh<<EOF

#!/bin/bash

CODIS_HOME=/opt/codis

for conf in `ls ${CODIS_HOME}/etc/80??.conf`

do

${CODIS_HOME}/bin/codis-server ${conf}

done

EOF

chmod +x scripts/start_codis_proxy.sh

创建目录：

mkdir -p /data/codis/logs

mkdir -p /data/codis/data

启动codis：

（先启动zookeeper）

/opt/codis/scripts/start_codis_dashboard.sh

/opt/codis/scripts/start_codis_proxy.sh

/opt/codis/scripts/start_codis_fe.sh

/opt/codis/scripts/start_codis_server.sh

fe启动了就可以在浏览器访问

//[fe所在的服务器的IP地址]:8080



在Proxy:

[proxy所在服务器的ip]:11080

点击 New Proxy



在Group先创建组

输入组数字

点击New Group

然后添加codis-server

codis-server+端口 to 组

点击 Add Server

每组添加两个codis-server作为一主一从

添加完以后，同步一下组关系



点击第二个节点的主从设置安装，就会自动设置主从关系

使用

客户端连接 ：proxy所在服务器IP：19000