Codis 高可用负载均衡群集的搭建与使用
2015-09-05 23:04
1526 查看
声明：
此篇文章，涉及到东西比较多，文章比较长，适合耐心的童鞋们阅读，生产环境部署可参考此篇文章。
Codis 并不太适合 key 少，但是 value 特别大的应用， 而且你的 key 越少， value 越大，最后就会退化成单个 redis 的模型 （性能还不如 raw redis），所以 Codis 更适合海量 Key, value比较小 （<= 1 MB) 的应用。
codis-proxy 提供连接集群redis服务的入口
codis-redis-group 实现redis读写的水平扩展，高性能
codis-redis 实现redis实例服务，通过codis-ha实现服务的高可用
实验环境：
网络拓扑图：https://www.gliffy.com/go/publish/4767058
群集架构图：https://www.gliffy.com/go/publish/4640202
机器与应用列表：
System version: CentOS 6.5
IP: 192.168.43.130 hostname: vmware-130
apps: keepalived + haproxy Master, zookeeper_1, codis_proxy_1, codis_config, codis_server_master,slave
IP: 192.168.43.131 hostname: vmware-131
apps: zookeeper_2, codis_proxy_2, codis_server_master,slave
IP: 192.168.43.132 hostname: vmware-132
apps: keepalived + haproxy Backup, zookeeper_3, codis_proxy_3, codis_server_master,slave
VIP: 192.168.43.100 Port: 45001
备注：由于是虚拟测试环境，非生产环境，所以一台机器跑多个应用，如应用于生产环境，只需把应用分开部署到相应机器上即可。
一、初始化CentOS系统
1. 使用镜像站点配置好的yum安装源配置文件
cd /etc/yum.repos.d/
/bin/mv CentOS-Base.repo CentOS-Base.repo.bak
wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
接下来执行如下命令，检测yum是否正常
yum clean all #清空yum缓存
yum makecache #建立yum缓存
然后使用如下命令将系统更新到最新
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY* #导入签名KEY到RPM
yum upgrade -y #更新系统内核到最新
2. 关闭不必要的服务
for sun in `chkconfig --list|grep 3:on|awk '{print $1}'`;do chkconfig --level 3 $sun off;done
for sun in `chkconfig --list|grep 5:on|awk '{print $1}'`;do chkconfig --level 5 $sun off;done
for sun in crond rsyslog sshd network;do chkconfig --level 3 $sun on;done
for sun in crond rsyslog sshd network;do chkconfig --level 5 $sun on;done
3. 安装依赖包
yum install -y gcc make g++ gcc-c++ automake lrzsz openssl-devel zlib-* bzip2-* readline* zlib-* bzip2-*
4. 创建软件存放目录
mkdir /data/packages
5. 软件包版本以及下载地址：
jdk1.8.0_45
zookeeper-3.4.6
go1.4.2
pcre-8.37
haproxy-1.4.22
keepalived-1.4.26
cd /data/packages
wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
wget http://golangtc.com/static/go/go1.4.2.linux-amd64.tar.gz
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.37.tar.gz
wget http://www.keepalived.org/software/keepalived-1.2.16.tar.gz
通过浏览器自行下载:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html http://www.haproxy.org/download/1.4/src/haproxy-1.4.26.tar.gz
6. 重启系统
[root@vmware-130 ~]# init 6
二、部署Zookeeper群集
1.配置hosts文件 ( zookeeper节点机器上配置 )
[root@vmware-130 ~]# vim /etc/hosts
192.168.43.130 vmware-130
192.168.43.131 vmware-131
192.168.43.132 vmware-132
2.安装java 坏境 ( zookeeper节点机器上配置 )
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 packages ]# tar zxvf jdk-8u45-linux-x64.tar.gz -C /usr/local
[root@vmware-130 packages ]# cd /usr/local
[root@vmware-130 local ]# ln -s jdk1.8.0_45 java
3. 安装Zookeeper ( zookeeper节点机器上配置 )
cd /data/packages
tar zxvf zookeeper-3.4.6.tar.gz -C /usr/local
ln -s zookeeper-3.4.6 zookeeper
cd /usr/local/zookeeper/
4.设置环境变量 ( zookeeper节点机器上配置 )
vim /etc/profile
JAVA_HOME=/usr/local/java
JRE_HOME=$JAVA_HOME/jre
ZOOKEEPER_HOME=/usr/local/zookeeper
JAVA_FONTS=/usr/local/java/jre/lib/fonts
CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin
export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME
#生效环境变量
source /etc/profile
5. 修改zookeeper配置文件 ( zookeeper节点机器上配置 )
vi /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
autopurge.snapRetainCount=500
autopurge.purgeInterval=24
dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/logs
server.1=192.168.43.130:2888:3888
server.2=192.168.43.131:2888:3888
server.3=192.168.43.132:2888:3888
#创建数据目录和日志目录 ( zookeeper节点机器上配置 )
mkdir -p /data/zookeeper/data
mkdir -p /data/zookeeper/logs
6. 在zookeeper节点机器上创建myid文件，节点对应id
在43.130机器上创建myid，并设置为1与配置文件zoo.cfg里面server.1对应。
echo "1" > /data/zookeeper/data/myid
在43.131机器上创建myid，并设置为1与配置文件zoo.cfg里面server.2对应。
echo "2" > /data/zookeeper/data/myid
在43.132机器上创建myid，并设置为1与配置文件zoo.cfg里面server.3对应。
echo "3" > /data/zookeeper/data/myid
7. 启动zookeeper服务, 以vmware-130为例：
[root@vmware-130 ~]# zkServer.sh start
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
8.检查zookeeper所有节点状态
[root@vmware-130 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[root@vmware-131 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[root@vmware-132 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader
二、部署Codis群集
1. 安装 go 语言环境 ( 所有codis机器上配置 )
/data/packages
tar zxvf go1.4.2.linux-amd64.tar.gz -C /usr/local
2. 添加GO环境变量，其他环境变量不变。
vim /etc/profile
GOROOT=/usr/local/go
GOPATH=/usr/local/codis
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$GOROOT/bin
export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME GOROOT GOPATH
source /etc/profile
3. 安装codis ( 所有codis机器上配置 )
yum install -y git
go get github.com/wandoulabs/codis
cd $GOPATH/src/github.com/wandoulabs/codis
#执行编译测试脚本，编译go和reids。
./bootstrap.sh
make gotest
# 将编译好后，把bin目录和一些脚本复制过去/usr/local/codis目录下：
mkdir -p /usr/local/codis/{logs,conf,scripts} #创建codis日志，配置文件，脚本目录
mkdir -p /data/codis_server/{logs,conf,data} #创建codis_server 日志，配置文件，数据目录
cp -rf bin /usr/local/codis/ #复制bin目录到自定义的安装目录
cp sample/config.ini /usr/local/codis/conf/ #复制模板配置文件到安装目录
cp sample/redis_conf/6381.conf /data/codis_server/conf/ #复制codis_server配置文件到配置目录
cp -rf /usr/local/codis/src/github.com/wandoulabs/codis/sample/usage.md /usr/local/codis/scripts/ #复制模板启动流程文件到脚本目录下
4. 配置codis_proxy_1 ( vmware-130 机器上配置)
cd /usr/local/codis
vim config.ini
zk=vmware-130:2181,vmware-131:2181,vmware-132:2181
product=codis
proxy_id=codis_proxy_1
net_timeout=5
dashboard_addr=192.168.43.130:18087
coordinator=zookeeper
配置codis_proxy_1 ( vmware-131 机器上配置)
cd /usr/local/codis
vim config.ini
zk=vmware-130:2181,vmware-131:2181,vmware-132:2181
product=codis
proxy_id=codis_proxy_2
net_timeout=5
dashboard_addr=192.168.43.130:18087
coordinator=zookeeper
配置codis_proxy_1 ( vmware-132 机器上配置)
cd /usr/local/codis
vim config.ini
zk=vmware-130:2181,vmware-131:2181,vmware-132:2181
product=codis
proxy_id=codis_proxy_3
net_timeout=5
dashboard_addr=192.168.43.130:18087
coordinator=zookeeper
5. 修改配置文件，启动codis-server服务. ( 所有codis-server机器上 )
cd /data/codis_server/conf/
mv 6381.conf 6379.conf
vim 6379.conf
修改如下参数: (生产环境，参数适当进行调整)
daemonize yes
pidfile /var/run/redis_6379.pid
port 6379
logfile "/data/codis_server/logs/codis_6379.log"
save 900 1
save 300 10
save 60 10000
dbfilename 6379.rdb
dir /data/codis_server/data
复制6380配置文件
cp 6379.conf 6380.conf
sed -i 's/6379/6380/g' 6380.conf
添加内核参数
echo "vm.overcommit_memory = 1" >> /etc/sysctl.conf
sysctl -p
启动codis-server服务 ( 所有codis-server机器上 )
/usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf
/usr/local/codis/bin/codis-server /data/codis_server/conf/6380.conf
6. 查看一下启动流程：( 以vmware-130机器为例 )
[root@vmware-130 ~]# cat /usr/local/codis/scripts/usage.md
0. start zookeeper //启动zookeeper服务
1. change config items in config.ini //修改codis配置文件
2. ./start_dashboard.sh //启动 dashboard
3. ./start_redis.sh //启动redis实例
4. ./add_group.sh //添加redis组，一个redis组只能有一个master
5. ./initslot.sh //初始化槽
6. ./start_proxy.sh //启动codis_proxy
7. ./set_proxy_online.sh //上线proxy项目
8. open browser to http://localhost:18087/admin //访问管理界面
这只是一个参考，有些顺序不是必须的，但启动dashboard前，必须启动zookeeper服务，这是必须的，后面有很多操作，都可以在管理页面完成，例如添加/删除组、数据分片、添加/删除redis实例等
7. 创建dashboard启动脚本。可参考/usr/local/codis/src/github.com/wandoulabs/codis/sample/模板脚本( 只需在一台机器上启动即可。43.130上启动 )
[root@vmware-130 ~]# vim /usr/local/codis/scripts/start_dashboard.sh
#!/bin/sh
CODIS_HOME=/usr/local/codis
nohup $CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/dashboard.log dashboard --addr=:18087 --http-log=$CODIS_HOME/logs/requests.log &>/dev/null &
启动dashboard
[root@vmware-130 ~]# cd /usr/local/codis/scripts/
[root@vmware-130 scripts ]# sh start_dashboard.sh
8. 创建初始化槽脚本，可参考/usr/local/codis/src/github.com/wandoulabs/codis/sample/模板脚本( 在任一台机器上机器上配置，此环境在43.130机器上配置 )
[root@vmware-130 ~]# vim /usr/local/codis/scripts/initslot.sh
#!/bin/sh
CODIS_HOME=/usr/local/codis
echo "slots initializing..."
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini slot init -f
echo "done"
执行初始化槽脚本：
[root@vmware-130 ~]# cd /usr/local/codis/scripts
[root@vmware-130 scripts ]# sh initslot.sh
9. 配置codis-server,启动codis-server master , slave 实例 ，以上步骤已经启动，不在描述。
10. 通过管理页面添加组ID，为组添加主从实例，一个组里只能有一个master，设置slot分片数据等。
http://192.168.43.130:18087（最好用Firefox浏览器或者谷歌浏览器，别的浏览器比较坑爹！！！）
如下图所示：
接下来，依次添加 Server Group 1,2,3 ( 共添加3组 )
添加好后，图为下：
接下来添加codis-server实例包括master ,slave
全部添加完成后，如下图所示：
为组分配Slot(槽)范围
group_1 0 - 511
group_2 512 - 1023
group_3 暂时不分配，以下测试中，用来迁移其他组使用。
如下图操作所示：group_1 ( 0 - 511 )
添加成功后，页面会显示success窗口，如下图所示。
如下图操作所示：group_2 ( 512 - 1023 )
添加成功后，页面会显示success窗口，如下图所示。
查看整个Slots分布情况: 选择 Slots Status 或者 右上角那个 Slots 都可以看到分布情况。
11. 配置codis-ha服务，主从自动切换。( 随便找个节点机器上配置即可,此环境中在43.131机器上配置 )
[root@vmware-131 ~]# go get github.com/ngaut/codis-ha
[root@vmware-131 ~]# cd /usr/local/codis/src/github.com/ngaut
[root@vmware-131 ~]# cp -r codis-ha /usr/local/
[root@vmware-131 ~]# cd /usr/local/codis-ha
[root@vmware-131 codis-ha ]# go build
创建启动脚本，启动codis-ha服务
[root@vmware-131 ~]# vim /usr/local/codis-ha/start_codis_ha.sh
#!/bin/sh
./codis-ha --codis-config=192.168.43.130:18087 -log-level="info" --productName=vmware-Codis &> ./logs/codis-ha.log &
创建日志目录
[root@vmware-131 ~]# mkdir /usr/local/codis-ha/logs
[root@vmware-131 ~]# cd /usr/local/codis-ha/
[root@vmware-131 codis-ha ]# sh start_codis_ha.sh
12. 修改start_proxy.sh，启动codis-proxy服务 ( 以130机器配置为例，其余codis-proxy只需修改下名称即可。)
[root@vmware-130 scripts]# vim /usr/local/codis/scripts/start_proxy.sh
#!/bin/sh
CODIS_HOME=/usr/local/codis
echo "shut down codis_proxy_1..."
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy offline codis_proxy_1
echo "done"
echo "start new codis_proxy_1..."
nohup $CODIS_HOME/bin/codis-proxy --log-level error -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/codis_proxy_1.log --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 &
echo "done"
echo "sleep 3s"
sleep 3
tail -n 30 $CODIS_HOME/logs/codis_proxy_1.log
[root@vmware-130 scripts]# vim /usr/local/codis/scripts/set_proxy_online.sh
#!/bin/sh
CODIS_HOME=/usr/local/codis
echo "set codis_proxy_1 online"
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy online codis_proxy_1
echo "done"
启动codis-proxy
./start_proxy.sh
上线codis_proxy_1
./set_proxy_online.sh
备注：其他codis_proxy只需修改start_proxy.sh和set_proxy_online.sh启动脚本里面的codis_proxy_1名称即可。
13. 通过redis-cli客户端直接访问codis-proxy,写入数据，看组里面的master和slave 是否同步。
[root@vmware-130 scripts]# redis-cli -p 19000
127.0.0.1:19000> set mike liweizhong
OK
127.0.0.1:19000> set benet lwz
OK
127.0.0.1:19000> exit
[root@vmware-130 scripts]#
通过管理界面看到如下图所示：
codis-server master,slave 同步数据正常，slots槽分片数据正常。
接下来在通过codis-proxy去取数据看看。
[root@vmware-130 scripts]# redis-cli -p 19000
127.0.0.1:19000> get mike
"liweizhong"
127.0.0.1:19000> get benet
"lwz"
127.0.0.1:19000> exit
[root@vmware-130 scripts]#
以下用shell简单的写了个插入redis数据脚本，此脚本会插入20W个key,每运行一次，需要调整INSTANCE_NAME参数里面的数字，才可重新插入新数据。仅供测试使用：
[root@vmware-132 scripts]# cat redis-key.sh
#!/bin/bash
REDISCLI="redis-cli -h 192.168.43.131 -p 19000 -n 0 SET"
ID=1
while [ $ID -le 50000 ]
do
INSTANCE_NAME="i-2-$ID-VM"
UUID=`cat /proc/sys/kernel/random/uuid`
CREATED=`date "+%Y-%m-%d %H:%M:%S"`
$REDISCLI vm_instance:$ID:instance_name "$INSTANCE_NAME"
$REDISCLI vm_instance:$ID:uuid "$UUID"
$REDISCLI vm_instance:$ID:created "$CREATED"
$REDISCLI vm_instance:$INSTANCE_NAME:id "$ID"
ID=`expr $ID + 1`
done
执行插入脚本
[root@vmware-132 scripts]# sh redis-key.sh
通过管理界面，我们可以看到如下图所示：
数据插完后，最终如下图所示：
三、部署Keepalived + haproxy 高可用负载均衡
安装haproxy、keepalived (43.130、43.132 机器上操作)
1.查看系统内核是否支持 tproxy
[root@vmware-130 ~]# grep TPROXY /boot/config-`uname -r`
CONFIG_NETFILTER_TPROXY=m
CONFIG_NETFILTER_XT_TARGET_TPROXY=m
内核为2.6.32-220.el6.x86_64，支持TPROXY；
2.源码安装pcre-8.01
[root@vmware-130 ~]# rpm -qa|grep pcre
pcre-7.8-6.el6.x86_64
pcre-devel-7.8-6.el6.x86_64
系统已经rpm形式安装了pcre，但安装haproxy时，提示找不到pcre的库文件，看了haproxy的Makefile文件，指定pcre的为/usr/local下，故再源码安装一个pcre-8.01，如下(如果不重新安装，可以改makefile文件或把库文件软链到makefile文件指定的路径)
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 ~]# tar -zxf pcre-8.37.tar.gz && cd pcre-8.37
[root@vmware-130 pcre-8.36 ]# ./configure --disable-shared --with-pic
[root@vmware-130 pcre-8.36 ]# make && make install
3.安装 haproxy-1.4.22
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 ~]# tar xf haproxy-1.4.26.tar.gz
[root@vmware-130 ~]# cd haproxy-1.4.26
[root@vmware-130 haproxy-1.4.26 ]# make TARGET=linux26 CPU=x86_64 USE_STATIC_PCRE=1 USE_LINUX_TPROXY=1
[root@vmware-130 haproxy-1.4.26 ]# make install target=linux26
[root@vmware-130 haproxy-1.4.26 ]# mkdir -p /usr/local/haproxy/sbin
[root@vmware-130 haproxy-1.4.26 ]# mkdir -p /data/haproxy/{conf,run,logs}
[root@vmware-130 haproxy-1.4.26 ]# ln -s /usr/local/sbin/haproxy /usr/local/haproxy/sbin
4. 创建haproxy启动脚本
[root@vmware-130 ~]# vim /etc/init.d/haproxy
#!/bin/sh
# haproxy
# chkconfig: 35 85 15
# description: HAProxy is a free, very fast and reliable solution \
# offering high availability, load balancing, and \
# proxying for TCP and HTTP-based applications
# processname: haproxy
# config: /data/haproxy/conf/haproxy.cfg
# pidfile: /data/haproxy/run/haproxy.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
config="/data/haproxy/conf/haproxy.cfg"
exec="/usr/local/haproxy/sbin/haproxy"
prog=$(basename $exec)
[ -e /etc/sysconfig/$prog ] && . /etc/sysconfig/$prog
lockfile=/var/lock/subsys/haproxy
check() {
$exec -c -V -f $config
}
start() {
$exec -c -q -f $config
if [ $? -ne 0 ]; then
echo "Errors in configuration file, check with $prog check."
return 1
fi
echo -n $"Starting $prog: "
# start it up here, usually something like "daemon $exec"
daemon $exec -D -f $config -p /data/haproxy/run/$prog.pid
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
# stop it here, often "killproc $prog"
killproc $prog
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
$exec -c -q -f $config
if [ $? -ne 0 ]; then
echo "Errors in configuration file, check with $prog check."
return 1
fi
stop
start
}
reload() {
$exec -c -q -f $config
if [ $? -ne 0 ]; then
echo "Errors in configuration file, check with $prog check."
return 1
fi
echo -n $"Reloading $prog: "
$exec -D -f $config -p /data/haproxy/run/$prog.pid -sf $(cat /data/haproxy/run/$prog.pid)
retval=$?
echo
return $retval
}
force_reload() {
restart
}
fdr_status() {
status $prog
}
case "$1" in
start|stop|restart|reload)
$1
;;
force-reload)
force_reload
;;
checkconfig)
check
;;
status)
fdr_status
;;
condrestart|try-restart)
[ ! -f $lockfile ] || restart
;;
*)
echo $"Usage: $0 {start|stop|status|checkconfig|restart|try-restart|reload|force-reload}"
exit 2
esac
备注：此脚本stop的时候有问题，有待解决。
#添加haproxy服务
[root@vmware-130 ~]# echo "net.ipv4.ip_nonlocal_bind = 1" >> /etc/rsysctl.conf
[root@vmware-130 ~]# sysctl -p
[root@vmware-130 ~]# chmod 755 /etc/init.d/haproxy
[root@vmware-130 ~]# chkconfig --add haproxy
[root@vmware-130 ~]# chkconfig haproxy on
5.安装keepalived
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 ~]# tar zxvf keepalived-1.2.16.tar.gz
[root@vmware-130 ~]# cd keepalived-1.2.16
[root@vmware-130 keepalived-1.2.16 ]# ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-504.16.2.el6.x86_64/
\\若/usr/src/kernels/目录下为空，那么安装kernel-headers和kernel-devel包 yum install -y kernel-header kernel-devel
[root@vmware-130 keepalived-1.2.16 ]# make && make install
6.配置keepalived,添加keepalived 服务
[root@vmware-130 ~]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
[root@vmware-130 ~]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
[root@vmware-130 ~]# mkdir -p /data/keepalived/{conf,scripts}
[root@vmware-130 ~]# cp /usr/local/sbin/keepalived /usr/sbin/
[root@vmware-130 ~]# chkconfig --add keepalived
[root@vmware-130 ~]# chkconfig keepalived on
7. 配置haproxy.cfg配置文件( 43.130, 43.132 配置，haproxy.cfg配置文件完全一样 )
[root@vmware-130 ~]# vim /usr/local/haproxy/conf/haproxy.cfg
########### 全局配置 #########
global
log 127.0.0.1 local0 err
chroot /usr/local/haproxy
daemon
nbproc 1
group nobody
user nobody
pidfile /usr/local/haproxy/run/haproxy.pid
ulimit-n 65536
#spread-checks 5m
#stats timeout 5m
#stats maxconn 100
######## 默认配置 ############
defaults
mode tcp #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
retries 3 #两次连接失败就认为是服务器不可用，也可以通过后面设置
option redispatch #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器
option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
maxconn 32000 #默认的最大连接数
timeout connect 5000ms #连接超时
timeout client 30000ms #客户端超时
timeout server 30000ms #服务器超时
#timeout check 2000 #心跳检测超时
log 127.0.0.1 local3 err #[err warning info debug]
######## proxy 配置#################
listen proxy_status
bind 0.0.0.0:45001
mode tcp
balance roundrobin
server codis_proxy_1 192.168.43.130:19000 weight 1 maxconn 10000 check inter 10s
server codis_proxy_2 192.168.43.131:19000 weight 1 maxconn 10000 check inter 10s
server codis_proxy_3 192.168.43.132:19000 weight 1 maxconn 10000 check inter 10s
######## 统计页面配置 ########
listen admin_stats
bind 0.0.0.0:8099 #监听端口
mode http #http的7层模式
option httplog #采用http日志格式
#log 127.0.0.1 local0 err
maxconn 10
stats refresh 30s #统计页面自动刷新时间
stats uri /stats #统计页面url
stats realm XingCloud\ Haproxy #统计页面密码框上提示文本
stats auth admin:admin #统计页面用户名和密码设置
stats hide-version #隐藏统计页面上HAProxy的版本信息
stats admin if TRUE
8. 配置keepalived.conf配置文件 ( 43.130 上配置，43.132备用配置主要修改参数已经标注 )
[root@vmware-130 ~]# vim /data/keepalived/conf/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
lwz_benet@163.com
}
notification_email_from lwz_benet@1163.com
smtp_connect_timeout 30
smtp_server 127.0.0.1
router_id HAProxy_DEVEL
}
vrrp_script chk_haproxy {
script "killall -0 haproxy"
interval 2
}
vrrp_instance HAProxy_HA {
state BACKUP
interface eth0
virtual_router_id 80
priority 100 #备用为90
advert_int 2
nopreempt #设置不强占，防止业务来回切换。
authentication {
auth_type PASS
auth_pass KJj23576hYgu23IP
}
track_interface {
eth0
}
virtual_ipaddress {
192.168.43.100
}
track_script {
chk_haproxy
}
#状态通知
notify_master "/data/keepalived/scripts/mail_notify.py master"
notify_backup "/data/keepalived/scripts/mail_notify.py backup"
notify_fault "/data/keepalived/scripts/mail_notify.py fault"
}
\\拷贝主上面的keepalived.conf到从上，只需修改priority值参数即可。
创建/data/keepalived/scripts/mail_notify.py邮件通知程序：
详细请访问：http://liweizhong.blog.51cto.com/1383716/1639917
\\最后修改下通知信息为英文，中文内容可能会投递失败。
# 配置haproxy日志
[root@vmware-130 ~]# vim /etc/rsyslog.d/haproxy.conf
$ModLoad imudp
$UDPServerRun 514
local3.* /data/haproxy/logs/haproxy.log
local0.* /data/haproxy/logs/haproxy.log
[root@vmware-130 ~]# vim /etc/sysconfig/rsyslog
SYSLOGD_OPTIONS="-c 2 -r -m 0"
[root@vmware-130 ~]# service rsyslog restart
9. 启动haproxy、keepalived服务。(先启动两个haproxy服务，然后在依次启动master、backup上的keepalived服务)
[root@vmware-130 ~]# service haproxy start ( 先启动 haproxy 服务 )
[root@vmware-130 ~]# service keepalived start
10. 测试redis-cli客户端访问
[root@vmware-130 ~]# redis-cli -h 192.168.43.130 -p 45001
备注：redis-cli 命令，codis里面是没有的，我是安装redis服务的，只是用codis而已。
到这里，整个架构已经全部部署完成啦！！！
四、Codis 群集架构故障测试
备注：由于本环境在本地虚拟机上部署，占不涉及到性能测试。codis性能测试可使用redis-benchmark工具
1.停止任意zookeeper节点，检查codis-proxy，dashboard是否正常.
[root@vmware-132 scripts]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader \\目前此节点提供服务
[root@vmware-132 scripts]# zkServer.sh stop \\停止此服务，模拟leader挂掉。
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
检查zookeeper其他节点是否重新选取 leader。
[root@vmware-131 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader \\可以看到，vmware-131已经选举为leader.
[root@vmware-130 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
redis客户端是否能正常访问到codis-proxy。
[root@vmware-130 logs]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> get mike
"liweizhong"
192.168.43.100:45001> get benet
"lwz"
192.168.43.100:45001> get id
"27"
192.168.43.100:45001> exit
[root@vmware-130 logs]#
dashboard管理界面是否正常。
打开浏览器，访问 http://192.168.43.130:18087/admin/
2.停止group master,检查group slave是否自动切换主
接下来，我们开始来模拟vmware-130机器上的codis-server master 6379端口挂掉
停止codis-master后，检查codis-ha日志输出如下信息:
打开管理界面，查看到如下信息：
客户端写入新数据，切换后的主是否有新key增加。
[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> set abc 123
OK
192.168.43.100:45001> set def 456
OK
192.168.43.100:45001> get abc
"123"
192.168.43.100:45001> get def
"456"
192.168.43.100:45001> exit
打开管理界面，查看到keys增加两个。
接下来我们恢复vmware-130 codis-server 6379
[root@vmware-130 ~]# /usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf
[root@vmware-130 ~]# ps -ef |grep codis-server
root 2121 1 0 Apr30 ? 00:02:15 /usr/local/codis/bin/codis-server *:6380
root 7470 1 21 16:58 ? 00:00:00 /usr/local/codis/bin/codis-server *:6379
root 7476 1662 0 16:58 pts/0 00:00:00 grep codis-server
这时，我们在管理界面看到如下情况：
备注：当master挂掉时候，redis-ha检测到自动将slave切换为master,但是master恢复后，仍为offline，需要将其删除在添加，就可以成为slave.
按备注那样，我们需要将原来的master 6379先删除，然后再次添加。操作完成后，如下图所示：
3.通过dashboard管理界面添加codis-server组，在线迁移、扩展等。
添加新组，添加master,slave . \\此步省略，之前已经添加好group_3
通过Migrate Slot(s)选项，我们来迁移group_1组到group_3组：
为了模拟迁移是否会影响到业务，我在一台机器开启插入数据脚本，
[root@vmware-132 scripts]# sh redis-key.sh \\脚本里面连接codis群集请修改为虚拟IP.
现在又客户端在实时插入数据，接下来通过管理界面操作步骤如下：
目前客户端在不断插入新数据，后端我们又在迁移组数据，那么我们现在在来get数据看看是否正常。
[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> get abc
"123"
192.168.43.100:45001> get benet
"lwz"
192.168.43.100:45001> get mike
"liweizhong"
192.168.43.100:45001> get id
"27"
192.168.43.100:45001> exit
可以看到后端在迁移数据，对业务访问不受影响。这点非常赞。
迁移完成后，如下图所示：
4.模拟codis-proxy节点挂掉，看haproxy服务是否会剔除节点。
我们仍继续用脚本插入数据，然后停止vmware-131上面的codis-proxy服务。
[root@vmware-132 scripts]# sh redis-key.sh
[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> get mike
"liweizhong"
192.168.43.100:45001> get benet
"lwz"
192.168.43.100:45001> get id
"27"
192.168.43.100:45001> get abc
"123"
codis-proxy代理节点挂掉一个，haproxy自动剔除此节点，插入数据脚本由于之前连接的socket挂掉，会中断重新连接新的socket. 业务正常访问。
以下为haproxy监控页面信息：
codis管理界面我们可以看到codis_proxy_2已经没有显示出来：
当codis_proxy_2恢复的时候，haproxy又自动加入此节点，并正常提供服务。
codis管理界面又正常显示codis_proxy_2节点。
5.keepalived+haproxy群集故障测试
一、停止haproxy-master , 观察/var/log/message日志
照样启动redis-key.sh插入数据脚本
[root@vmware-132 scripts]# sh redis-key.sh
停止 haproxy master
以下为截取到的日志信息:
keepalived master 130 tail -f /var/log/message
keepalived backup 132 tail -f /var/log/message
插入数据脚本会出现中断，然后又正常插入数据。
虚拟IP出现一次掉包，然后马上恢复了。
二、恢复haproxy-master, 观察/var/log/message日志，看是否被抢占，正常情况主haproxy恢复后，不会进行切换，防止业务来回切换。。。
接下来我们恢复haproxy-master
[root@vmware-130 logs]# service haproxy start
Starting haproxy: [ OK ]
tail -f /var/log/message
以上截图我们可以看到恢复haproxy-master后，VIP不会进行漂移，keepalived进入BACKUP状态，这是因为设置了nopreempt参数，不抢占，防止业务来回切换。。。
三、停止haproxy-backup, 观察 /var/log/message日志，是否进行切换。
以上我们模拟了haproxy-master故障和恢复，现在我们再次模拟现在的haproxy-master也就是原先的haproxy-backup.
模拟haproxy-backup进程挂掉：
keepalived master 130 tail -f /var/log/message
keepalived backup 132 tail -f /var/log/message
VIP进行了漂移，keepalived也切换身份。
再次恢复haproxy-backup ,VIP不进行漂移，与以上类似，不在描述。
四、模拟keepalived进程挂掉
keepalived-master 挂掉，keepalived主备切换，VIP进行漂移。
当keepalived-master恢复时，直接进入BACKUP状态，不进行主备切换，VIP不漂移。
此篇文章，涉及到东西比较多，文章比较长，适合耐心的童鞋们阅读，生产环境部署可参考此篇文章。
Codis 并不太适合 key 少，但是 value 特别大的应用， 而且你的 key 越少， value 越大，最后就会退化成单个 redis 的模型 （性能还不如 raw redis），所以 Codis 更适合海量 Key, value比较小 （<= 1 MB) 的应用。
codis-proxy 提供连接集群redis服务的入口
codis-redis-group 实现redis读写的水平扩展，高性能
codis-redis 实现redis实例服务，通过codis-ha实现服务的高可用
实验环境：
网络拓扑图：https://www.gliffy.com/go/publish/4767058
群集架构图：https://www.gliffy.com/go/publish/4640202
机器与应用列表：
System version: CentOS 6.5
IP: 192.168.43.130 hostname: vmware-130
apps: keepalived + haproxy Master, zookeeper_1, codis_proxy_1, codis_config, codis_server_master,slave
IP: 192.168.43.131 hostname: vmware-131
apps: zookeeper_2, codis_proxy_2, codis_server_master,slave
IP: 192.168.43.132 hostname: vmware-132
apps: keepalived + haproxy Backup, zookeeper_3, codis_proxy_3, codis_server_master,slave
VIP: 192.168.43.100 Port: 45001
备注：由于是虚拟测试环境，非生产环境，所以一台机器跑多个应用，如应用于生产环境，只需把应用分开部署到相应机器上即可。
一、初始化CentOS系统
1. 使用镜像站点配置好的yum安装源配置文件
cd /etc/yum.repos.d/
/bin/mv CentOS-Base.repo CentOS-Base.repo.bak
wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
接下来执行如下命令，检测yum是否正常
yum clean all #清空yum缓存
yum makecache #建立yum缓存
然后使用如下命令将系统更新到最新
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY* #导入签名KEY到RPM
yum upgrade -y #更新系统内核到最新
2. 关闭不必要的服务
for sun in `chkconfig --list|grep 3:on|awk '{print $1}'`;do chkconfig --level 3 $sun off;done
for sun in `chkconfig --list|grep 5:on|awk '{print $1}'`;do chkconfig --level 5 $sun off;done
for sun in crond rsyslog sshd network;do chkconfig --level 3 $sun on;done
for sun in crond rsyslog sshd network;do chkconfig --level 5 $sun on;done
3. 安装依赖包
yum install -y gcc make g++ gcc-c++ automake lrzsz openssl-devel zlib-* bzip2-* readline* zlib-* bzip2-*
4. 创建软件存放目录
mkdir /data/packages
5. 软件包版本以及下载地址：
jdk1.8.0_45
zookeeper-3.4.6
go1.4.2
pcre-8.37
haproxy-1.4.22
keepalived-1.4.26
cd /data/packages
wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
wget http://golangtc.com/static/go/go1.4.2.linux-amd64.tar.gz
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.37.tar.gz
wget http://www.keepalived.org/software/keepalived-1.2.16.tar.gz
通过浏览器自行下载:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html http://www.haproxy.org/download/1.4/src/haproxy-1.4.26.tar.gz
6. 重启系统
[root@vmware-130 ~]# init 6
二、部署Zookeeper群集
1.配置hosts文件 ( zookeeper节点机器上配置 )
[root@vmware-130 ~]# vim /etc/hosts
192.168.43.130 vmware-130
192.168.43.131 vmware-131
192.168.43.132 vmware-132
2.安装java 坏境 ( zookeeper节点机器上配置 )
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 packages ]# tar zxvf jdk-8u45-linux-x64.tar.gz -C /usr/local
[root@vmware-130 packages ]# cd /usr/local
[root@vmware-130 local ]# ln -s jdk1.8.0_45 java
3. 安装Zookeeper ( zookeeper节点机器上配置 )
cd /data/packages
tar zxvf zookeeper-3.4.6.tar.gz -C /usr/local
ln -s zookeeper-3.4.6 zookeeper
cd /usr/local/zookeeper/
4.设置环境变量 ( zookeeper节点机器上配置 )
vim /etc/profile
JAVA_HOME=/usr/local/java
JRE_HOME=$JAVA_HOME/jre
ZOOKEEPER_HOME=/usr/local/zookeeper
JAVA_FONTS=/usr/local/java/jre/lib/fonts
CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin
export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME
#生效环境变量
source /etc/profile
5. 修改zookeeper配置文件 ( zookeeper节点机器上配置 )
vi /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
autopurge.snapRetainCount=500
autopurge.purgeInterval=24
dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/logs
server.1=192.168.43.130:2888:3888
server.2=192.168.43.131:2888:3888
server.3=192.168.43.132:2888:3888
#创建数据目录和日志目录 ( zookeeper节点机器上配置 )
mkdir -p /data/zookeeper/data
mkdir -p /data/zookeeper/logs
6. 在zookeeper节点机器上创建myid文件，节点对应id
在43.130机器上创建myid，并设置为1与配置文件zoo.cfg里面server.1对应。
echo "1" > /data/zookeeper/data/myid
在43.131机器上创建myid，并设置为1与配置文件zoo.cfg里面server.2对应。
echo "2" > /data/zookeeper/data/myid
在43.132机器上创建myid，并设置为1与配置文件zoo.cfg里面server.3对应。
echo "3" > /data/zookeeper/data/myid
7. 启动zookeeper服务, 以vmware-130为例：
[root@vmware-130 ~]# zkServer.sh start
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
8.检查zookeeper所有节点状态
[root@vmware-130 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[root@vmware-131 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[root@vmware-132 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader
二、部署Codis群集
1. 安装 go 语言环境 ( 所有codis机器上配置 )
/data/packages
tar zxvf go1.4.2.linux-amd64.tar.gz -C /usr/local
2. 添加GO环境变量，其他环境变量不变。
vim /etc/profile
GOROOT=/usr/local/go
GOPATH=/usr/local/codis
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$GOROOT/bin
export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME GOROOT GOPATH
source /etc/profile
3. 安装codis ( 所有codis机器上配置 )
yum install -y git
go get github.com/wandoulabs/codis
cd $GOPATH/src/github.com/wandoulabs/codis
#执行编译测试脚本，编译go和reids。
./bootstrap.sh
make gotest
# 将编译好后，把bin目录和一些脚本复制过去/usr/local/codis目录下：
mkdir -p /usr/local/codis/{logs,conf,scripts} #创建codis日志，配置文件，脚本目录
mkdir -p /data/codis_server/{logs,conf,data} #创建codis_server 日志，配置文件，数据目录
cp -rf bin /usr/local/codis/ #复制bin目录到自定义的安装目录
cp sample/config.ini /usr/local/codis/conf/ #复制模板配置文件到安装目录
cp sample/redis_conf/6381.conf /data/codis_server/conf/ #复制codis_server配置文件到配置目录
cp -rf /usr/local/codis/src/github.com/wandoulabs/codis/sample/usage.md /usr/local/codis/scripts/ #复制模板启动流程文件到脚本目录下
4. 配置codis_proxy_1 ( vmware-130 机器上配置)
cd /usr/local/codis
vim config.ini
zk=vmware-130:2181,vmware-131:2181,vmware-132:2181
product=codis
proxy_id=codis_proxy_1
net_timeout=5
dashboard_addr=192.168.43.130:18087
coordinator=zookeeper
配置codis_proxy_1 ( vmware-131 机器上配置)
cd /usr/local/codis
vim config.ini
zk=vmware-130:2181,vmware-131:2181,vmware-132:2181
product=codis
proxy_id=codis_proxy_2
net_timeout=5
dashboard_addr=192.168.43.130:18087
coordinator=zookeeper
配置codis_proxy_1 ( vmware-132 机器上配置)
cd /usr/local/codis
vim config.ini
zk=vmware-130:2181,vmware-131:2181,vmware-132:2181
product=codis
proxy_id=codis_proxy_3
net_timeout=5
dashboard_addr=192.168.43.130:18087
coordinator=zookeeper
5. 修改配置文件，启动codis-server服务. ( 所有codis-server机器上 )
cd /data/codis_server/conf/
mv 6381.conf 6379.conf
vim 6379.conf
修改如下参数: (生产环境，参数适当进行调整)
daemonize yes
pidfile /var/run/redis_6379.pid
port 6379
logfile "/data/codis_server/logs/codis_6379.log"
save 900 1
save 300 10
save 60 10000
dbfilename 6379.rdb
dir /data/codis_server/data
复制6380配置文件
cp 6379.conf 6380.conf
sed -i 's/6379/6380/g' 6380.conf
添加内核参数
echo "vm.overcommit_memory = 1" >> /etc/sysctl.conf
sysctl -p
启动codis-server服务 ( 所有codis-server机器上 )
/usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf
/usr/local/codis/bin/codis-server /data/codis_server/conf/6380.conf
6. 查看一下启动流程：( 以vmware-130机器为例 )
[root@vmware-130 ~]# cat /usr/local/codis/scripts/usage.md
0. start zookeeper //启动zookeeper服务
1. change config items in config.ini //修改codis配置文件
2. ./start_dashboard.sh //启动 dashboard
3. ./start_redis.sh //启动redis实例
4. ./add_group.sh //添加redis组，一个redis组只能有一个master
5. ./initslot.sh //初始化槽
6. ./start_proxy.sh //启动codis_proxy
7. ./set_proxy_online.sh //上线proxy项目
8. open browser to http://localhost:18087/admin //访问管理界面
这只是一个参考，有些顺序不是必须的，但启动dashboard前，必须启动zookeeper服务，这是必须的，后面有很多操作，都可以在管理页面完成，例如添加/删除组、数据分片、添加/删除redis实例等
7. 创建dashboard启动脚本。可参考/usr/local/codis/src/github.com/wandoulabs/codis/sample/模板脚本( 只需在一台机器上启动即可。43.130上启动 )
[root@vmware-130 ~]# vim /usr/local/codis/scripts/start_dashboard.sh
#!/bin/sh
CODIS_HOME=/usr/local/codis
nohup $CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/dashboard.log dashboard --addr=:18087 --http-log=$CODIS_HOME/logs/requests.log &>/dev/null &
启动dashboard
[root@vmware-130 ~]# cd /usr/local/codis/scripts/
[root@vmware-130 scripts ]# sh start_dashboard.sh
8. 创建初始化槽脚本，可参考/usr/local/codis/src/github.com/wandoulabs/codis/sample/模板脚本( 在任一台机器上机器上配置，此环境在43.130机器上配置 )
[root@vmware-130 ~]# vim /usr/local/codis/scripts/initslot.sh
#!/bin/sh
CODIS_HOME=/usr/local/codis
echo "slots initializing..."
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini slot init -f
echo "done"
执行初始化槽脚本：
[root@vmware-130 ~]# cd /usr/local/codis/scripts
[root@vmware-130 scripts ]# sh initslot.sh
9. 配置codis-server,启动codis-server master , slave 实例 ，以上步骤已经启动，不在描述。
10. 通过管理页面添加组ID，为组添加主从实例，一个组里只能有一个master，设置slot分片数据等。
http://192.168.43.130:18087（最好用Firefox浏览器或者谷歌浏览器，别的浏览器比较坑爹！！！）
如下图所示：
接下来，依次添加 Server Group 1,2,3 ( 共添加3组 )
添加好后，图为下：
接下来添加codis-server实例包括master ,slave
全部添加完成后，如下图所示：
为组分配Slot(槽)范围
group_1 0 - 511
group_2 512 - 1023
group_3 暂时不分配，以下测试中，用来迁移其他组使用。
如下图操作所示：group_1 ( 0 - 511 )
添加成功后，页面会显示success窗口，如下图所示。
如下图操作所示：group_2 ( 512 - 1023 )
添加成功后，页面会显示success窗口，如下图所示。
查看整个Slots分布情况: 选择 Slots Status 或者 右上角那个 Slots 都可以看到分布情况。
11. 配置codis-ha服务，主从自动切换。( 随便找个节点机器上配置即可,此环境中在43.131机器上配置 )
[root@vmware-131 ~]# go get github.com/ngaut/codis-ha
[root@vmware-131 ~]# cd /usr/local/codis/src/github.com/ngaut
[root@vmware-131 ~]# cp -r codis-ha /usr/local/
[root@vmware-131 ~]# cd /usr/local/codis-ha
[root@vmware-131 codis-ha ]# go build
创建启动脚本，启动codis-ha服务
[root@vmware-131 ~]# vim /usr/local/codis-ha/start_codis_ha.sh
#!/bin/sh
./codis-ha --codis-config=192.168.43.130:18087 -log-level="info" --productName=vmware-Codis &> ./logs/codis-ha.log &
创建日志目录
[root@vmware-131 ~]# mkdir /usr/local/codis-ha/logs
[root@vmware-131 ~]# cd /usr/local/codis-ha/
[root@vmware-131 codis-ha ]# sh start_codis_ha.sh
12. 修改start_proxy.sh，启动codis-proxy服务 ( 以130机器配置为例，其余codis-proxy只需修改下名称即可。)
[root@vmware-130 scripts]# vim /usr/local/codis/scripts/start_proxy.sh
#!/bin/sh
CODIS_HOME=/usr/local/codis
echo "shut down codis_proxy_1..."
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy offline codis_proxy_1
echo "done"
echo "start new codis_proxy_1..."
nohup $CODIS_HOME/bin/codis-proxy --log-level error -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/codis_proxy_1.log --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 &
echo "done"
echo "sleep 3s"
sleep 3
tail -n 30 $CODIS_HOME/logs/codis_proxy_1.log
[root@vmware-130 scripts]# vim /usr/local/codis/scripts/set_proxy_online.sh
#!/bin/sh
CODIS_HOME=/usr/local/codis
echo "set codis_proxy_1 online"
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy online codis_proxy_1
echo "done"
启动codis-proxy
./start_proxy.sh
上线codis_proxy_1
./set_proxy_online.sh
备注：其他codis_proxy只需修改start_proxy.sh和set_proxy_online.sh启动脚本里面的codis_proxy_1名称即可。
13. 通过redis-cli客户端直接访问codis-proxy,写入数据，看组里面的master和slave 是否同步。
[root@vmware-130 scripts]# redis-cli -p 19000
127.0.0.1:19000> set mike liweizhong
OK
127.0.0.1:19000> set benet lwz
OK
127.0.0.1:19000> exit
[root@vmware-130 scripts]#
通过管理界面看到如下图所示：
codis-server master,slave 同步数据正常，slots槽分片数据正常。
接下来在通过codis-proxy去取数据看看。
[root@vmware-130 scripts]# redis-cli -p 19000
127.0.0.1:19000> get mike
"liweizhong"
127.0.0.1:19000> get benet
"lwz"
127.0.0.1:19000> exit
[root@vmware-130 scripts]#
以下用shell简单的写了个插入redis数据脚本，此脚本会插入20W个key,每运行一次，需要调整INSTANCE_NAME参数里面的数字，才可重新插入新数据。仅供测试使用：
[root@vmware-132 scripts]# cat redis-key.sh
#!/bin/bash
REDISCLI="redis-cli -h 192.168.43.131 -p 19000 -n 0 SET"
ID=1
while [ $ID -le 50000 ]
do
INSTANCE_NAME="i-2-$ID-VM"
UUID=`cat /proc/sys/kernel/random/uuid`
CREATED=`date "+%Y-%m-%d %H:%M:%S"`
$REDISCLI vm_instance:$ID:instance_name "$INSTANCE_NAME"
$REDISCLI vm_instance:$ID:uuid "$UUID"
$REDISCLI vm_instance:$ID:created "$CREATED"
$REDISCLI vm_instance:$INSTANCE_NAME:id "$ID"
ID=`expr $ID + 1`
done
执行插入脚本
[root@vmware-132 scripts]# sh redis-key.sh
通过管理界面，我们可以看到如下图所示：
数据插完后，最终如下图所示：
三、部署Keepalived + haproxy 高可用负载均衡
安装haproxy、keepalived (43.130、43.132 机器上操作)
1.查看系统内核是否支持 tproxy
[root@vmware-130 ~]# grep TPROXY /boot/config-`uname -r`
CONFIG_NETFILTER_TPROXY=m
CONFIG_NETFILTER_XT_TARGET_TPROXY=m
内核为2.6.32-220.el6.x86_64，支持TPROXY；
2.源码安装pcre-8.01
[root@vmware-130 ~]# rpm -qa|grep pcre
pcre-7.8-6.el6.x86_64
pcre-devel-7.8-6.el6.x86_64
系统已经rpm形式安装了pcre，但安装haproxy时，提示找不到pcre的库文件，看了haproxy的Makefile文件，指定pcre的为/usr/local下，故再源码安装一个pcre-8.01，如下(如果不重新安装，可以改makefile文件或把库文件软链到makefile文件指定的路径)
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 ~]# tar -zxf pcre-8.37.tar.gz && cd pcre-8.37
[root@vmware-130 pcre-8.36 ]# ./configure --disable-shared --with-pic
[root@vmware-130 pcre-8.36 ]# make && make install
3.安装 haproxy-1.4.22
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 ~]# tar xf haproxy-1.4.26.tar.gz
[root@vmware-130 ~]# cd haproxy-1.4.26
[root@vmware-130 haproxy-1.4.26 ]# make TARGET=linux26 CPU=x86_64 USE_STATIC_PCRE=1 USE_LINUX_TPROXY=1
[root@vmware-130 haproxy-1.4.26 ]# make install target=linux26
[root@vmware-130 haproxy-1.4.26 ]# mkdir -p /usr/local/haproxy/sbin
[root@vmware-130 haproxy-1.4.26 ]# mkdir -p /data/haproxy/{conf,run,logs}
[root@vmware-130 haproxy-1.4.26 ]# ln -s /usr/local/sbin/haproxy /usr/local/haproxy/sbin
4. 创建haproxy启动脚本
[root@vmware-130 ~]# vim /etc/init.d/haproxy
#!/bin/sh
# haproxy
# chkconfig: 35 85 15
# description: HAProxy is a free, very fast and reliable solution \
# offering high availability, load balancing, and \
# proxying for TCP and HTTP-based applications
# processname: haproxy
# config: /data/haproxy/conf/haproxy.cfg
# pidfile: /data/haproxy/run/haproxy.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
config="/data/haproxy/conf/haproxy.cfg"
exec="/usr/local/haproxy/sbin/haproxy"
prog=$(basename $exec)
[ -e /etc/sysconfig/$prog ] && . /etc/sysconfig/$prog
lockfile=/var/lock/subsys/haproxy
check() {
$exec -c -V -f $config
}
start() {
$exec -c -q -f $config
if [ $? -ne 0 ]; then
echo "Errors in configuration file, check with $prog check."
return 1
fi
echo -n $"Starting $prog: "
# start it up here, usually something like "daemon $exec"
daemon $exec -D -f $config -p /data/haproxy/run/$prog.pid
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
# stop it here, often "killproc $prog"
killproc $prog
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
$exec -c -q -f $config
if [ $? -ne 0 ]; then
echo "Errors in configuration file, check with $prog check."
return 1
fi
stop
start
}
reload() {
$exec -c -q -f $config
if [ $? -ne 0 ]; then
echo "Errors in configuration file, check with $prog check."
return 1
fi
echo -n $"Reloading $prog: "
$exec -D -f $config -p /data/haproxy/run/$prog.pid -sf $(cat /data/haproxy/run/$prog.pid)
retval=$?
echo
return $retval
}
force_reload() {
restart
}
fdr_status() {
status $prog
}
case "$1" in
start|stop|restart|reload)
$1
;;
force-reload)
force_reload
;;
checkconfig)
check
;;
status)
fdr_status
;;
condrestart|try-restart)
[ ! -f $lockfile ] || restart
;;
*)
echo $"Usage: $0 {start|stop|status|checkconfig|restart|try-restart|reload|force-reload}"
exit 2
esac
备注：此脚本stop的时候有问题，有待解决。
#添加haproxy服务
[root@vmware-130 ~]# echo "net.ipv4.ip_nonlocal_bind = 1" >> /etc/rsysctl.conf
[root@vmware-130 ~]# sysctl -p
[root@vmware-130 ~]# chmod 755 /etc/init.d/haproxy
[root@vmware-130 ~]# chkconfig --add haproxy
[root@vmware-130 ~]# chkconfig haproxy on
5.安装keepalived
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 ~]# tar zxvf keepalived-1.2.16.tar.gz
[root@vmware-130 ~]# cd keepalived-1.2.16
[root@vmware-130 keepalived-1.2.16 ]# ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-504.16.2.el6.x86_64/
\\若/usr/src/kernels/目录下为空，那么安装kernel-headers和kernel-devel包 yum install -y kernel-header kernel-devel
[root@vmware-130 keepalived-1.2.16 ]# make && make install
6.配置keepalived,添加keepalived 服务
[root@vmware-130 ~]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
[root@vmware-130 ~]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
[root@vmware-130 ~]# mkdir -p /data/keepalived/{conf,scripts}
[root@vmware-130 ~]# cp /usr/local/sbin/keepalived /usr/sbin/
[root@vmware-130 ~]# chkconfig --add keepalived
[root@vmware-130 ~]# chkconfig keepalived on
7. 配置haproxy.cfg配置文件( 43.130, 43.132 配置，haproxy.cfg配置文件完全一样 )
[root@vmware-130 ~]# vim /usr/local/haproxy/conf/haproxy.cfg
########### 全局配置 #########
global
log 127.0.0.1 local0 err
chroot /usr/local/haproxy
daemon
nbproc 1
group nobody
user nobody
pidfile /usr/local/haproxy/run/haproxy.pid
ulimit-n 65536
#spread-checks 5m
#stats timeout 5m
#stats maxconn 100
######## 默认配置 ############
defaults
mode tcp #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
retries 3 #两次连接失败就认为是服务器不可用，也可以通过后面设置
option redispatch #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器
option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
maxconn 32000 #默认的最大连接数
timeout connect 5000ms #连接超时
timeout client 30000ms #客户端超时
timeout server 30000ms #服务器超时
#timeout check 2000 #心跳检测超时
log 127.0.0.1 local3 err #[err warning info debug]
######## proxy 配置#################
listen proxy_status
bind 0.0.0.0:45001
mode tcp
balance roundrobin
server codis_proxy_1 192.168.43.130:19000 weight 1 maxconn 10000 check inter 10s
server codis_proxy_2 192.168.43.131:19000 weight 1 maxconn 10000 check inter 10s
server codis_proxy_3 192.168.43.132:19000 weight 1 maxconn 10000 check inter 10s
######## 统计页面配置 ########
listen admin_stats
bind 0.0.0.0:8099 #监听端口
mode http #http的7层模式
option httplog #采用http日志格式
#log 127.0.0.1 local0 err
maxconn 10
stats refresh 30s #统计页面自动刷新时间
stats uri /stats #统计页面url
stats realm XingCloud\ Haproxy #统计页面密码框上提示文本
stats auth admin:admin #统计页面用户名和密码设置
stats hide-version #隐藏统计页面上HAProxy的版本信息
stats admin if TRUE
8. 配置keepalived.conf配置文件 ( 43.130 上配置，43.132备用配置主要修改参数已经标注 )
[root@vmware-130 ~]# vim /data/keepalived/conf/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
lwz_benet@163.com
}
notification_email_from lwz_benet@1163.com
smtp_connect_timeout 30
smtp_server 127.0.0.1
router_id HAProxy_DEVEL
}
vrrp_script chk_haproxy {
script "killall -0 haproxy"
interval 2
}
vrrp_instance HAProxy_HA {
state BACKUP
interface eth0
virtual_router_id 80
priority 100 #备用为90
advert_int 2
nopreempt #设置不强占，防止业务来回切换。
authentication {
auth_type PASS
auth_pass KJj23576hYgu23IP
}
track_interface {
eth0
}
virtual_ipaddress {
192.168.43.100
}
track_script {
chk_haproxy
}
#状态通知
notify_master "/data/keepalived/scripts/mail_notify.py master"
notify_backup "/data/keepalived/scripts/mail_notify.py backup"
notify_fault "/data/keepalived/scripts/mail_notify.py fault"
}
\\拷贝主上面的keepalived.conf到从上，只需修改priority值参数即可。
创建/data/keepalived/scripts/mail_notify.py邮件通知程序：
详细请访问：http://liweizhong.blog.51cto.com/1383716/1639917
\\最后修改下通知信息为英文，中文内容可能会投递失败。
# 配置haproxy日志
[root@vmware-130 ~]# vim /etc/rsyslog.d/haproxy.conf
$ModLoad imudp
$UDPServerRun 514
local3.* /data/haproxy/logs/haproxy.log
local0.* /data/haproxy/logs/haproxy.log
[root@vmware-130 ~]# vim /etc/sysconfig/rsyslog
SYSLOGD_OPTIONS="-c 2 -r -m 0"
[root@vmware-130 ~]# service rsyslog restart
9. 启动haproxy、keepalived服务。(先启动两个haproxy服务，然后在依次启动master、backup上的keepalived服务)
[root@vmware-130 ~]# service haproxy start ( 先启动 haproxy 服务 )
[root@vmware-130 ~]# service keepalived start
10. 测试redis-cli客户端访问
[root@vmware-130 ~]# redis-cli -h 192.168.43.130 -p 45001
备注：redis-cli 命令，codis里面是没有的，我是安装redis服务的，只是用codis而已。
到这里，整个架构已经全部部署完成啦！！！
四、Codis 群集架构故障测试
备注：由于本环境在本地虚拟机上部署，占不涉及到性能测试。codis性能测试可使用redis-benchmark工具
1.停止任意zookeeper节点，检查codis-proxy，dashboard是否正常.
[root@vmware-132 scripts]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader \\目前此节点提供服务
[root@vmware-132 scripts]# zkServer.sh stop \\停止此服务，模拟leader挂掉。
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
检查zookeeper其他节点是否重新选取 leader。
[root@vmware-131 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader \\可以看到，vmware-131已经选举为leader.
[root@vmware-130 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
redis客户端是否能正常访问到codis-proxy。
[root@vmware-130 logs]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> get mike
"liweizhong"
192.168.43.100:45001> get benet
"lwz"
192.168.43.100:45001> get id
"27"
192.168.43.100:45001> exit
[root@vmware-130 logs]#
dashboard管理界面是否正常。
打开浏览器，访问 http://192.168.43.130:18087/admin/
2.停止group master,检查group slave是否自动切换主
接下来，我们开始来模拟vmware-130机器上的codis-server master 6379端口挂掉
停止codis-master后，检查codis-ha日志输出如下信息:
打开管理界面，查看到如下信息：
客户端写入新数据，切换后的主是否有新key增加。
[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> set abc 123
OK
192.168.43.100:45001> set def 456
OK
192.168.43.100:45001> get abc
"123"
192.168.43.100:45001> get def
"456"
192.168.43.100:45001> exit
打开管理界面，查看到keys增加两个。
接下来我们恢复vmware-130 codis-server 6379
[root@vmware-130 ~]# /usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf
[root@vmware-130 ~]# ps -ef |grep codis-server
root 2121 1 0 Apr30 ? 00:02:15 /usr/local/codis/bin/codis-server *:6380
root 7470 1 21 16:58 ? 00:00:00 /usr/local/codis/bin/codis-server *:6379
root 7476 1662 0 16:58 pts/0 00:00:00 grep codis-server
这时，我们在管理界面看到如下情况：
备注：当master挂掉时候，redis-ha检测到自动将slave切换为master,但是master恢复后，仍为offline，需要将其删除在添加，就可以成为slave.
按备注那样，我们需要将原来的master 6379先删除，然后再次添加。操作完成后，如下图所示：
3.通过dashboard管理界面添加codis-server组，在线迁移、扩展等。
添加新组，添加master,slave . \\此步省略，之前已经添加好group_3
通过Migrate Slot(s)选项，我们来迁移group_1组到group_3组：
为了模拟迁移是否会影响到业务，我在一台机器开启插入数据脚本，
[root@vmware-132 scripts]# sh redis-key.sh \\脚本里面连接codis群集请修改为虚拟IP.
现在又客户端在实时插入数据，接下来通过管理界面操作步骤如下：
目前客户端在不断插入新数据，后端我们又在迁移组数据，那么我们现在在来get数据看看是否正常。
[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> get abc
"123"
192.168.43.100:45001> get benet
"lwz"
192.168.43.100:45001> get mike
"liweizhong"
192.168.43.100:45001> get id
"27"
192.168.43.100:45001> exit
可以看到后端在迁移数据，对业务访问不受影响。这点非常赞。
迁移完成后，如下图所示：
4.模拟codis-proxy节点挂掉，看haproxy服务是否会剔除节点。
我们仍继续用脚本插入数据，然后停止vmware-131上面的codis-proxy服务。
[root@vmware-132 scripts]# sh redis-key.sh
[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> get mike
"liweizhong"
192.168.43.100:45001> get benet
"lwz"
192.168.43.100:45001> get id
"27"
192.168.43.100:45001> get abc
"123"
codis-proxy代理节点挂掉一个，haproxy自动剔除此节点，插入数据脚本由于之前连接的socket挂掉，会中断重新连接新的socket. 业务正常访问。
以下为haproxy监控页面信息：
codis管理界面我们可以看到codis_proxy_2已经没有显示出来：
当codis_proxy_2恢复的时候，haproxy又自动加入此节点，并正常提供服务。
codis管理界面又正常显示codis_proxy_2节点。
5.keepalived+haproxy群集故障测试
一、停止haproxy-master , 观察/var/log/message日志
照样启动redis-key.sh插入数据脚本
[root@vmware-132 scripts]# sh redis-key.sh
停止 haproxy master
以下为截取到的日志信息:
keepalived master 130 tail -f /var/log/message
keepalived backup 132 tail -f /var/log/message
插入数据脚本会出现中断，然后又正常插入数据。
虚拟IP出现一次掉包，然后马上恢复了。
二、恢复haproxy-master, 观察/var/log/message日志，看是否被抢占，正常情况主haproxy恢复后，不会进行切换，防止业务来回切换。。。
接下来我们恢复haproxy-master
[root@vmware-130 logs]# service haproxy start
Starting haproxy: [ OK ]
tail -f /var/log/message
以上截图我们可以看到恢复haproxy-master后，VIP不会进行漂移，keepalived进入BACKUP状态，这是因为设置了nopreempt参数，不抢占，防止业务来回切换。。。
三、停止haproxy-backup, 观察 /var/log/message日志，是否进行切换。
以上我们模拟了haproxy-master故障和恢复，现在我们再次模拟现在的haproxy-master也就是原先的haproxy-backup.
模拟haproxy-backup进程挂掉：
keepalived master 130 tail -f /var/log/message
keepalived backup 132 tail -f /var/log/message
VIP进行了漂移，keepalived也切换身份。
再次恢复haproxy-backup ,VIP不进行漂移，与以上类似，不在描述。
四、模拟keepalived进程挂掉
keepalived-master 挂掉，keepalived主备切换，VIP进行漂移。
当keepalived-master恢复时，直接进入BACKUP状态，不进行主备切换，VIP不漂移。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- web网站 天气接口
- 存储scale-up和scalce-out架构
- CSS架构最佳实践：预测、重用、扩展、维护
- 架构师速成-架构体系
- 架构师速成-架构体系
- 构建LNMP网站平台
- CodingLabs - 网站统计中的数据收集原理及实现
- 《实用技巧》——让你的网站变成响应式的3个简单步骤
- 淘宝在数据处理领域的项目及开源产品介绍 | 岭南六少 - 一朵在LAMP架构下挣扎的云
- sharepoint 2016 学习系列篇(7)-如何给网站分配用户访问权限site permission for users
- Gleasy首席架构师薛珂：以开源为基础实现分布式框架及中间件-CSDN.NET
- 简单之美 | 基于Dubbo框架构建分布式服务
- javascript学习资源、网站链接
- sharepoint 2016 学习系列篇(5)-创建一个应用程序网站
- 5大实用方法提升网站流量
- 外网访问本机调试的VS2008 C#网站
- win8.1下IIS网站打不开的问题
- 从Hadoop到Spark的架构实践
- ATS 5.3.0缓存架构
- 一个人的网站开发