基于Twemproxy的Redis集群方案

一、 目标

单台Redis内存有限，并且在大内存环境中，性能急剧下降。因此，为了减少Redis连接，并且能够更好的缓存数据，统一管理Redis实例，需要使用Redis集群来满足场景需求。我们采用TwemProxy来搭建Redis集群。

本文通过三台物理服务器来模拟搭建Redis集群，并记录操作步骤。后续搭建产品模式下Redis集群可参考本文。

二、 TwemProxy概述

TwemProxy是Twtter开源的一个Redis以及Memcache代理服务器，支持大部分Redis以及Memcache ASCII协议，能够对后端多台Redis或Memcached实例进行统一管理分配，客户端只需针对TwemProxy进行操作，而无需关心TwemProxy之后的真实存储，因此，数据存储在哪个Redis或Memcached实例上，对于客户端来说，是完全透明的。

TwemProxy支持自动分片、失败节点摘除、一致性hash，优化Redis请求(批处理)等，同时TwemProxy也有一些不足之处，例如无法全面覆盖Redis命令(不支持事务，多值操作(如keys*))。扩展Redis实例时，无法自动将之前数据进行再分配(需要写脚本手动分配)。

不支持命令详见：

       https://raw.githubusercontent.com/twitter/twemproxy/master/notes/redis.md
 

目前，TwemProxy在产品模式下应用广泛，成熟度高。

 

三、 部署准备

3.1 服务器

3.1.1 TwemProxy服务器

IP:：10.105.34.28(内)

CPU：8核

内存：16G

 

该服务器负责搭建TwemProxy实例，用来管理Redis实例节点。

 

3.1.2 Redis主服务器

IP:：10.105.42.38 (内)

CPU：8核

内存：16G

 

该服务器会部署8个Redis实例，并作为Redis Master.

 

3.1.3 Redis从服务器

IP:：10.105.41.100 (内)

CPU：8核

内存：16G

 

该服务器会部署8个Redis实例，并作为Redis Salve

 

命令：

       查看内存信息：free

       查看CPU信息：cat /proc/cpuinfo，查看cpu cores是否满足要求。

四、 安装Redis

1)       创建Redis目录

mkdir /usr/local/redis

 

2)       下载Redis源码到/usr/local/src目录中

cd /usr/local/src

wget http://download.redis.io/releases/redis-2.8.21.tar.gz
 

3)       解压，并建立一个软连接

tar xzf redis-2.8.21.tar.gz

ln -s redis-2.8.21 redis

 

4)       Redis安装

cd redis

make PREFIX=/usr/local/redis install

这时，在/usr/local/redis/bin中，存在

redis-benchmark

redis-check-aof

redis-check-dump

redis-cli

redis-server

五个文件。

 

5)       复制Redis脚本到init.d目录下，并改名

cp /usr/local/src/redis/utils/redis_init_script/etc/rc.d/init.d/redis

 

6)       修改/etc/rc.d/init.d/redis文件。

vim /etc/rc.d/init.d/redis

 

内容如下:

#!/bin/sh

#chkconfig: 2345 80 90

# Simple Redis init.d script conceived to work on Linuxsystems

# as it does use of the /proc filesystem.

 

REDISPORT=$2

EXEC=/usr/local/redis/bin/redis-server

CLIEXEC=/usr/local/redis/bin/redis-cli

 

PIDFILE=/var/run/redis_${REDISPORT}.pid

CONF="/usr/local/redis/${REDISPORT}/redis.conf"

 

case "$1" in

    start)

        if [ -f$PIDFILE ]

        then

                echo"$PIDFILE exists, process is already running or crashed"

        else

                echo"Starting Redis server..."

                $EXEC$CONF &

        fi

        ;;

    stop)

        if [ ! -f$PIDFILE ]

        then

                echo"$PIDFILE does not exist, process is not running"

        else

               PID=$(cat $PIDFILE)

                echo"Stopping ..."

               $CLIEXEC -p $REDISPORT shutdown

                while[ -x /proc/${PID} ]

                do

                   echo "Waiting for Redis to shutdown ..."

                   sleep 1

                done

                echo"Redis stopped"

        fi

        ;;

    *)

        echo"Please use start or stop as first argument"

        ;;

esac

 

7)       新建Redis不同端口目录，并复制Redis配置至端口目录下。

a)        10.105.42.38 服务器

cd /usr/local/redis

mkdir 6379 6380 6381 6382 6383 6384 6385 6386

cp /usr/local/src/redis/redis.conf/usr/local/redis/6379/redis.conf

cp /usr/local/src/redis/redis.conf/usr/local/redis/6380/redis.conf

cp /usr/local/src/redis/redis.conf/usr/local/redis/6381/redis.conf

cp /usr/local/src/redis/redis.conf/usr/local/redis/6382/redis.conf

cp /usr/local/src/redis/redis.conf /usr/local/redis/6383/redis.conf

cp /usr/local/src/redis/redis.conf/usr/local/redis/6384/redis.conf

cp /usr/local/src/redis/redis.conf/usr/local/redis/6385/redis.conf

cp /usr/local/src/redis/redis.conf/usr/local/redis/6386/redis.conf

 

b)       10.105.41.100服务器

cd /usr/local/redis

mkdir 63791 63801 63811 63821 63831 63841 63851 63861

cp /usr/local/src/redis/redis.conf/usr/local/redis/63791/redis.conf

cp /usr/local/src/redis/redis.conf/usr/local/redis/63801/redis.conf

cp /usr/local/src/redis/redis.conf /usr/local/redis/63811/redis.conf

cp /usr/local/src/redis/redis.conf/usr/local/redis/63821/redis.conf

cp /usr/local/src/redis/redis.conf/usr/local/redis/63831/redis.conf

cp /usr/local/src/redis/redis.conf/usr/local/redis/63841/redis.conf

cp /usr/local/src/redis/redis.conf/usr/local/redis/63851/redis.conf

cp /usr/local/src/redis/redis.conf/usr/local/redis/63861/redis.conf

 

8)       修改端口目录下Redis配置

vim /usr/local/redis/端口/redis.conf

找到以下KEY，并修改

daemonize 修改为 yes

pidfile 修改为 /var/run/redis_端口.pid

port 修改为对应的端口

dir 修改为/usr/local/redis/端口/

 

如6379目录下redis.conf上述KEY对应的值应该为：

daemonize yes

pidfile /var/run/redis_6379.pid

port 6379

dir /usr/local/redis/6379/

 

9)       增加redis服务

chkconfig --add redis

 

这样就可以使用以下命令：

Redis启动命令：service redis start端口，如service redis start 6379

Redis关闭命令：service redis stop端口，如service redis stop 6379

 

10)    将/usr/local/redis/bin添加至环境变量PATH中，使得命令行可以直接执行该目录下命令。

vi /etc/profile

 

最后一行增加：

export PATH="$PATH:/usr/local/redis/bin"

 

立即生效：

. /etc/profile

 

最后试试redis-cli好使不好使

 

五、 安装TwemProxy

1)       若没安装git，则先安装git

yum install git git-svn git-email git-gui gitk

 

2)       下载TwemProxy源码到/usr/local/src目录中

cd /usr/local/src

git clone https://github.com/twitter/twemproxy.git
 

3)       若没安装autoconf，则先安装autoconf

wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz
tar xzf autoconf-2.69.tar.gz

cd autoconf-2.69

./configure

make & make install

sudo yum install automake

sudo yum install libtool

 

4)       安装TwemProxy

cd /usr/local/src/twemporxy

autoreconf -fvi

./configure --prefix=/usr/local/twemproxy

make -j 8

make install

cd /usr/local/twemproxy

mkdir run conf

这时，在/usr/local/twemproxy/sbin中，存在

       nutcracker

文件

 

5)       拷贝配置文件至/usr/local/twemproxy/conf目录下，并修改配置文件。

cp /usr/local/src/twemproxy/conf/nutcracker.yml  /usr/local/twemproxy/conf/nutcracker.yml

vim conf/nutcracker.yml

 

内容如下:

cluster1:

       listen:10.105.34.28:10000

       hash: fnv1a_64

       distribution:ketama

       auto_eject_hosts:true

       redis: true

       timeout: 400

       server_retry_timeout:2000

       server_failure_limit:1

       servers:

              -10.105.42.38:6379:1 master0

              -10.105.42.38:6380:1 master1

              -10.105.42.38:6381:1 master2

              -10.105.42.38:6382:1 master3

              -10.105.42.38:6383:1 master4

              -10.105.42.38:6384:1 master5

              -10.105.42.38:6385:1 master6

              -10.105.42.38:6386:1 master7

             

cluster2:

       listen:10.105.34.28:10001

       hash: fnv1a_64

       distribution:ketama

       auto_eject_hosts:true

       redis: true

       timeout: 400

       server_retry_timeout:2000

       server_failure_limit:1

       servers:         

              -10.105.42.38:6379:1 master0

              -10.105.42.38:6380:1 master1

              -10.105.42.38:6381:1 master2

              -10.105.42.38:6382:1 master3

              -10.105.42.38:6383:1 master4

              - 10.105.42.38:6384:1master5

              -10.105.42.38:6385:1 master6

              -10.105.42.38:6386:1 master7

 

参数说明：

listen

twemproxy监听的端口。可以以ip:port或name:port的形式来书写。

 

hash

可以选择的key值的hash算法：

> one_at_a_time

> md5

> crc16

> crc32 (crc32 implementation compatible withlibmemcached)

> crc32a (correct crc32 implementation as per thespec)

> fnv1_64

> fnv1a_64

> fnv1_32

> fnv1a_32

> hsieh

> murmur

> jenkins

 

如果没选择，默认是fnv1a_64。

 

hash_tag

hash_tag允许根据key的一个部分来计算key的hash值。hash_tag由两个字符组成，一个是hash_tag的开始，另外一个是hash_tag的结束，在hash_tag的开始和结束之间，是将用于计算key的hash值的部分，计算的结果会用于选择服务器。

 

例如：如果hash_tag被定义为”{}”，那么key值为"user:{user1}:ids"和"user:{user1}:tweets"的hash值都是基于”user1”，最终会被映射到相同的服务器。而"user:user1:ids"将会使用整个key来计算hash，可能会被映射到不同的服务器。

 

distribution

存在ketama、modula和random3种可选的配置。其含义如下：

A.       ketama

ketama一致性hash算法，会根据服务器构造出一个hashring，并为ring上的节点分配hash范围。ketama的优势在于单个节点添加、删除之后，会最大程度上保持整个群集中缓存的key值可以被重用。

B.       modula

modula非常简单，就是根据key值的hash值取模，根据取模的结果选择对应的服务器。

C.       random

random是无论key值的hash是什么，都随机的选择一个服务器作为key值操作的目标。

 

timeout

单位是毫秒，是连接到server的超时值。默认是永久等待。

 

backlog

监听TCP 的backlog（连接等待队列）的长度，默认是512。

 

preconnect

是一个boolean值，指示twemproxy是否应该预连接pool中的server。默认是false。

 

redis

是一个boolean值，用来识别到服务器的通讯协议是redis还是memcached。默认是false。

 

server_connections

每个server可以被打开的连接数。默认，每个服务器开一个连接。

 

auto_eject_hosts

是一个boolean值，用于控制twemproxy是否应该根据server的连接状态重建群集。这个连接状态是由server_failure_limit阀值来控制。

默认是false。

 

server_retry_timeout

单位是毫秒，控制服务器连接的时间间隔，在auto_eject_host被设置为true的时候产生作用。默认是30000毫秒。

 

server_failure_limit

控制连接服务器的次数，在auto_eject_host被设置为true的时候产生作用。默认是2。

 

servers

一个pool中的服务器的地址、端口和权重的列表，包括一个可选的服务器的名字，如果提供服务器的名字，将会使用它决定server的次序，从而提供对应的一致性hash的hashring。否则，将使用server被定义的次序，只需要写RedisMaster信息。

 

6)       测试配置是否合法

cd /usr/local/twemproxy

sbin/nutcracker –t

 

若返回syntax is ok 表明配置合法，否则请检查配置。

 

7)       启动TwemProxy

nutcracker参数：

-h    帮助

-V   版本

-t    测试配置文件是否合法

-d    守护启动

-D    描叙

-c     指定配置文件

 

       守护启动：

/usr/local/twemproxy/sbin/nutcracker -d -c/usr/local/twemproxy/conf/nutcracker.yml

 

查看进程：

ps -ef|grep nutcracker

 

8)       测试

在10.105.42.38 服务器上，测试连接10.105.34.28:10000端口：

       redis-cli –h10.105.34.28 -p 10000

可以连接，则设置值:

       set c d

       quit

连接10.105.34.28:10001端口：

       redis-cli –h10.105.34.28 -p 10001

       get c

       查看是否有值(有值则成功)

以上。