Redis 日志收集系统高可用搭建

为了搭建日志收集系统LEK，需要搭建一套Redis高可用集群，确保日志正常从各个应用服务器流转到ElasticSeach服务器，最终通过Kabana显示出来。Redis高可用集群采用redis自带的sentinel实现，具有主备和故障转移功能。

一、安装环境说明

两台机器：master(192.168.2.52),slave(192.168.2.53)

操作系统：CentOS 6.5

Redis：2.8.17，下载地址：http://download.redis.io/releases/redis-2.8.17.tar.gz

二、安装Redis

安装前准备

1、安装c++编译器

yum install gcc-c++

2、安装依赖tcl

yum install -y tcl

安装

1、下载

wget http://download.redis.io/releases/redis-2.8.17.tar.gz
2、解压

tar -zxvf redis-2.8.17.tar.gz

3、安装

先创建一个软链接，然后进入链接目录，安装。

ln -s redis-2.8.17 redis
cd redis
make install

安装完成之后，在/usr/local/bin目录下会出现redis相关的脚本文件（不包含redis-sentinel.sh）。如下图所示：



配置

1、创建相关目录

redis配置需要指定日志文件、进程id文件、数据文件和数据文件目录，下面创建这些相关目录，以便在下一步进行配置。

mkdir /var/redis
cd /var/redis
mkdir log #存放日志
mkdir run #存放redis进程文件
mkdir data #存放备份数据

此外，还需要创建一个存放配置文件的目录，将redis链接目录中的redis.conf文件拷贝过来。

mkdir /etc/redis
cp YOURPATH/redis/redis.conf /etc/redis/

2、配置文件

通常需要修改一下配置：

daemonize yes
pidfile "/var/redis/run/redis.pid"
logfile "/var/redis/log/redis.log"
dir "/var/redis/data" #这个可以自己定义大小

测试

启动redis服务 redis-server /etc/redis/redis.conf

执行简单的存取操作，如果成功，则表示redis服务正常。如下图所示



复制安装

按照上述步骤，在slave机器上安装好redis服务，redis主备和高可用至少需要两台机器。

三、Redis主备

前提

master和slave两台机器均已完成Redis安装，且服务可以正常运转。

主备配置

redis的主备配置比较简单，只需要在从服务的配置文件中指明主服务地址和端口号即可。即修改slave上的redis配置文件：

slaveof 192.168.2.52 6379

测试

依次重启redis master，redis slave，在master和slave分别执行如下命令，可以查看主备信息。

#在master上执行
redis-cli -h 192.168.2.52 -p 6379 info Replication

#在slave上执行
redis-cli -h 192.168.2.53 -p 6379 info Replication

此外还可以进行存取测试，在master上执行set操作，在slave上执行get操作，如果value相等，则证明主备功能正常。因为默认 slave是只读，所以当在slave上执行set操作时，将报错：(error) ERR wrong number of arguments for 'set' command

四、Redis高可用

redis高可用的实现采用redis-sentinel，自Redis2.8版开始，正式提名为Sentinel主从切换方案。Sentinel用于管理多个Redis服务器实例，主要负责3个方面的任务：

监控（Monitoring）：Sentinel会不断检测你的主服务器和从服务器是否正常运作

提醒（Notification）：当被监控的某个Redis服务器出现问题时，Sentinel可以通过API向管理员或者其他应用程序发送通知

自动故障转移（Automatic Failover）：当一个主服务器不能正常工作时， Sentinel 会开始一次自动故障迁移操作， 它会将失效主服务器的其中一个从服务器升级为新的主服务器， 并让失效主服务器的其他从服务器改为复制新的主服务器； 当客户端试图连接失效的主服务器时， 集群也会向客户端返回新主服务器的地址， 使得集群可以使用新主服务器代替失效服务器。

Redis Sentinel 是一个分布式系统， 你可以在一个架构中运行多个 Sentinel 进程（progress）， 这些进程使用流言协议（gossip protocols)来接收关于主服务器是否下线的信息， 并使用投票协议（agreement protocols）来决定是否执行自动故障迁移， 以及选择哪个从服务器作为新的主服务器。
Redis-sentinel配置

拷贝sentinel的脚本至/usr/local/bin目录 cp src/redis-sentinel /usr/local/bin;

拷贝配置文件sentinel.conf至/etc/redis目录cp sentinel.conf /etc/redis，修改配置文件：

port 26379

# master1
sentinel monitor master1 192.168.2.52 6379 1
sentinel down-after-milliseconds master1 5000
sentinel failover-timeout master1 900000
sentinel parallel-syncs master1 1

集群测试

启动redis-sentinel服务redis-sentinel /etc/redis/sentinel.conf --sentinel;

执行检测命令redis-cli -h 192.168.2.52 -p 26379 info Sentinel，结果如下，master为192.168.2.52



现在停止52上redis服务redis-cli -h 192.168.2.52 -p 6379 shutdown,再执行检测命令如下，master变成了192.168.2.53



五、总结

本文主要介绍了如何使用redis-sentinel搭建redis高可用集群，理论结合实际演示了集群实现的效果，主备和故障转移。
转至：http://my.oschina.net/xiaohui249/blog/338517

参考文章

1.使用logstash+elasticsearch+kibana快速搭建日志平台