搭建高可用的MongoDB集群副本集

什么是副本集呢？打魔兽世界总说打副本，其实这两个概念差不多一个意思。游戏里的副本是指玩家集中在高峰时间去一个场景打怪，会出现玩家暴多怪物少的情况，游戏开发商为了保证玩家的体验度，就为每一批玩家单独开放一个同样的空间同样的数量的怪物，这一个复制的场景就是一个副本，不管有多少个玩家各自在各自的副本里玩不会互相影响。

mongoDB的副本也是这个，主从模式其实就是一个单副本的应用，没有很好的扩展性和容错性。而副本集具有多个副本保证了容错性，就算一个副本挂掉了还有很多副本存在，并且解决了上面第一个问题“主节点挂掉了，整个集群内会自动切换”。

#######原理和工作机制#########
主服务器负责整个副本集的读写，副本集定期同步数据备份，一但主节点挂掉，副本节点就会选举一个新的主服务器，副本集中的副本节点在主节点挂掉后通过心跳机制检测到后，就会在集群内发起主节点的选举机制，自动选举一位新的主服务器。





##################################部署副本集####################################
副本集机器数量为至少3个

10.2.16.250 主节点
10.2.16.254 副节点
10.2.16.251 仲裁服务器

2、分别在每台机器上建立mongodb副本集测试文件夹

#存放整个mongodb文件
mkdir -p /data/mongodbtest/replset

#存放mongodb数据文件
mkdir -p /data/mongodbtest/replset/data

#进入mongodb文件夹
cd /data/mongodbtest

3、下载mongodb的安装程序包

wget <a href="http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.8.tgz">http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.8.tgz</a>

#解压下载的压缩包
[root@node1 ~]#tar xvzf mongodb-linux-x86_64-2.4.8.tgz

[root@node1 ~]#mv mongodb-linux-x86_64-2.48 /usr/local/mongodb/

添加Mongodb命令的环境变量
[root@node1 ~]#vim /etc/profile
[root@node1 ~]#export PATH=/usr/local/mongodb/bin:$PATH

启动Mongodb，在两台服务器主和从同时操作：
[root@node1 ~]#mongod --dbpath /data/mongodbtest/replset/data --replSet repset （副本集名称）

可以看到控制台上显示副本集还没有配置初始化信息。

Sun Dec 29 20:12:02.953 [rsStart] replSet can't get local.system.replset config from self or any seed (EMPTYCONFIG)
Sun Dec 29 20:12:02.953 [rsStart] replSet info you may need to run replSetInitiate -- rs.initiate() in the shell -- if that is not already done

5、初始化副本集

在三台机器上任意一台机器登陆mongodb

[root@node1 ~]#mongo

#使用admin数据库
use admin

#定义副本集配置变量，这里的 _id:”repset” 和上面命令参数“ –replSet repset” 要保持一样。

config = { _id:"repset", members:[
... {_id:0,host:"10.2.16.250:27017"}, #id为0表示设置此IP为主服务器
... {_id:1,host:"10.2.16.254:27017"},]#id为1表示设置为备服务器，如果想再添加备服务器则设置id为2，依次类推。
... }

#输出

{
"_id" : "repset",
"members" : [
{
"_id" : 0,
"host" : "10.2.16.250:27017"
},
{
"_id" : 1,
"host" : "10.2.16.254:27017"
}
]
}

#初始化副本集配置

rs.initiate(config);

#输出成功

[plain] view plaincopy
{
"info" : "Config now saved locally. Should come online in about a minute.",
"ok" : 1
}

#查看mongodb输出日志，副本集启动成功后，250为主节点PRIMARY，254为副本节点SECONDARY

#查看集群节点的状态 rs.status();

repset:PRIMARY> rs.status();
{
"set" : "repset",
"date" : ISODate("2014-06-30T10:03:22Z"),
"myState" : 1,
"members" : [
{
"_id" : 0,
"name" : "10.2.16.250:27017",
"health" : 1,
"state" : 1,
"stateStr" : "PRIMARY",
"uptime" : 961,
"optime" : Timestamp(1404122493, 1),
"optimeDate" : ISODate("2014-06-30T10:01:33Z"),
"self" : true
},
{
"_id" : 1,
"name" : "10.2.16.254:27017",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
"uptime" : 106,
"optime" : Timestamp(1404122493, 1),
"optimeDate" : ISODate("2014-06-30T10:01:33Z"),
"lastHeartbeat" : ISODate("2014-06-30T10:03:20Z"),
"lastHeartbeatRecv" : ISODate("2014-06-30T10:03:21Z"),
"pingMs" : 2,
"syncingTo" : "10.2.16.250:27017"
}
],
"ok" : 1
}

6、测试副本集数据复制功能

#在主节点10.2.16.250 上连接到终端：
[root@node1 ~]#mongo

#建立test 数据库。
repset:PRIMARY>use test;

往testdb表插入数据。
repset:PRIMARY>> db.testdb.insert({"test1":"testval1"})

#在副本节点10.2.16.254 上连接到mongodb查看数据是否复制过来。

[root@node2 ~]#mongo

#使用test 数据库。
repset:SECONDARY> use test;

repset:SECONDARY> show tables;

#输出
[plain] view plaincopy
Sun Dec 29 21:50:48.590 error: { "$err" : "not master and slaveOk=false", "code" : 13435 } at src/mongo/shell/query.js:128

#设置副本节点可以读: mongodb默认是从主节点读写数据的，副本节点上不允许读,需要设置可读
repset:SECONDARY> db.getMongo().setSlaveOk();

#可以看到数据已经复制到了副本集。
repset:SECONDARY> db.testdb.find();
[plain] view plaincopy
#输出
{ "_id" : ObjectId("52c028460c7505626a93944f"), "test1" : "testval1" }

添加仲裁服务器：

现在仲裁服务器10.2.16.251上装好mongodb，然后再：

#建立仲裁文件夹
mkdir /data/arb

#启动仲裁
mongod --port 30000 --dbpath /data/arb --replSet repset(副本集名称)

在主服务器上添加仲裁

repset:PRIMARY> rs.addArb("10.2.16.251:30000")
{ "ok" : 1 }

7、测试副本集故障转移功能

先停掉主节点mongodb 250，查看仲裁服务器和254从服务器的日志可以看到经过一系列的选择操作，254 当选主节点。

查看整个集群的状态：

mongo

repset:PRIMARY> rs.status();

#输出

{
"set" : "repset",
"date" : ISODate("2014-06-30T13:58:06Z"),
"myState" : 1,
"members" : [
{
"_id" : 0,
"name" : "10.2.16.250:27017",
"health" : 1,
"state" : 1,
"stateStr" : "PRIMARY",
"uptime" : 6095,
"optime" : Timestamp(1404131596, 1),
"optimeDate" : ISODate("2014-06-30T12:33:16Z"),
"self" : true
},
{
"_id" : 1,
"name" : "10.2.16.254:27017",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
"uptime" : 5542,
"optime" : Timestamp(1404131596, 1),
"optimeDate" : ISODate("2014-06-30T12:33:16Z"),
"lastHeartbeat" : ISODate("2014-06-30T13:58:06Z"),
"lastHeartbeatRecv" : ISODate("2014-06-30T13:58:05Z"),
"pingMs" : 0,
"syncingTo" : "10.2.16.250:27017"
},
{
"_id" : 2,
"name" : "10.2.16.251:30000",
"health" : 1,
"state" : 7,
"stateStr" : "ARBITER",
"uptime" : 11,
"lastHeartbeat" : ISODate("2014-06-30T13:58:05Z"),
"lastHeartbeatRecv" : ISODate("2014-06-30T13:58:06Z"),
"pingMs" : 8
}
],
"ok" : 1
}

当250节点启动之后，会自动加入副本集并且变回primary节点.

####################至此即为配置成功！！#########################

状态参数一共有五个：primary、primaryPreferred、secondary、secondaryPreferred、nearest。

primary:默认参数，只从主节点上进行读取操作；
primaryPreferred:大部分从主节点上读取数据,只有主节点不可用时从secondary节点读取数据。
secondary:只从secondary节点上进行读取操作，存在的问题是secondary节点的数据会比primary节点数据“旧”。
secondaryPreferred:优先从secondary节点进行读取操作，secondary节点不可用时从主节点读取数据；
nearest:不管是主节点、secondary节点，从网络延迟最低的节点上读取数据。

##############mongodb结合keepalived的脚本#####################
#!/bin/bash
MONGO=/usr/local/mongodb/bin/mongo
MONGO_HOST=127.0.0.1
MONGO_PORT=27017
CHECK_TIME=3
#mysql is working MYSQL_OK is 1 , mysql down MYSQL_OK is 0
MONGO_OK=1
function check_mysql_helth (){
$MONGO $MONGO_HOST:$MONGO_PORT >/dev/null 2>&1
if [ $? = 0 ] ;then
MONGO_OK=1
else
MONGO_OK=0
fi
return $MONGO_OK
}
while [ $CHECK_TIME -ne 0 ]
do
let "CHECK_TIME -= 1"
check_mysql_helth
if [ $MONGO_OK = 1 ] ; then
CHECK_TIME=0
exit 0
fi

if [ $MONGO_OK -eq 0 ] && [ $CHECK_TIME -eq 0 ]
then
pkill keepalived
exit 1
fi
sleep 1
done

本文出自 “Fate” 博客，请务必保留此出处http://yyzll.blog.51cto.com/4283444/1433068