009.MongoDB分片群集部署

一 前期准备

1.1 组件说明

MongoDB分片群集包含以下组件： shard：每个分片是分片数据的子集。从MongoDB 3.6开始，必须将分片部署为副本集。 mongos：mongos充当查询路由器，提供客户端应用程序和分片集群之间的接口。 config servers：配置服务器存储群集的元数据和配置设置。从MongoDB 3.4开始，必须将配置服务器部署为副本集（CSRS）。 注意：mongos不需创建复制集，config不需指定主副节点及仲裁节点，但是要创建复制集。

1.2 组件规划

本实验基于生产环境考虑，组件规划如下： 将Config Server部署为3成员副本集； 将每个Shard部署为3成员副本集，总共部署三个shard； 部署两个mongos路由器。 提示：部署多个mongos路由器支持高可用性和可伸缩性。常见的模式是mongos在每个应用程序服务器上放置一个，可以减少应用程序和路由器之间的网络延迟。 也可以将mongos路由器放在专用主机上，通过用于大型规模部署。因为它将客户端应用程序服务器的数量与mongos实例数量分离。这样可以更好地控制mongod实例所服务的连接数。 注意：mongos路由器部署的数量没有限制。但是，由于mongos路由器经常与Config Server通信，因此在增加路由器数量时会密切监视配置服务器性能。如果发现性能下降，那么可以适当限制mongos路由器部署的数量。

MongoDB角色	服务器一 mongo01	服务器二 mongo02	服务器三 mongo03	服务器四 mongo04	服务器五 mongo05
mongos				172.24.8.74:27017	172.24.8.75:27017
config server	172.24.8.71:20001 主节点	172.24.8.72:20001 副节点	172.24.8.73:20001 仲裁节点
shard server 1	172.24.8.71:20002 主节点	172.24.8.72:20002 副节点	172.24.8.73:20002 仲裁节点
shard server 2	172.24.8.71:20003 仲裁节点	172.24.8.72:20003 主节点	172.24.8.73:20003 副节点
shard server 3	172.24.8.71:20004 副节点	172.24.8.72:20004 仲裁节点	172.24.8.73:20004 主节点

提示：为保证高可用，任何一台物理服务器不应该存在多个主。

1.3 其他准备

NTP同步； 关闭SELinux； 关闭防火墙或放通相应规则； 添加如下解析至所有节点：

[root@localhost ~]# vi /etc/hosts		#追加如下解析
172.24.8.71 mongo01
172.24.8.72 mongo02
172.24.8.73 mongo03
172.24.8.74 mongo04
172.24.8.75 mongo05

 

二 MongoDB安装

2.1 下载tar包

[root@mongo01 ~]# yum -y install libcurl openssl			#安装依赖包
[root@mongo01 ~]# wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.0.9.tgz

 

2.2 解压MongoDB包

[root@mongo01 ~]# tar -zxvf mongodb-linux-x86_64-rhel70-4.0.9.tgz
[root@mongo01 ~]# mv mongodb-linux-x86_64-rhel70-4.0.9 /usr/local/mongodb
[root@mongo01 ~]# useradd mongod -s /bin/false -c mongod
[root@mongo01 ~]# chown -R mongod:mongod /usr/local/mongodb/

 

2.3 添加PATH路径

[root@mongo01 ~]# echo "export PATH=/usr/local/mongodb/bin::$PATH" >> .bashrc

提示：2.1——2.3需要在所有节点进行操作。

2.4 配置key

[root@mongo01 ~]# mkdir -p /etc/mongo
[root@mongo01 ~]# openssl rand -base64 100 > /etc/mongo/mongo.key
[root@mongo01 ~]# chown -R mongod:mongod /etc/mongo
[root@mongo01 ~]# chmod 600 /etc/mongo/mongo.key
[root@mongo01 ~]# scp -r /etc/mongo root@mongo02:/etc/
[root@mongo01 ~]# scp -r /etc/mongo root@mongo03:/etc/
[root@mongo01 ~]# scp -r /etc/mongo root@mongo04:/etc/
[root@mongo01 ~]# scp -r /etc/mongo root@mongo05:/etc/
[root@mongo02 ~]# chown -R mongod:mongod /etc/mongo
[root@mongo03 ~]# chown -R mongod:mongod /etc/mongo
[root@mongo04 ~]# chown -R mongod:mongod /etc/mongo
[root@mongo05 ~]# chown -R mongod:mongod /etc/mongo

 

2.5 创建MongoDB相关目录

[root@mongo01 ~]# mkdir -p /var/log/mongodb		#日志目录
[root@mongo01 ~]# mkdir -p /var/run/mongodb		#pid目录
[root@mongo01 ~]# mkdir -p /var/lib/mongodb/config		#config server存储目录
[root@mongo01 ~]# mkdir -p /var/lib/mongodb/shard{1,2,3}	#shard server存储目录
[root@mongo01 ~]# chown -R mongod:mongod /var/log/mongodb
[root@mongo01 ~]# chown -R mongod:mongod /var/run/mongodb
[root@mongo01 ~]# chown -R mongod:mongod /var/lib/mongodb

  注意：通过下载tar包形式安装，未创建默认的MongoDB目录及用户，需要如上所示手动创建并授权即可。 以上操作需要在mongo01、mongo02、mongo03，即所有config server节点操作。

三 配置config server

3.1 服务器一配置

[root@mongo01 ~]# cat << EOF > /etc/mongo/config.conf
systemLog:
destination: file
logAppend: true
path: /var/log/mongodb/config.log

storage:
dbPath: /var/lib/mongodb/config
journal:
enabled: true
wiredTiger:
engineConfig:
directoryForIndexes: true

processManagement:
fork: true
pidFilePath: /var/run/mongodb/config.pid
timeZoneInfo: /usr/share/zoneinfo

net:
port: 20001
bindIp: 0.0.0.0
maxIncomingConnections: 500

security:
keyFile: /etc/mongo/mongo.key
authorization: enabled

replication:
replSetName: configs

sharding:
clusterRole: configsvr
EOF
[root@mongo01 ~]# scp -r /etc/mongo/config.conf root@mongo02:/etc/mongo/config.conf
[root@mongo01 ~]# scp -r /etc/mongo/config.conf root@mongo03:/etc/mongo/config.conf

 

3.2 启动mongod

[root@mongo01 ~]# mongod --config /etc/mongo/config.conf
[root@mongo02 ~]# mongod --config /etc/mongo/config.conf
[root@mongo03 ~]# mongod --config /etc/mongo/config.conf

 

3.3 初始化configsrv副本集群

[root@mongodb01 ~]# mongo --port 20001
> config = { _id: "configs", members: [
{_id: 0, host: "172.24.8.71:20001"},
{_id: 1, host: "172.24.8.72:20001"},
{_id: 2, host: "172.24.8.73:20001"}]
}

  参数解释： "_id": 副本集的名称 "members": 副本集的服务器列表 "_id": 服务器的唯一ID "host": 服务器主机 "priority": 是优先级，默认为1，优先级0为被动节点，不能成为活跃节点。优先级不为0则按照有大到小选出活跃节点。 "arbiterOnly": 仲裁节点，只参与投票，不接收数据，也不能成为活跃节点。

3.4 初始化副本集

> rs.initiate(config)			#初始化集群
my_rep1:PRIMARY> rs.status()		#查看集群状态

 

四 配置shard server 1

4.1 服务器一配置

[root@mongo01 ~]# cat << EOF > /etc/mongo/shard1.conf
systemLog:
destination: file
logAppend: true
path: /var/log/mongodb/shard1.log

storage:
dbPath: /var/lib/mongodb/shard1
journal:
enabled: true
wiredTiger:
engineConfig:
directoryForIndexes: true

processManagement:
fork: true
pidFilePath: /var/run/mongodb/shard1.pid
timeZoneInfo: /usr/share/zoneinfo

net:
port: 20002
bindIp: 0.0.0.0
maxIncomingConnections: 500

security:
keyFile: /etc/mongo/mongo.key
authorization: enabled

replication:
replSetName: shard1

sharding:
clusterRole: shardsvr
EOF
[root@mongo01 ~]# scp -r /etc/mongo/shard1.conf root@mongo02:/etc/mongo/shard1.conf
[root@mongo01 ~]# scp -r /etc/mongo/shard1.conf root@mongo03:/etc/mongo/shard1.conf

 

4.2 启动mongod

[root@mongo01 ~]# mongod --config /etc/mongo/shard1.conf
[root@mongo02 ~]# mongod --config /etc/mongo/shard1.conf
[root@mongo03 ~]# mongod --config /etc/mongo/shard1.conf

 

4.3 初始化configsrv副本集群

[root@mongodb01 ~]# mongo --port 20002
> config = { _id: "shard1", members: [
{_id: 0, host: "172.24.8.71:20002",priority:2},
{_id: 1, host: "172.24.8.72:20002",priority:1},
{_id: 2, host: "172.24.8.73:20002",arbiterOnly:true}]
}

 

4.4 初始化副本集

> rs.initiate(config)			#初始化集群
my_rep1:PRIMARY> rs.status()		#查看集群状态

 

五 配置shard server 2

5.1 服务器一配置

[root@mongo01 ~]# cat << EOF > /etc/mongo/shard2.conf
systemLog:
destination: file
logAppend: true
path: /var/log/mongodb/shard2.log

storage:
dbPath: /var/lib/mongodb/shard2
journal:
enabled: true
wiredTiger:
engineConfig:
directoryForIndexes: true

processManagement:
fork: true
pidFilePath: /var/run/mongodb/shard2.pid
timeZoneInfo: /usr/share/zoneinfo

net:
port: 20003
bindIp: 0.0.0.0
maxIncomingConnections: 500

security:
keyFile: /etc/mongo/mongo.key
authorization: enabled

replication:
replSetName: shard2

sharding:
clusterRole: shardsvr
EOF
[root@mongo01 ~]# scp -r /etc/mongo/shard2.conf root@mongo02:/etc/mongo/shard2.conf
[root@mongo01 ~]# scp -r /etc/mongo/shard2.conf root@mongo03:/etc/mongo/shard2.conf

 

5.2 启动mongod

[root@mongo01 ~]# mongod --config /etc/mongo/shard2.conf
[root@mongo02 ~]# mongod --config /etc/mongo/shard2.conf
[root@mongo03 ~]# mongod --config /etc/mongo/shard2.conf

 

5.3 初始化configsrv副本集群

[root@mongodb02 ~]# mongo --port 20003
> config = { _id: "shard2", members: [
{_id: 0, host: "172.24.8.71:20003",arbiterOnly:true},
{_id: 1, host: "172.24.8.72:20003",priority:2},
{_id: 2, host: "172.24.8.73:20003",priority:1}]
}

  提示：如果选择在预先规划为仲裁节点的服务器上创建复制集会报错，需要在非仲裁节点创建。 5.4 初始化副本集

> rs.initiate(config)			#初始化集群
my_rep1:PRIMARY> rs.status()		#查看集群状态

 

六 配置shard server 3

6.1 服务器一配置

[root@mongo01 ~]# cat << EOF > /etc/mongo/shard3.conf
systemLog:
destination: file
logAppend: true
path: /var/log/mongodb/shard3.log

storage:
dbPath: /var/lib/mongodb/shard3
journal:
enabled: true
wiredTiger:
engineConfig:
directoryForIndexes: true

processManagement:
fork: true
pidFilePath: /var/run/mongodb/shard3.pid
timeZoneInfo: /usr/share/zoneinfo

net:
port: 20004
bindIp: 0.0.0.0
maxIncomingConnections: 500

security:
keyFile: /etc/mongo/mongo.key
authorization: enabled

replication:
replSetName: shard3

sharding:
clusterRole: shardsvr
EOF
[root@mongo01 ~]# scp -r /etc/mongo/shard3.conf root@mongo02:/etc/mongo/shard3.conf
[root@mongo01 ~]# scp -r /etc/mongo/shard3.conf root@mongo03:/etc/mongo/shard3.conf

 

6.2 启动mongod

[root@mongo01 ~]# mongod --config /etc/mongo/shard3.conf
[root@mongo02 ~]# mongod --config /etc/mongo/shard3.conf
[root@mongo03 ~]# mongod --config /etc/mongo/shard3.conf

 

6.3 初始化configsrv副本集群

[root@mongodb01 ~]# mongo --port 20004
> config = { _id: "shard3", members: [
{_id: 0, host: "172.24.8.71:20004",priority:1},
{_id: 1, host: "172.24.8.72:20004",arbiterOnly:true},
{_id: 2, host: "172.24.8.73:20004",priority:2}]
}

  提示：如果选择在预先规划为仲裁节点的服务器上创建复制集会报错，需要在非仲裁节点创建。

6.4 初始化副本集

> rs.initiate(config)			#初始化集群
my_rep1:PRIMARY> rs.status()		#查看集群状态

 

七 配置mongos路由节点

7.1 创建MongoDB相关目录

[root@mongo04 ~]# mkdir -p /var/log/mongodb		#日志目录
[root@mongo04 ~]# mkdir -p /var/run/mongodb		#pid目录
[root@mongo04 ~]# chown -R mongod:mongod /var/log/mongodb
[root@mongo04 ~]# chown -R mongod:mongod /var/run/mongodb

  注意：通过下载tar包形式安装，未创建默认的MongoDB目录及用户，需要如上所示手动创建并授权即可。 以上操作需要在mongo04、mongo05即所有mongos server节点操作。

7.2 服务器四配置

[root@mongo04 ~]# cat << EOF > /etc/mongo/mongos.conf
systemLog:
destination: file
logAppend: true
path: /var/log/mongodb/mongos.log

processManagement:
fork: true
pidFilePath: /var/run/mongodb/mongos.pid
timeZoneInfo: /usr/share/zoneinfo

net:
port: 27017
bindIp: 0.0.0.0
maxIncomingConnections: 2000

security:
keyFile: /etc/mongo/mongo.key
#  authorization: enabled

sharding:
configDB: configs/172.24.8.71:20001,172.24.8.72:20001,172.24.8.73:20001
EOF
[root@mongo04 ~]# scp -r /etc/mongo/mongos.conf root@mongo05:/etc/mongo/mongos.conf

 

7.3 启动mongos

[root@mongo04 ~]# mongos --config /etc/mongo/mongos.conf
[root@mongo05 ~]# mongos --config /etc/mongo/mongos.conf

 

7.4 创建管理员用户

[root@mongodb04 ~]# mongo --port 27017
mongos> use admin				#进入admin数据库
mongos> db.createUser({ user: "admin", pwd: "admin", roles: [{ role: "_system", db: "admin" }] })
mongos> db.createUser({"user":"root","pwd":"root","roles":["root"]})
mongos> db.auth("admin", "admin")		#验证创建结果
1

  提示：以上为建议项，建议创建一个管理员用于内部管理MongoDB。 mongodb中的用户是基于身份role的，该管理员账户的 role是 userAdminAnyDatabase。 ‘userAdmin’代表用户管理身份，’AnyDatabase’ 代表可以管理任何数据库。 db.auth()可以验证 用户。

mongos> db.getUsers()
mongos> db.system.users.find().pretty()		#查看全局所有账户

  提示：mongo shell 可通过.pretty() 对输出进行JSON格式化，以便提高输出的可读性。

八 开启分片功能

8.1 启用分片功能

[root@mongo04 ~]# mongo --port 27017 -u admin -p admin
mongos> use amdin
mongos> sh.addShard("shard1/172.24.8.71:20002,172.24.8.72:20002,172.24.8.73:20002")
mongos> sh.addShard("shard2/172.24.8.71:20003,172.24.8.72:20003,172.24.8.73:20003")

 

mongos> sh.status()		#查看分片集群状态

8.2 设置分片chunk大小

mongos> use config
mongos> db.settings.save({"_id":"chunksize","value":1})		#设置分片大小为1M便于测试

 

8.3 模拟数据写入

mongos> use mydb				#创建用于模拟的数据库
mongos> for(i=1;i<=50000;i++){db.user.insert({"id":i,"name":"jack"+i})}
#模拟写入5W条数据到user集合
WriteResult({ "nInserted" : 1 })		#输出

 

8.4 启用数据库分片

mongos> sh.enableSharding("mydb")

8.5 创建索引

mongos> db.user.createIndex({"id": 1})

8.6 启用表分片

mongos> sh.shardCollection("mydb.user",{"id": 1})

8.7 查看分片情况

mongos> sh.status()

8.8 手动添加第三个分片

mongos> sh.addShard("shard3/172.24.8.71:20004,172.24.8.72:20004,172.24.8.73:20004")

8.9 再次观察分片情况

mongos> sh.status()

提示：当分片有变动时，服务器会对数据进行重新分片（均衡），当你再次移除一个分片服务器，此时又会对数据再次进行分片处理。   相关参考： https://blog.51cto.com/bigboss/2160311 https://blog.51cto.com/13643643/2148825