MongoDB3.6分片复制集群
2018-03-05 22:30
232 查看
概念
mongos数据库集群请求的入口,所有的请求都通过mongos进行协调,不需要在应用程序添加一个路由选择器,mongos自己就是一个请求分发中心,它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口,防止其中一个挂掉所有的mongodb请求都没有办法操作。
config server
顾名思义为配置服务器,存储所有数据库元信息(路由、分片)的配置。mongos本身没有物理存储分片服务器和数据路由信息,只是缓存在内存里,配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息,以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态,这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器,因为它存储了分片路由的元数据,防止数据丢失!
shard
分片(sharding)是指将数据库拆分,将其分散在不同的机器上的过程。将数据分散到不同的机器上,不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块,这些块分散到若干片里,每个片只负责总数据的一部分,最后通过一个均衡器来对各个分片进行均衡(数据迁移)。
replica set
中文翻译副本集,其实就是shard的备份,防止shard挂掉之后数据丢失。复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性, 并可以保证数据的安全性。
仲裁者(Arbiter)
是复制集中的一个MongoDB实例,它并不保存数据。仲裁节点使用最小的资源并且不要求硬件设备,不能将Arbiter部署在同一个数据集节点中,可以部署在其他应用服务器或者监视服务器中,也可部署在单独的虚拟机中。为了确保复制集中有奇数的投票成员(包括primary),需要添加仲裁节点做为投票,否则primary不能运行时不会自动切换primary。
总结一下,应用请求mongos来操作mongodb的增删改查,配置服务器存储数据库元信息,并且和mongos做同步,数据最终存入在shard(分片)上,为了防止数据丢失同步在副本集中存储了一份,仲裁在数据存储到分片的时候决定存储到哪个节点。
环境准备
系统:cenos7.4服务器: 10.10.16.52/53/54
mongodb包: mongodb-linux-x86_64-rhel70-3.6.3.tgz
规划
mongodb-16-52 | mongodb-16-53 | mongodb-16-54 |
---|---|---|
mongos/20000 | mongos/20000 | mongos/20000 |
config server/21000 | config server/21000 | config server/21000 |
shard server1 主节点(27001) | shard server1 副节点(27001) | shard server1 仲裁(27001) |
shard server2 仲裁(27002) | shard server2 主节点(27002) | shard server2 副节点(27002) |
shard server3副节点(27003) | shard server1 仲裁(27003) | shard server3 主节点(27003) |
集群搭建
安装mongodb
wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-3.6.3.tgz cd /usr/lcoal/ ln -sf mongodb-linux-x86_64-rhel70-3.6.3/ mongodb
分别在每台机器建立conf、mongos、config、shard1、shard2、shard3六个目录,因为mongos不存储数据,只需要建立日志文件目录即可。
mkdir -p /data/mongodb/conf mkdir -p /data/mongodb/mongos/log mkdir -p /data/mongodb/config/data mkdir -p /data/mongodb/config/log mkdir -p /data/mongodb/shard1/data mkdir -p /data/mongodb/shard1/log mkdir -p /data/mongodb/shard2/data mkdir -p /data/mongodb/shard2/log mkdir -p /data/mongodb/shard3/data mkdir -p /data/mongodb/shard3/log
添加用户、配置环境变量
useradd -M -u 8000 -s /sbin/nologin mongo chown -R mongo.mongo /usr/local/mongodb chown -R mongo.mongo /data/mongodb
config server 配置服务
mongodb3.4以后要求配置服务器也创建副本集,不然集群搭建不成功
添加配置文件
cat >> /data/mongodb/conf/config.conf << EOF ## 配置文件内容 pidfilepath = /data/mongodb/config/log/config-srv.pid dbpath = /data/mongodb/config/data logpath = /data/mongodb/config/log/config-srv.log logappend = true bind_ip = 0.0.0.0 port = 21000 fork = true #declare this is a config db of a cluster; configsvr = true #副本集名称 replSet=configs #设置最大连接数 maxConns=20000 EOF
systemd 启动脚本
cat >> /usr/lib/systemd/system/mongo-config.service << EOF [Unit] Description=mongodb-config After=network.target remote-fs.target nss-lookup.target [Service] Type=forking User=mongo Group=mongo ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/config.conf ExecReload=/bin/kill -s HUP $MAINPID ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/config.conf PrivateTmp=true [Install] WantedBy=multi-user.target EOF
启动三台服务器的config server
systemctl daemon-reload systemctl start mongo-config systemctl enable mongo-config
初始化副本集
登录任意一台配置服务器,初始化配置副本集
mongo --port 21000 //登陆 #config变量 config = { ... _id : "configs", ... members : [ ... {_id : 0, host : "10.10.16.52:21000" }, ... {_id : 1, host : "10.10.16.53:21000" }, ... {_id : 2, host : "10.10.16.54:21000" } ... ] ... } #初始化副本集 rs.initiate(config) # 查看集群状态 rs.status()
其中,
_id :,configs应与配置文件中配置的 replicaction.replSetName 一致,
members中的
host为三个节点的
ip和
port
配置分片副本集(三台机器)
设置第一个分片副本集
配置文件cat >> /data/mongodb/conf/shard1.conf << EOF pidfilepath = /data/mongodb/shard1/log/shard1.pid dbpath = /data/mongodb/shard1/data logpath = /data/mongodb/shard1/log/shard1.log logappend = true journal = true quiet = true bind_ip = 0.0.0.0 port = 27001 fork = true #副本集名称 replSet=shard1 #declare this is a shard db of a cluster; shardsvr = true #设置最大连接数 maxConns=20000 EOF
systemd 启动脚本
cat >> /usr/lib/systemd/system/mongo-shard1.service << EOF [Unit] Description=mongodb-shard1 After= mongo-config.target network.target [Service] Type=forking User=mongo Group=mongo ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/shard1.conf ExecReload=/bin/kill -s HUP $MAINPID ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/shard1.conf PrivateTmp=true [Install] WantedBy=multi-user.target EOF
启动三台服务器的shard1 server
systemctl daemon-reload systemctl start mongo-shard1 systemctl enable mongo-shard1
初始化副本集
登录任意一台配置服务器,初始化配置副本集
mongo --port 27001 #使用admin数据库 use admin #定义副本集配置,第三个节点的 "arbiterOnly":true 代表其为仲裁节点。不可为当前初始化设置的节点 config = { ... _id : "shard1", ... members : [ ... {_id : 0, host : "10.10.16.52:27001" }, ... {_id : 1, host : "10.10.16.53:27001" }, ... {_id : 2, host : "10.10.16.54:27001" , arbiterOnly: true } ... ] ... } #初始化副本集配置 rs.initiate(config); rs.status()
设置第二个分片副本集
配置文件cat >> /data/mongodb/conf/shard2.conf << EOF pidfilepath = /data/mongodb/shard2/log/shard2.pid dbpath = /data/mongodb/shard2/data logpath = /data/mongodb/shard2/log/shard2.log logappend = true journal = true quiet = true bind_ip = 0.0.0.0 port = 27002 fork = true #副本集名称 replSet=shard2 #declare this is a shard db of a cluster; shardsvr = true #设置最大连接数 maxConns=20000 EOF
systemd 启动脚本
cat >> /usr/lib/systemd/system/mongo-shard2.service << EOF [Unit] Description=mongodb-shard2 After= mongo-config.target network.target [Service] Type=forking User=mongo Group=mongo ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/shard2.conf ExecReload=/bin/kill -s HUP $MAINPID ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/shard2.conf PrivateTmp=true [Install] WantedBy=multi-user.target EOF
启动三台服务器的shard2 server
systemctl daemon-reload systemctl start mongo-shard2 systemctl enable mongo-shard2
初始化副本集
登录任意一台配置服务器,任意选一台服务器(注意:不要选择即将要设置为仲裁节点的服务器)
mongo --port 27002 #使用admin数据库 use admin #定义副本集配置,第三个节点的 "arbiterOnly":true 代表其为仲裁节点。不可为当前初始化设置的节点 config = { ... _id : "shard2", ... members : [ ... {_id : 0, host : "10.10.16.52:27002", arbiterOnly: true }, ... {_id : 1, host : "10.10.16.53:27002" }, ... {_id : 2, host : "10.10.16.54:27002" } ... ] ... } #初始化副本集配置 rs.initiate(config); rs.status()
设置第三个分片副本集
配置文件cat >> /data/mongodb/conf/shard3.conf << EOF pidfilepath = /data/mongodb/shard3/log/shard3.pid dbpath = /data/mongodb/shard3/data logpath = /data/mongodb/shard3/log/shard3.log logappend = true journal = true quiet = true bind_ip = 0.0.0.0 port = 27003 fork = true #副本集名称 replSet=shard3 #declare this is a shard db of a cluster; shardsvr = true #设置最大连接数 maxConns=20000 EOF
systemd 启动脚本
cat >> /usr/lib/systemd/system/mongo-shard3.service << EOF [Unit] Description=mongodb-shard3 After= mongo-config.target network.target [Service] Type=forking User=mongo Group=mongo ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/shard3.conf ExecReload=/bin/kill -s HUP $MAINPID ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/shard3.conf PrivateTmp=true [Install] WantedBy=multi-user.target EOF
启动三台服务器的shard3 server
systemctl daemon-reload systemctl start mongo-shard3 systemctl enable mongo-shard3
初始化副本集
登录任意一台配置服务器,任意选一台服务器(注意:不要选择即将要设置为仲裁节点的服务器)
mongo --port 27003 #使用admin数据库 use admin #定义副本集配置,第三个节点的 "arbiterOnly":true 代表其为仲裁节点。不可为当前初始化设置的节点 config = { ... _id : "shard3", ... members : [ ... {_id : 0, host : "10.10.16.52:27003" }, ... {_id : 1, host : "10.10.16.53:27003",arbiterOnly: true }, ... {_id : 2, host : "10.10.16.54:27003" } ... ] ... } #初始化副本集配置 rs.initiate(config); rs.status()
配置路由服务器 mongos
先启动配置服务器和分片服务器,后启动路由实例:(三台机器)配置文件
cat >> /data/mongodb/conf/mongos.conf << EOF pidfilepath = /data/mongodb/mongos/log/mongos.pid logpath = /data/mongodb/mongos/log/mongos.log logappend = true bind_ip = 0.0.0.0 port = 20000 fork = true #监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字 configdb = configs/10.10.16.52:21000,10.10.16.53:21000,10.10.16.54:21000 #设置最大连接数 maxConns=20000 EOF
systemd 启动脚本
cat >> /usr/lib/systemd/system/mongos.service << EOF [Unit] Description=Mongo Router Service After=mongo-config.service [Service] Type=forking User=mongo Group=mongo ExecStart=/usr/local/mongodb/bin/mongos --config /data/mongodb/conf/mongos.conf Restart=on-failure [Install] WantedBy=multi-user.target EOF
启动三台服务器的mongos server
systemctl daemon-reload systemctl start mongos systemctl enable mongos
启用分片
目前搭建了mongodb配置服务器、路由服务器,各个分片服务器,不过应用程序连接到mongos路由服务器并不能使用分片机制,还需要在程序里设置分片配置,让分片生效。登陆任意一台mongos
mongo --port 20000 #使用admin数据库 use admin #串联路由服务器与分配副本集 sh.addShard("shard1/10.10.16.52:27001,10.10.16.53:27001,10.10.16.54:27001") sh.addShard("shard2/10.10.16.52:27002,10.10.16.53:27002,10.10.16.54:27002") sh.addShard("shard3/10.10.16.52:27003,10.10.16.53:27003,10.10.16.54:27003") #查看集群状态 sh.status() sh.status() --- Sharding Status --- sharding version: { "_id" : 1, "minCompatibleVersion" : 5, "currentVersion" : 6, "clusterId" : ObjectId("5a9a97f70d2d5d358998988d") } shards: { "_id" : "shard1", "host" : "shard1/10.10.16.52:27001,10.10.16.53:27001", "state" : 1 } { "_id" : "shard2", "host" : "shard2/10.10.16.53:27002,10.10.16.54:27002", "state" : 1 } { "_id" : "shard3", "host" : "shard3/10.10.16.52:27003,10.10.16.54:27003", "state" : 1 } active mongoses: "3.6.3" : 3 autosplit: Currently enabled: yes balancer: Currently enabled: yes Currently running: no Failed balancer rounds in last 5 attempts: 0 Migration Results for the last 24 hours: No recent migrations databases: { "_id" : "config", "primary" : "config", "partitioned" : true }
测试
目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了,但我们的目的是希望插入数据,数据能够自动分片。连接在mongos上,准备让指定的数据库、指定的集合分片生效。#指定testdb分片生效 db.runCommand( { enablesharding :"testdb"}); #指定数据库里需要分片的集合和片键 db.runCommand( { shardcollection : "testdb.table1",key : {id: 1} } )
我们设置testdb的 table1 表需要分片,根据 id 自动分片到 shard1 ,shard2,shard3 上面去。要这样设置是因为不是所有mongodb 的数据库和表 都需要分片!
测试分片配置结果
mongo 127.0.0.1 --port 20000 #使用testdb use testdb; #插入测试数据 for(i=1;i<=1000;i++){db.table1.insert({"id":i,"name":"lovego"})}; # 总条数 db.table1.aggregate([{$group : {_id : "$name", totle : {$sum : 1}}}]) { "_id" : "lovego", "totle" : 100000 } #查看分片情况如下, db.table1.stats();
维护
启动顺序systemctl start mongo-config systemctl start mongo-shard1 systemctl start mongo-shard2 systemctl start mongo-shard3 systemctl start mongos
关闭顺序
systemctl stop mongos systemctl stop mongo-shard1 systemctl stop mongo-shard2 systemctl stop mongo-shard3 systemctl stop mongo-config
参考
https://cloud.tencent.com/developer/article/1034843http://www.ityouknow.com/mongodb/2017/08/05/mongodb-cluster-setup.html
http://www.cnblogs.com/clsn/p/8214345.html
相关文章推荐
- 【MongoDB】-MongoDB-3.6分片复制集群
- mongodb的分布式集群(1、主从复制)
- MongoDB 集群搭建(主从复制、副本及)(五)
- mongodb复制集和分片混合集群搭建(原创)
- 【MongoDB】windows平台搭建Mongo数据库复制集(类似集群)(二)
- 【mongoDB实战】mongo集群---主从复制篇
- MongoDB主从复制+集群
- MongoDB 3.0 常见集群的搭建(主从复制,副本集,分片....)
- 征服 Mongodb 之 主从复制&集群复制
- 11、mongodb的主从复制集群
- MongoDB集群(一) 主从复制
- 征服 Mongodb 之 主从复制&集群复制
- 9 MongoDB主从复制和集群
- 一步一步教你搭建基于docker的MongoDB复制集群环境
- 【MongoDB】windows平台搭建Mongo数据库复制集(相似集群)(三)
- 【MongoDB】windows平台搭建Mongo数据库复制集(类似集群)(转)
- 征服 Mongodb 之 主从复制&集群复制
- Mongodb主从复制 及 副本集+分片集群梳理
- MongoDB第五天:MongoDB主从复制及MongoDB集群
- 6.非关系型数据库(Nosql)之mongodb:集群(主从复制)