您的位置：首页 > 数据库 > Mongodb

mongodb学习笔记（5）——Sharding Cluster 分片集群及搭建过程

2019-04-01 15:54 936 查看

MongoDB Sharding Cluster 分片集群

  • 5.3 config 节点配置
  • 5.3.3 启动节点，并配置复制集：
  • 5.4 mongos节点配置
  • 5.5 分片集群操作：
  • 5.6 balancer操作


    • shard
     存储应用数据记录。实际生产环境中一个shard server角色可由几台机器组个一个replica set承担，防止主机单点故障。

    Config Server
     存储集群所有节点、分片数据路由信息。默认需要分配3个Config Server，mongod实例，存储了整个 ClusterMetadata，其中包括 chunk信息。

    Mongos
     提供对外应用访问，所有操作均通过mongos执行。一般有多个mongos节点。数据迁移和数据自动平衡。客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用

    5.1 规划

    10个实例： 38017-38026
    （1）configserver
     3台构成的复制集（1主2从，不支持arbiter）38018-38020(复制集名字configsvr)

    （2）shard节点；
     shd1: 38021-23 (1主2从，其中一个节点为arbiter，复制集名字为shd1)
     shd2: 38024-26 (1主2从，其中一个节点为arbiter，复制集名字为shd2)

    5.2 shard复制集配置：

    5.2.1 目录创建：

    mkdir -p /mongodb/38021/conf  /mongodb/38021/data  /mongodb/38021/log
mkdir -p /mongodb/38022/conf  /mongodb/38022/data  /mongodb/38022/log
mkdir -p /mongodb/38023/conf  /mongodb/38023/data  /mongodb/38023/log
mkdir -p /mongodb/38024/conf  /mongodb/38024/data  /mongodb/38024/log
mkdir -p /mongodb/38025/conf  /mongodb/38025/data  /mongodb/38025/log
mkdir -p /mongodb/38026/conf  /mongodb/38026/data  /mongodb/38026/log

    5.2.2 修改配置文件：

    shd1：

    vi /mongodb/38021/conf/mongodb.conf

    根据需求修改相应参数：

    systemLog:
destination: file
path: "/mongodb/38021/log/mongodb.log"
logAppend: true
storage:
dbPath: "/mongodb/38021/data"
journal:
enabled: true
directoryPerDB: true
#engine: wiredTiger
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
processManagement:
fork: true
net:
bindIp: 192.168.253.129,127.0.0.1
port: 38021
replication:
oplogSizeMB: 2048
replSetName: shd1
sharding:
clusterRole: shardsvr
    cp /mongodb/38021/conf/mongodb.conf  /mongodb/38022/conf/
cp /mongodb/38021/conf/mongodb.conf  /mongodb/38023/conf/

sed 's#38021#38022#g' /mongodb/38022/conf/mongodb.conf -i
sed 's#38021#38023#g' /mongodb/38023/conf/mongodb.conf -i

    shd2:

    vi /mongodb/38024/conf/mongodb.conf

    根据需求修改相应参数：

    systemLog:
destination: file
path: "/mongodb/38024/log/mongodb.log"
logAppend: true
storage:
dbPath: "/mongodb/38024/data"
journal:
enabled: true
directoryPerDB: true
#engine: wiredTiger
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
processManagement:
fork: true
net:
bindIp: 192.168.253.129,127.0.0.1
port: 38024
replication:
oplogSizeMB: 2048
replSetName: shd2
sharding:
clusterRole: shardsvr
    cp /mongodb/38024/conf/mongodb.conf  /mongodb/38025/conf/
cp /mongodb/38024/conf/mongodb.conf  /mongodb/38026/conf/

sed 's#38024#38025#g' /mongodb/38025/conf/mongodb.conf -i
sed 's#38024#38026#g' /mongodb/38026/conf/mongodb.conf -i

    5.2.3 启动所有节点，并搭建复制集

    mongod -f  /mongodb/38021/conf/mongodb.conf
mongod -f  /mongodb/38022/conf/mongodb.conf
mongod -f  /mongodb/38023/conf/mongodb.conf
mongod -f  /mongodb/38024/conf/mongodb.conf
mongod -f  /mongodb/38025/conf/mongodb.conf
mongod -f  /mongodb/38026/conf/mongodb.conf
    mongo  --port 38021

use admin

config ={ _id: 'shd1', members: [
{_id: 0, host: '192.168.253.129:38021'},
{_id: 1, host: '192.168.253.129:38022'},
{_id: 2, host: '192.168.253.129:38023',"arbiterOnly":true}
]
}
rs.initiate(config)
    mongo  --port 38024

use admin

config ={ _id: 'shd2', members: [
{_id: 0, host: '192.168.253.129:38024'},
{_id: 1, host: '192.168.253.129:38025'},
{_id: 2, host: '192.168.253.129:38026',"arbiterOnly":true}
]
}
rs.initiate(config)

    5.3 config 节点配置

    5.3.1 目录创建

    mkdir -p /mongodb/38018/conf  /mongodb/38018/data  /mongodb/38018/log
mkdir -p /mongodb/38019/conf  /mongodb/38019/data  /mongodb/38019/log
mkdir -p /mongodb/38020/conf  /mongodb/38020/data  /mongodb/38020/log

    5.3.2 修改配置文件

    vi /mongodb/38018/conf/mongodb.conf
systemLog:
destination: file
path: "/mongodb/38018/log/mongodb.log"
logAppend: true
storage:
dbPath: "/mongodb/38018/data"
journal:
enabled: true
directoryPerDB: true
#engine: wiredTiger
wiredTiger:
engineConfig:
cacheSizeGB: 1
directoryForIndexes: true
collectionConfig:
blockCompressor: zlib
indexConfig:
prefixCompression: true
processManagement:
fork: true
net:
bindIp: 192.168.253.129,127.0.0.1
port: 38018
replication:
oplogSizeMB: 2048
replSetName: configReplSet
sharding:
clusterRole: configsvr
    cp /mongodb/38018/conf/mongodb.conf  /mongodb/38019/conf/
cp /mongodb/38018/conf/mongodb.conf  /mongodb/38020/conf/

sed 's#38018#38019#g' /mongodb/38019/conf/mongodb.conf -i
sed 's#38018#38020#g' /mongodb/38020/conf/mongodb.conf -i

    5.3.3 启动节点，并配置复制集：

    mongod -f  /mongodb/38018/conf/mongodb.conf
mongod -f  /mongodb/38019/conf/mongodb.conf
mongod -f  /mongodb/38020/conf/mongodb.conf
    mongo --port 38018

use admin

config ={ _id: 'configReplSet', members: [
{_id: 0, host: '192.168.253.129:38018'},
{_id: 1, host: '192.168.253.129:38019'},
{_id: 2, host: '192.168.253.129:38020'}
]
}
rs.initiate(config)

     注：configserver可以是一个节点，官方建议复制集。configserver不能有arbiter。
    新版本中，要求必须是复制集
     注：mongodb 3.4之后，虽然要求config server为replica set，但是不支持arbiter

    ==================================================

    5.4 mongos节点配置

    5.4.1 目录创建

    mkdir -p /mongodb/38017/conf    /mongodb/38017/log

    5.4.2 修改配置文件

    vi /mongodb/38017/conf/mongos.conf
systemLog:
destination: file
path: "/mongodb/38017/log/mongodb.log"
logAppend: true
processManagement:
fork: true
net:
bindIp: 192.168.253.129,127.0.0.1
port: 38017
sharding:
configDB: configReplSet/192.168.253.129:38018,192.168.253.129:38019,192.168.253.129:38020

    5.4.3 启动mongos

    mongos -f /mongodb/38017/conf/mongos.conf

    5.5 分片集群操作：

    连接到其中一个mongos（192.168.253.129），做以下配置：
    （1）连接到mongos的admin数据库

    su - mongodb
mongo 192.168.253.129:38017/admin

    (2)添加分片

    db.runCommand( { addshard : "shd1/192.168.253.129:38021,192.168.253.129:38022,192.168.253.129:38023",name:"shard1" } )
db.runCommand( { addshard : "shd2/192.168.253.129:38024,192.168.253.129:38025,192.168.253.129:38026",name:"shard2" } )

    (3)列出分片

    mongos> db.runCommand( { listshards : 1 } )

    (4)整体状态查看

    mongos> sh.status()

    5.6 balancer操作

    介绍：
    mongos的一个重要功能，自动巡查所有shard节点上的chunk的情况，自动做chunk迁移。
    什么时候工作：
     1、自动运行，会检测系统不繁忙的时候迁移
     2、在做节点删除的时候，立即开始迁移工作
     3、balancer只能在预定的时间窗口内运行
     
    有需要的时可以关闭和开启balancer(备份的时候)

    mongos> sh.stopBalancer()
    mongos> sh.startBalancer()

    5.6.1 自定义 自动平衡进行的时间段

    https://docs.mongodb.com/manual/tutorial/manage-sharded-cluster-balancer/#schedule-the-balancing-window
    // connect to mongos

    use config
sh.setBalancerState( true )
db.settings.update(
{ "_id" : "balancer" },
{ $set : { activeWindow : { start : "3:00",stop : "5:00" }  } },
true
)

sh.getBalancerWindow()
sh.status()

    5.6.2 关于集合的balancer（了解）

    关闭某个集合下的balance

    sh.disableBalancing("students.grades")

    打开某个集合的balancer

    sh.enableBalancing("students.grades")

    确定某个集合的balance是开启或者关闭

    db.getSiblingDB("config").collections.findOne({_id : "students.grades"}).noBalance;
    内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
    标签： 
    相关文章推荐
    新的分享
    章节导航