MongoDB--架构搭建 分片+副本集

分片架构
1、分片是对数据量比较大的集合进行拆分到不同服务器MongoDB实例中去，如果架构是分片架构，则以后登录不能使用mongo，要改为mongos路由链接形式
2、分片架构的核心是分片的片键设置，片键选取的目标是能让后续插入的集合均匀的插入到各个片区中去。如果根据自增、创建时间等自增类型设置片键，则会造成，最后的数据库越来越大，不符合初衷，如果根据性别、学历等设置片键，则会造成数据块较少，起不到分片的效果。
3、结合副本集，则架构如下图：





4、实例准备，3台服务器：服务器1对应端口1.2.3、服务器2对应端口4.5.6、服务器3对应端口7.8.9 （如果开启权限认证之后，请保持所有的实例关联的keyfile文件一样）

9个分片节点：127.0.0.1:27771、127.0.0.1:27772、127.0.0.1:27773、127.0.0.1:27774.....127.0.0.1:27779

1.4.7为shard1副本集、2.5.8为shard2副本集、3.6.9为shard3副本集

单个节点设置完成之后，登陆其中要设置为副本集的主节点，进行设置副本集

命令：

rs.initiate() --节点初始化

cfg={_id:"Set1", members:[ {_id:0,host:"172.17.7.106:25552"}] } --节点默认值

rs.reconfig(cfg, {force:true}) --加载默认值节点

rs.add("XXXXXXX") --添加其他节点

3个配置节点：127.0.0.1:27761、127.0.0.1:27762、127.0.0.1:27763

注意配置节点需要配置为副本集形式，此举是3.0版本之后得强制设置，这样可以提高容灾机制

配置节点每台服务器一个

命令：与分片节点的副本集命令一样，注意修改副本集的ID

3个路由节点：127.0.0.1:27751、127.0.0.1:27752、127.0.0.1:27753（注意：因为是单机模拟，所以路由起一个就可以了，多了则会报错）

请注意，开启路由节点需要使用mongos 命令

1、分片节点实例配置文件

实例1(注意下面开头的---也是配置文件内容为第一行)

---
systemLog:
   destination: file
   path: "D:\\MGDBP\\Set1\\LOG\\Set1_1.log"
   logAppend: true
storage:
   dbPath: "D:\\MGDBP\\Set1\\DB"
   journal:
      enabled: true
   directoryPerDB: true
   syncPeriodSecs: 30
   engine: wiredTiger # MongoDB 3.0版本开始务必使用WT引擎
   wiredTiger:
      engineConfig:
         cacheSizeGB: 1
#         statisticsLogDelaySecs: 0
         journalCompressor: snappy
#         directoryForIndexes: true
      collectionConfig:
         blockCompressor: snappy
      indexConfig:
         prefixCompression: true
operationProfiling:
   slowOpThresholdMs: 200
   mode: "slowOp"

#processManagement:
#   fork: true
#   pidFilePath: "D:\\MSset\\Set1\\Forklog" 
net:
   port:
27771
replication:
  replSetName: "Set1"
  oplogSizeMB: 10000
sharding:
  clusterRole: shardsvr
security:
  authorization: "enabled"
  clusterAuthMode: "keyFile"
  keyFile: "D:\\MGDBP\\Set1\\KEY\\skey.key"

实例2

---
systemLog:
   destination: file
   path: "D:\\MGDBP\\Set2\\LOG\\Set2_1.log"
   logAppend: true
storage:
   dbPath: "D:\\MGDBP\\Set2\\DB"
   journal:
      enabled: true
   directoryPerDB: true
   syncPeriodSecs: 30
   engine: wiredTiger # MongoDB 3.0版本开始务必使用WT引擎
   wiredTiger:
      engineConfig:
         cacheSizeGB: 1
#         statisticsLogDelaySecs: 0
         journalCompressor: snappy
#         directoryForIndexes: true
      collectionConfig:
         blockCompressor: snappy
      indexConfig:
         prefixCompression: true
operationProfiling:
   slowOpThresholdMs: 200
   mode: "slowOp"

#processManagement:
#   fork: true
#   pidFilePath: "D:\\MSset\\Set2\\Forklog" 
net:
   port:
27772
replication:
  replSetName: "Set2"
  oplogSizeMB: 10000
sharding:
  clusterRole: shardsvr
security:
  authorization: "enabled"
  clusterAuthMode: "keyFile"
  keyFile: "D:\\MGDBP\\Set2\\KEY\\skey.key"

仿照设置到实例9...

2、配置节点实例配置文件

节点1

---
systemLog:
   destination: file
   path: "D:\\MGDBP\\Conf\\LOG\\s1.log"
   logAppend: true
storage:
   dbPath: "D:\\MGDBP\\Conf\\DB"
   journal:
      enabled: true
   directoryPerDB: true
   syncPeriodSecs: 30
   engine: wiredTiger # MongoDB 3.0版本开始务必使用WT引擎
   wiredTiger:
      engineConfig:
         cacheSizeGB: 1
#         statisticsLogDelaySecs: 0
         journalCompressor: snappy
#         directoryForIndexes: true
      collectionConfig:
         blockCompressor: snappy
      indexConfig:
         prefixCompression: true
operationProfiling:
   slowOpThresholdMs: 200
   mode: "slowOp"

#processManagement:
#   fork: true
#   pidFilePath: "D:\\MSset\\Set1\\Forklog" 
net:
   port:
27761
replication:
  replSetName: "confrs"
  oplogSizeMB: 10000
sharding:
  clusterRole: "configsvr"
security:
  authorization: "enabled"
  clusterAuthMode: "keyFile"
  keyFile: "D:\\MGDBP\\Conf\\confkey.key"

节点2

---
systemLog:
   destination: file
   path: "D:\\MGDBP\\Conf\\LOG\\s1.log"
   logAppend: true
storage:
   dbPath: "D:\\MGDBP\\Conf\\DB"
   journal:
      enabled: true
   directoryPerDB: true
   syncPeriodSecs: 30
   engine: wiredTiger # MongoDB 3.0版本开始务必使用WT引擎
   wiredTiger:
      engineConfig:
         cacheSizeGB: 1
#         statisticsLogDelaySecs: 0
         journalCompressor: snappy
#         directoryForIndexes: true
      collectionConfig:
         blockCompressor: snappy
      indexConfig:
         prefixCompression: true
operationProfiling:
   slowOpThresholdMs: 200
   mode: "slowOp"

#processManagement:
#   fork: true
#   pidFilePath: "D:\\MSset\\Set1\\Forklog" 
net:
   port:
27762--(注意此处，如果是同一台机器，请修改端口)
replication:
  replSetName: "confrs"
  oplogSizeMB: 10000
sharding:
  clusterRole: "configsvr"
security:
  authorization: "enabled"
  clusterAuthMode: "keyFile"
  keyFile: "D:\\MGDBP\\Conf\\confkey.key"

节点3

---
systemLog:
   destination: file
   path: "D:\\MGDBP\\Conf\\LOG\\s1.log"
   logAppend: true
storage:
   dbPath: "D:\\MGDBP\\Conf\\DB"
   journal:
      enabled: true
   directoryPerDB: true
   syncPeriodSecs: 30
   engine: wiredTiger # MongoDB 3.0版本开始务必使用WT引擎
   wiredTiger:
      engineConfig:
         cacheSizeGB: 1
#         statisticsLogDelaySecs: 0
         journalCompressor: snappy
#         directoryForIndexes: true
      collectionConfig:
         blockCompressor: snappy
      indexConfig:
         prefixCompression: true
operationProfiling:
   slowOpThresholdMs: 200
   mode: "slowOp"

#processManagement:
#   fork: true
#   pidFilePath: "D:\\MSset\\Set1\\Forklog" 
net:
   port:
27763--(注意此处，如果是同一台机器，请修改端口)
replication:
  replSetName: "confrs"
  oplogSizeMB: 10000
sharding:
  clusterRole: "configsvr"
security:
  authorization: "enabled"
  clusterAuthMode: "keyFile"
  keyFile: "D:\\MGDBP\\Conf\\confkey.key"

3、路由节点实例配置文件

节点1

logpath=D:\\MGDBP\\Mongos\\LOG\\s1.log 
logappend=true 
port=27751
configdb=confrs/XXXXXX:25541,XXXXXXXX:25541,XXXXXXXX:25541 --(注意，此处为配置文件所设置的IP和端口)
keyFile=D:\\MGDBP\\Mongos\\mongoskey.key

节点2

logpath=D:\\MGDBP\\Mongos\\LOG\\s1.log 
logappend=true 
port=27752
configdb=confrs/XXXXXX:25541,XXXXXXXX:25541,XXXXXXXX:25541 --(注意，此处为配置文件所设置的IP和端口)
keyFile=D:\\MGDBP\\Mongos\\mongoskey.key

节点3

logpath=D:\\MGDBP\\Mongos\\LOG\\s1.log 
logappend=true 
port=27753
configdb=confrs/XXXXXX:25541,XXXXXXXX:25541,XXXXXXXX:25541 --(注意，此处为配置文件所设置的IP和端口)
keyFile=D:\\MGDBP\\Mongos\\mongoskey.key

4、最后使用mongo 登录到路由节点，mongo 127.0.0.1:27751，进行分片的配置初始化

路由节点进行配置

db.runCommand({

"addshard":"shardrs1/127.0.0.1:27771,127.0.0.1:27774,127.0.0.1:27777"

})

db.runCommand({

"addshard":"shardrs2/127.0.0.1:27772,127.0.0.1:27775,127.0.0.1:27778"

})

db.runCommand({

"addshard":"shardrs3/127.0.0.1:27773,127.0.0.1:27776,127.0.0.1:27779"

})

5、物理节点配置好之后，需要配置sharding分片规则。

设置需要分片的数据库

db.runCommand({

enablesharding:"testsd"

})

设置片键

db.runCommand({

shardcollection:"testsd.stu",

key:{"name":1}

})

运行到此步骤 则证明 配置成功 

项目目录

http://pan.baidu.com/s/1nvqhPXJ     （此项目文件为单机部署，没有权限）





服务器环境搭建实践
遇到问题：
1、以windows服务启动时报错，msvcp140.dll 丢失
1、使用mongoDB安装文件 安装一下
2、以windows服务启动时报错,vc++错误
1、下载vc_redist.x64.exe文件，执行。
3、登录节点，设置集群初始化命令报错
1、查看防火墙，端口是否都开启，可以设置20000-65535端口开启
2、使用命令单独增加节点, rs.initiate() , 等待成为主节点时，rs.add("") 添加剩下节点。
3、如果节点添加出现泵机或其他问题，可以暂停问题节点，删除数据，重新开启，重新初始化节点添加。
cfg={_id:"Set2", members:[ {_id:0,host:"172.17.7.106:25552"}] }
rs.reconfig(cfg, {force:true});
rs.add(""")
4、分片时 设置路由出错，sharding.configdb配置文件报错
1、路由启动时应该是用mongos命令 而不是mongod
5、mongos 路由链接不上配置节点Error initializing sharding state, sleeping for 2 seconds and trying again 
1、查看keyfile是否和配置节点的一致，必须一致才能链上配置节点
6、当设置初始化副本集的时候报错
1、请注意配置文件的Ip地址，与rs.status() 里面节点名称是否和配置文件显示的是否一致