Mongodb学习笔记(一)

一、首先，nosql：not only sql，指的是非关系型数据库。

关系型数据库中的表都是存储一些结构化的数据，每条记录的字段的组成都一样，即使不是每条记录都需要所有的字段，但数据库会为每条数据分配所有的字段。而非关系型数据库以键值对(key-value)存储，它的结构不固定，每一条记录可以有不一样的键，每条记录可以根据需要增加一些自己的键值对，这样就不会局限于固定的结构，可以减少一些时间和空间的开销。 

结构化数据：固定的长度，固定的类型，固定的格式

非结构化的数据如avi，ppt，doc等

二、非关系型数据库的优点：

1.简单的扩展（以键值对的方式存储，结构比较灵活）

比如要在关系型数据库中为某一个记录扩展一个字段很不方便，必须要改表结构，而非关系数据库结构不固定，每条记录可以有不一样的键，可以根据需要增加一些自己的键值对

2.快速的读写

3.低廉的成本

4.灵活的数据模型

缺点：

1.不提供对SQL的支持

2.支持的特性不够丰富（比如没有事物的这些概念）

3.现有的产品不够成熟（相对于关系型数据库而言）

三、Mongodb中基本概念介绍：

文档(document)是MongoDB中数据的基本单元，非常类似于关系型数据库系统中的行(但是比行要复杂的多)

集合(collection)就是一组文档，如果说MongoDB中的文档类似于关系型数据库中的行，那么集合就如同表

MongoDB的单个计算机可以容纳多个独立的数据库，每一个数据库都有自己的集合和权限

MongoDB自带简洁但功能强大的JavaScript shell，这个工具对于管理MongoDB实例和操作数据作用非常大

每一个文档都有一个特殊的键"_id",它在文档所处的集合中是唯一的，相当于关系数据库中的表的主键

MongoDB数据类型有个比较特殊的地方：

mysql中是不能存放数组的，最多只能拼接成字符串存放进去，而Mongodb可以存放数组和内嵌文档：

数组           值的集合或者列表
                                              {"arr": ["a","b"]}

内嵌文档          文档可以作为文档中某个key的value              {"x":{"foo":"bar"}}

四、启动Mongodb命令：

mongod --dbpath E:\MongoDBDATA --rest（服务端）

mongo 127.0.0.1:27017/admin（客户端，默认连admin数据库）

（可以把这两个命令写成.bat文件）

五、Mongodb索引

创建普通索引，使用命令 db.collection.ensureIndex({key:1})

创建唯一索引，使用命令 db.collection.ensureIndex({key:1},{unique:true})，如果在某个key上面建立了唯一索引，该key不能有重复的值

删除索引，使用命令 db.collection.dropIndex({key:1})

删除集合，也会将集合中的索引全部删除

六、备份(mongodump)和恢复(mongorestore)

备份数据使用下面的命令：

>mongodump -h dbhost -d dbname -o dbdirectory比如mongodump -h 127.0.0.1:27017 -d app_user -o d://backups

-h：MongDB所在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:27017

-d：需要备份的数据库实例，例如：test

-o：备份的数据存放位置，例如：c:\data\dump，当然该目录需要提前建立，在备份完成后，系统自动在dump目录下建立一个test目录，这个目录里面存放该数据库实例的备份数据。

恢复数据使用下面的命令：

>mongorestore -h dbhost -d dbname -directoryperdb dbdirectory

-h：MongoDB所在服务器地址

-d：需要恢复的数据库实例，例如：test，当然这个名称也可以和备份时候的不一样，比如test2

-directoryperdb：备份数据所在位置，例如：c:\data\dump\test

七、导入(mongoimport)和导出(mongoexport)

导出数据可以使用命令：

mongoexport -h dbhost -d dbname -c collectionName -o output

比如:mongoexport -h localhost:27017 -d test -c app_user -o d://a/app_user.txt

参数说明:

-h  数据库地址

-d 指明使用的库

-c 指明要导出的集合

-o 指明要导出的文件名

导入数据可以使用命令：

mongoimport -h dbhost -d dbname -c collectionname 文件的地址...

参数说明:

-h  数据库地址

-d 指明使用的库

-c 指明要导入的集合

本地的文件地址...

八、固定集合

固定集合指的是事先创建而且大小固定的集合 。

固定集合特性：固定集合很像环形队列，如果空间不足，最早的文档就会被删除，为新的文档腾出空间。一般来说，固定集合适用于任何想要自动淘汰过期属性的场景，没有太多的操作限制。

固定集合的应用场景：

比如只保留最近2个月的日志，聊天记录，通话记录等等。

创建固定集合使用命令：db.createCollection(“collectionName”,{capped:true,size:100000,max:100});  

size指定集合大小，单位为KB，max指定文档的数量 

当指定文档数量上限时，必须同时指定大小。淘汰机制只有在容量还没有满时才会依据文档数量来工作。要是容量满了，淘汰机制会依据容量来工作。 

九、Mongodb的安全和认证

在开启安全检查之前，需要有一个管理员的账号，admin数据库（内存中的，不可见）当中的用户会被视为超级管理员

1.进入到admin数据库中，添加用户（这个里面的用户都会被视为超级管理员）

2.有了超级管理员之后就可以为其他的数据库分配用户

3.服务端开启安全检查

4.客户端连接时需要认证

在admin数据库中创建管理员账号：

use admin;

db.addUser(“root”,”root”);

在test数据库中创建普通账号：

use test;

db.addUser(“zhangsan”,”123”);

db.addUser(“lisi”,”123”,true);

注意：用户zhangsan，密码为123，对test数据库拥有读写权限

            用户lisi，密码为123，对test数据库拥有只读权限

重新启动数据库服务，并开启安全检查：

mongod --dbpath d:\mongo_data --auth

十、Mongodb主从集群（即主从复制，主要用来分流）

主从复制是MongoDB最常用的复制方式。这种方式非常灵活，可用于备份、故障恢复、读扩展等。

最基本的设置方式就是建立一个主节点和一个或者多个从节点，每个从节点要知道主节点的地址。运行mongod --master就启动了主服务器。运行mongod --slave --source master_address 则启动了从服务器，其中master_address就是上面主节点的地址。

可以在一台计算机上来模拟主节点和从节点。在D盘创建两个目录master和slave，master目录作为主节点的数据文件的目录，slave目录作为从节点的数据文件的目录。

注意：主节点和从节点要指定不同的端口。

启动主节点：mongod --dbpath d:\master --port 10000 --master

启动从节点：mongod --dbpath d:\slave --port 10001 --slave --source localhost:10000

启动成功后就可以连接主节点进行操作了，而这些操作会同步到从节点。（即自动完成了主从复制，且从节点客户端不能进行写操作）

但此时若主服务器挂了，从Mongodb服务器不会自动替换。

十（2）、Mongodb副本集

副本集就是有自动故障恢复功能的主从集群。

主从集群和副本集最大的区别就是副本集没有固定的“主节点”；整个集群会选出一个“主节点”，当其挂掉后，又在剩下的从节点中选中其他节点为“主节点”，副本集总有一个活跃点(primary)和一个或多个备份节点(secondary)。



副本集测试：

先建立相应存放副本集3个节点数据和日志的文件夹：D:\mongodb\dbs\node1，D:\mongodb\dbs\node2，D:\mongodb\dbs\node3和D:\mongodb\dbs\log1，D:\mongodb\dbs\log2，D:\mongodb\dbs\log3

启动节点1：(这三条命令在3个cmd中分别运行)

mongod --dbpath D:\mongodb\dbs\node1 --logpath D:\mongodb\logs\node1\logs.txt --logappend --port 10001 --replSet fubenji1/localhost:10002  --master

启动节点2：

mongod --dbpath D:\mongodb\dbs\node2 --logpath D:\mongodb\logs\node2\logs.txt --logappend --port 10002 --replSet fubenji1/localhost:10001

启动节点3：  

mongod --dbpath D:\mongodb\dbs\node3 --logpath D:\mongodb\logs\node3\logs.txt --logappend --port 10003 --replSet fubenji1/localhost:10001,localhost:10002

接下来是初始化节点(只能初始化一次)：随便登录一个节点,以10001为例

mongo localhost:10001/admin

 db.runCommand({

 "replSetInitiate":{

  "_id":“fubenji1",

  "members":[

   {

     "_id":1,

     "host":"localhost:10001",

      "priority":3

   },

   {

     "_id":2,

     "host":"localhost:10002",

     "priority":2

   },

   {

     "_id":3,

     "host":"localhost:10003",

      "priority":1

   }

  ]}});

 

查询当前主库：

登录10002，mongo localhost:10002

然后执行db.$cmd.findOne ( {ismaster: 1 } ); 



然后模拟主Mgongodb服务区挂掉的情况：
关闭10001服务Dos命令窗口,  登录10002查询当前主库

mongo localhost:10002

db.$cmd.findOne ( {ismaster: 1 } ); 



注：副本集从服务器里不能做查询，实际上副本集只实现了数据备份和故障恢复的功能

因此，在实际开发中，一个节点可能充当多个角色，在主从复制里面是从节点，在副本集里是备份节点。

十一、Mongodb的分布式存储（即分片sharding）

单台计算机的存储于硬件是有限制的，我们可以利用多台机器的硬盘来存储数据，可以利用多台计算机的CPU或其他的一些硬件资源读写数据，以提升性能。

MongoDB分片的基本思想就是将集合切分成小块。这些块分散到若干片里面，每个片只负责总数据的一部分。应用程序不必知道哪片对应哪些数据，甚至不需要知道数据已经被拆分了，所以在分片之前要运行一个路由进程，该进程名为mongos。这个路由器知道所有数据的存放位置，所以应用可以连接它来正常发送请求。对应用来说，它仅知道连接了一个普通的mongod。路由器知道数据和片的对应关系，能够转发请求到正确的片上。如果请求有了回应，路由器将其收集起来回送给应用。

设置分片时，需要从集合里面选一个键，用该键的值作为数据拆分的依据。这个键称为片键(shard key)。

{name:"zhangsan",age:1}

用个例子来说明这个过程：假设有个文档集合表示的是人员。如果选择名字("name")作为片键，第一片可能会存放名字以A~F开头的文档，第二片存的G~P的名字，第三片存的Q~Z的名字。随着添加或者删除片，MongoDB会重新平衡数据，使每片的流量都比较均衡，数据量也在合理范围内。

测试分片：

1、创建三个目录，分别存放两个mongod服务的数据文件和config服务的数据文件，

比如：E:\sharding\mongod_node1,E:\sharding\mongod_node2,和E:\sharding\config_node

2、开启config服务器 。mongos要把mongod之间的配置放到config服务器里面，所以首先开启它，这里就使用2222端口。 命令为：

mongod --dbpath E:\sharding\config_node --port 2222

3、开启mongos服务器 (Mongodb提供的路由服务的进程)。这里要注意的是我们开启的是mongos，端口3333，同时指定下config服务器。命令为：

mongos --port 3333 --configdb=127.0.0.1:2222

4、启动mongod服务器 。对分片来说，也就是要添加片了，这里开启两个mongod服务，端口分别为：4444，5555。命令为：

mongod --dbpath E:\sharding\mongod_node1 --port 4444

mongod --dbpath E:\sharding\mongod_node2 --port 5555 

5、服务配置 。client直接跟mongos打交道，也就说明我们要连接mongos服务器，然后将4444，5555的mongod交给mongos,添加分片也就是addshard()。



6、开启数据库分片功能，命令很简单 enablesharding(),这里就开启test数据库。 

7、指定集合中分片的片键，这里就指定为person.name键。 



8、通过mongos插入10w记录，然后通过printShardingStatus命令查看mongodb的数据分片情况。