MONGODB大数据运维管理

数据库管理
备份MONGODB服务器
执行mongodump //默认使用本地连接127及端口连接本地数据库
数据库恢复到备份之前的状态:
mongorestore --drop
##--drop选项告诉mongorestore工具,在恢复集合之前先丢弃现有的数据,如果不使用该选项,被恢复的数据将被追加到每个集合的尾部,导致数据的重复
备份单个数据库
mongodump -d database_name -c post ##备份指定库下集合
--help
恢复单个数据库
mongorestore -d blog --drop
恢复单个集合
mongorestore -d blog -c posts --drop

备份大数据库
数据库备份系统有一个必杀技,就是时间点快照,它的速度非常快,快照完成的速度越快,数据库服务器需要被冻结的时间就越短
在MONGODB中创建隐藏辅助服务器是非常简单的,并且可以使用MONGODB的复制机制来保证他与主服务器一直
1使用日志文件系统创建快照
2使用隐藏的辅助服务器备份数据

MONGODB上执行fysnc和lock，可以保证磁盘上数据库的镜像处于一致状态，并保证在完成快照之前他们仍然保持一致状态
use admin
db.fsyncLock() //进入fsync和lock状态
查看当前锁的状态
use admin
db.currentOp()
释放锁
db.fsyncUnlock() //锁释放之前可能有短暂的延迟
数据导入mongoDB使用mongoimport
mongoimport 工具可加载3种文件格式的数据
1、CSV：此种文件格式，每行代表一个文档，字段之间由逗号分隔
2、TSV：该文件类似CSV，它使用TAB作为分隔符
3、JSON：该文件格式每行都办好一块JSON，代表一个文档，与其他格式不同，JSON可以支持可变模式的文档
mongoimport --help
MONGODB支持简单的基于角色的身份验证系统，通过系统可以控制用户对数据库的访问以及他们被授予的访问级别
添加admin
use admin
db.createUser({
user:"admin",
pwd:"root123",
roles:[{
role:"readWrite",
db:"admin"},
{role:"userAdminAnyDatabase",db:"admin"}
]
})
db.auth("admin","root123")
db.getllsers() //用户权限相关信息
db.serverStatus()

验证和修复数据
修复服务器
使用repair命令是一个代价高昂的操作，会消耗很长世间，并且要求使用两倍于MONGODB数据文件大小，因为所有的数据都被克隆岛新的文件并重建，本质上是对所有数据文件的重建
mongod --dbpath /data/db --repair
在大型数据修复过程中，可以指定一个大的空间的驱动器，用于保存修复过程中创建的临时文件
mongod -f /etc/mongodb.conf --repair --repairpath /tmp/bigdata/

通过validata选项可以验证数据库中集合的内容是否存在问题
use dblog
db.posts.ensureIndex({Author:1})
db.posts.validate()

修复集合的索引
db.posts.reIndex() //在线修复会柱塞对系统的访问
修复集合的数据文件
use blog
db.repairDatabase() //不适合在线运行，因为它会重建数据文件时会组赛对数据的所有请求，修复过程中所有读写请求都被阻塞

MONGODB的优化
启用和禁用MONGODB分析器
use blog
db.setProfilingLevel(1) //0关闭
db.setProfilingLevel(1，500) //启动毫秒级别
db.setProfilingLevel(2) //所有查询启动分析器
查找慢查询
db.system.profile.find()

增加分析器集合的大小
1、关闭分析器
use blog
db.setProfilingLevel(0)
2、删除system.profile集合
db.system.profile.drop()
3、创建新的集合分析器
db.createCollection("system.profile",{capped:true,size:50*1024*1024})
4、重新启用分析器
db.setProfilingLevel(2)
使用explain()分析特定的查询
use blog
db.posts.find().explain(true)