数据库笔记(MongoDB)(2)

MongoDB高级操作

  • 讲解关于mongodb的高级操作,包括聚合、主从复制、分片、备份与恢复、MR
  • 完成python与mongodb的交互

 

聚合 aggregate

  • 聚合(aggregate)主要用于计算数据,类似sql中的sum()、avg()
  • 语法
  db.集合名称.aggregate([{管道:{表达式}}])

管道

  • 管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的输入
  ps ajx | grep mongo
  • 在mongodb中,管道具有同样的作用,文档处理完毕后,通过管道进行下一次处理
  • 常用管道
    • $group:将集合中的文档分组,可用于统计结果
    • $match:过滤数据,只输出符合条件的文档
    • $project:修改输入文档的结构,如重命名、增加、删除字段、创建计算结果
    • $sort:将输入文档排序后输出
    • $limit:限制聚合管道返回的文档数
    • $skip:跳过指定数量的文档,并返回余下的文档
    • $unwind:将数组类型的字段进行拆分

表达式

  • 处理输入文档并输出
  • 语法
  表达式:'$列名'
  • 常用表达式
    • $sum:计算总和,$sum:1同count表示计数
    • $avg:计算平均值
    • $min:获取最小值
    • $max:获取最大值
    • $push:在结果文档中插入值到一个数组中
    • $first:根据资源文档的排序获取第一个文档数据
    • $last:根据资源文档的排序获取最后一个文档数据

$group

  • 将集合中的文档分组,可用于统计结果
  • _id表示分组的依据,使用某个字段的格式为'$字段'
  • 例1:统计男生、女生的总人数
  db.stu.aggregate([
      {$group:
          {
              _id:'$gender',
              counter:{$sum:1}
          }
      }
  ])

Group by null

  • 将集合中所有文档分为一组
  • 例2:求学生总人数、平均年龄
  db.stu.aggregate([
      {$group:
          {
              _id:null,
              counter:{$sum:1},
              avgAge:{$avg:'$age'}
          }
      }
  ])

透视数据

  • 例3:统计学生性别及学生姓名
  db.stu.aggregate([
      {$group:
          {
              _id:'$gender',
              name:{$push:'$name'}
          }
      }
  ])
  • 使用$$ROOT可以将文档内容加入到结果集的数组中,代码如下
  db.stu.aggregate([
      {$group:
          {
              _id:'$gender',
              name:{$push:'$$ROOT'}
          }
      }
  ])

$match


  • 用于过滤数据,只输出符合条件的文档
  • 使用MongoDB的标准查询操作
  • 例1:查询年龄大于20的学生

  db.stu.aggregate([
      {$match:{age:{$gt:20}}}
  ])

  • 例2:查询年龄大于20的男生、女生人数

  db.stu.aggregate([
      {$match:{age:{$gt:20}}},
      {$group:{_id:'$gender',counter:{$sum:1}}}
  ])

$project


  • 修改输入文档的结构,如重命名、增加、删除字段、创建计算结果
  • 例1:查询学生的姓名、年龄

  db.stu.aggregate([
      {$project:{_id:0,name:1,age:1}}
  ])

  • 例2:查询男生、女生人数,输出人数

  db.stu.aggregate([
      {$group:{_id:'$gender',counter:{$sum:1}}},
      {$project:{_id:0,counter:1}}
  ])

$sort


  • 将输入文档排序后输出
  • 例1:查询学生信息,按年龄升序

  b.stu.aggregate([{$sort:{age:1}}])

  • 例2:查询男生、女生人数,按人数降序

  db.stu.aggregate([
      {$group:{_id:'$gender',counter:{$sum:1}}},
      {$sort:{counter:-1}}
  ])

$limit


  • 限制聚合管道返回的文档数
  • 例1:查询2条学生信息

  db.stu.aggregate([{$limit:2}])

$skip


  • 跳过指定数量的文档,并返回余下的文档
  • 例2:查询从第3条开始的学生信息

  db.stu.aggregate([{$skip:2}])

  • 例3:统计男生、女生人数,按人数升序,取第二条数据

  db.stu.aggregate([
      {$group:{_id:'$gender',counter:{$sum:1}}},
      {$sort:{counter:1}},
      {$skip:1},
      {$limit:1}
  ])

  • 注意顺序:先写skip,再写limit

$unwind

  • 将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值

语法1

  • 对某字段值进行拆分
  db.集合名称.aggregate([{$unwind:'$字段名称'}])
  • 构造数据
  db.t2.insert({_id:1,item:'t-shirt',size:['S','M','L']})
  • 查询
  db.t2.aggregate([{$unwind:'$size'}])

语法2

  • 对某字段值进行拆分
  • 处理空数组、非数组、无字段、null情况
  db.inventory.aggregate([{
      $unwind:{
          path:'$字段名称',
          preserveNullAndEmptyArrays:<boolean>#防止数据丢失
      }
  }])
  • 构造数据
  db.t3.insert([
  { "_id" : 1, "item" : "a", "size": [ "S", "M", "L"] },
  { "_id" : 2, "item" : "b", "size" : [ ] },
  { "_id" : 3, "item" : "c", "size": "M" },
  { "_id" : 4, "item" : "d" },
  { "_id" : 5, "item" : "e", "size" : null }
  ])
  • 使用语法1查询
  db.t3.aggregate([{$unwind:'$size'}])
  • 查看查询结果,发现对于空数组、无字段、null的文档,都被丢弃了
  • 问:如何能不丢弃呢?
  • 答:使用语法2查询
  db.t3.aggregate([{$unwind:{path:'$sizes',preserveNullAndEmptyArrays:true}}])

 

超级管理员


  • 为了更安全的访问mongodb,需要访问者提供用户名和密码,于是需要在mongodb中创建用户
  • 采用了角色-用户-数据库的安全管理方式
  • 常用系统角色如下:
    • root:只在admin数据库中可用,超级账号,超级权限
    • Read:允许用户读取指定数据库
    • readWrite:允许用户读写指定数据库
  • 创建超级管理用户

  use admin
  db.createUser({
      user:'admin',
      pwd:'123',
      roles:[{role:'root',db:'admin'}]
  })

启用安全认证


  • 修改配置文件

  sudo vi /etc/mongod.conf

  • 启用身份验证
  • 注意:keys and values之间一定要加空格, 否则解析会报错
  security:
    authorization: enabled

  • 重启服务

  sudo service mongod stop
  sudo service mongod start

  • 终端连接

   mongo -u 'admin' -p '123' --authenticationDatabase 'admin'

普通用户管理


  • 使用超级管理员登录,然后进入用户管理操作
  • 查看当前数据库的用户

  use test1
  show users

  • 创建普通用户

  db.createUser({
      user:'t1',
      pwd:'123',
      roles:[{role:'readWrite',db:'test1'}]
  })

  • 终端连接

  mongo -u t1 -p 123 --authenticationDatabase test1

  • 切换数据库,执行命令查看效果

  • 修改用户:可以修改pwd、roles属性


  db.updateUser('t1',{pwd:'456'})

 

复制(副本集)


什么是复制


  • 复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性,并可以保证数据的安全性
  • 复制还允许从硬件故障和服务中断中恢复数据

为什么要复制


  • 数据备份
  • 数据灾难恢复
  • 读写分离
  • 高(24* 7)数据可用性
  • 无宕机维护
  • 副本集对应用程序是透明

复制的工作原理


  • 复制至少需要两个节点A、B...
  • A是主节点,负责处理客户端请求
  • 其余的都是从节点,负责复制主节点上的数据
  • 节点常见的搭配方式为:一主一从、一主多从
  • 主节点记录在其上的所有操作,从节点定期轮询主节点获取这些操作,然后对自己的数据副本执行这些操作,从而保证从节点的数据与主节点一致
  • 主节点与从节点进行数据交互保障数据的一致性

 

备份

  • 语法
  mongodump -h dbhost -d dbname -o dbdirectory
  • -h:服务器地址,也可以指定端口号
  • -d:需要备份的数据库名称
  • -o:备份的数据存放位置,此目录中存放着备份出来的数据
  • 例1
  sudo mkdir test1bak
  sudo mongodump -h 192.168.196.128:27017 -d test1 -o ~/Desktop/test1bak

恢复

  • 语法
  mongorestore -h dbhost -d dbname --dir dbdirectory
  • -h:服务器地址
  • -d:需要恢复的数据库实例
  • --dir:备份数据所在位置
  • 例2
  mongorestore -h 192.168.196.128:27017 -d test2 --dir ~/Desktop/test1bak/test1



原文地址:https://www.cnblogs.com/luchun666/p/9389207.html