python与mongodb

一、mongodb的原理介绍:

  特点:

  

  为了理解以上特点,我们从一个真实的场景出发,介绍mongodb的原理:参考视频:https://www.youtube.com/watch?v=4SxHNmk5JHI

  我们需要从华为的app商店里抓取一些app的详细信息的数据;如下图,这是我们爬到的一条数据,是一条关于微信的详细信息数据:

  

  实际上,我们每次抓取一条这样的信息,我们可以称为一个document。这也是所谓的基于document的设计。

  当然了,问题是如何保存我们这样的数据,或是说documents呢?最基本的是存在文件里。

  我们假如蓝色区域是我们的文件,每个document顺序地存在文件中,比如第一个是关于微信信息的一个document。

  

  但是,问题出来了,当我们顺序存储之后,当微博出了一个新的版本“5.7.0”,我们怎么把这样的信息添加到微博的那个document中呢?

  由于数据是连续的存在硬盘中,我们可以把原来微博的那个document的信息copy下来,然后在顺序添加一个含有版本信息“5.7.0”的document。如下图:

  

  之后,我们再把第二个document删掉。

  但是这种方法有个问题,当我们在遍历的时候,中间出现很多gaps,从而带来读取写入的低效。如下图:

  

  

  一个讨巧的方法就是,我们建立一个指针,也就是每个document都存一个指针,指向下一个document的位置。这样读取的时候就可以读取下一个document。

  同理,我们也可以建立反向指针,如下图:

  

  好,刚才我们说的是出现这些fragment或是gaps时候怎么能够读取的更快。

  那我们有没有方法能减少这些碎片呢?

  

  减少碎片,也就是比如我们在修改微博的信息的时候尽量减少这些“document”快的移动,方法就是加"pading",也就是在每个document后边都预留一块空白的pading,

  如下图:

  

  当我们有新得数据需要添加的时候,就可以添加到pading里,从而能够保证不用迁移整块数据:

  

  那么,既然我们知道怎么保存这些document到文件中,下面我们看下怎么保存到硬盘上:

  

  如上图,我们的硬盘上已经有一些文件,我们的新文件只能零散地存在夹缝之中,又造成了很多碎片,这是另外一种碎片。

  导致读取的时候不能顺序读取,造成了很多随机寻道的事件,造成了低效率。

  How to reduce this fragments?

  有一种方法,就是我们提前预先申请好一块大的空间。能保证连续的保存很多文件。

  那么,如何选择预先申请的空间大小。小的话也会出现碎片,大的话会浪费。

  我们的方法是double上升,也就是我们从最近本的16M开始,16M写满了申请一个32M的,写满了再申请一个64M的,128M...2G,不能无限上升,即最大为2G的,以后再申请就是2G的。如下图:

  

  现在,写的问题解决了,我们需要面临读的问题。

  

  即,我们怎么查找ID在这个区间的所有的document呢?

大家,如果做过的话,我们都知道,最基本的方法是用一个二叉搜索树,因为遍历和插入复杂度为log(n),每个树的节点左侧是比它数小的节点的集合,右侧是比它大的节点的ID结合。这种方法不断的扩展。每个节点位置,都存放一个指针,指向在硬盘上存储的位置,如下图。当然,在实际使用中,我们会使用二叉搜索树的升级版:Btree。

  

  ok ,当目前为止,你已经实现了Mongodb。你已经知道mongodb长什么样,以及为啥这样?’

  我们再看开头说的mongodb的特点:

  第一,document的属性都可以随意修改。即上图的小绿色条,大小和内容都可以不一样

  其次,添加padings。避免document快的移动增加的碎片。第三,添加双向指针,提高效率。

  第四,mongodb硬盘的保存过程中实际上保存在。document保存在2上升的硬盘上。最后,Btree的方式建立索引,提高查找的效率。

二、python操纵mongodb

  参考PyMongo - MongoDB APIhttps://api.mongodb.com/python/current/

  

  

原文地址:https://www.cnblogs.com/coskaka/p/6102114.html