mongodb 占用内存及解决方法

1.先了解一下linux对内存的管理方式: 
在Linux里(别的系统也差不多),内存有物理内存和虚拟内存之说,物理内存是什么自然无需解释,虚拟内存实际是物理内存的抽象,多数情况下,出于方便性的考虑,程序访问的都是虚拟内存地址,然后操作系统会把它翻译成物理内存地址。 
很多人会把虚拟内存和Swap混为一谈,实际上Swap只是虚拟内存引申出的一种技术而已:操作系统一旦物理内存不足,为了腾出内存空间存放新内容,就会把当前物理内存中的内容放到交换分区里,稍后用到的时候再取回来,需要注意的是,Swap的使用可能会带来性能问题,偶尔为之无需紧张,糟糕的是物理内存和交换分区频繁的发生数据交换,这被称之为Swap颠簸,一旦发生这种情况,先要明确是什么原因造成的,如果是内存不足就好办了,加内存就可以解决,不过有的时候即使内存充足也可能会出现这种问题。解决方法是限制使用Swap: 

[root@mongodb ~]# sysctl -w vm.swappiness=0 

查看内存情况最常用的是free命令: 

[root@mongodb ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           7822        5093         129           0        2599        2443
Swap:             0           0           0

新手看到used一栏数值偏大,free一栏数值偏小,往往会认为内存要用光了。其实并非如此,之所以这样是因为每当我们操作文件的时候,Linux都会尽可能的把文件缓存到内存里,这样下次访问的时候,就可以直接从内存中取结果,所以cached一栏的数值非常的大,不过不用担心,这部分内存是可回收的,操作系统会按照LRU算法淘汰冷数据。除了cached,还有一个buffers,它和cached类似,也是可回收的,不过它的侧重点在于缓解不同设备的操作速度不一致造成的阻塞,这里就不多做解释了。 
知道了原理,我们就可以推算出系统可用的内存是free + buffers + cached,至于系统实际使用的内存是used – buffers – cached。

除了free命令,还可以使用sar命令:

[root@mongodb ~]# sar -r
Linux 3.10.0-514.6.2.el7.x86_64 (mongodb)       07/16/2021      _x86_64_        (4 CPU)

12:00:01 AM kbmemfree kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
12:10:01 AM    178424   7832016     97.77     12600    997560   7404844     92.44   7050672    527532       124
12:20:01 AM    132188   7878252     98.35     12628   1043284   7404820     92.44   7068096    556064        80
12:30:01 AM    152124   7858316     98.10     12544   1023568   7404788     92.44   7078700    525200        92
12:40:01 AM    168408   7842032     97.90     15228   1005108   7404800     92.44   7053724    534792       144
12:50:02 AM    150300   7860140     98.12     12688   1009264   7434844     92.81   7075148    530472       664
01:00:01 AM    129680   7880760     98.38     10624   1033012   7422296     92.66   7084864    541296       372
01:10:01 AM    135820   7874620     98.30      6452   1054888   7422292     92.66   7088364    537704     17972
01:20:01 AM    146848   7863592     98.17      8180   1063844   7422324     92.66   7077476    539528     34080
01:30:01 AM    130196   7880244     98.37      8616   1089936   7419544     92.62   7074288    558760     31048

[root@mongodb ~]# sar -W
Linux 3.10.0-514.6.2.el7.x86_64 (mongodb) 07/16/2021 _x86_64_ (4 CPU)

12:00:01 AM pswpin/s pswpout/s
12:10:01 AM 0.00 0.00
12:20:01 AM 0.00 0.00
12:30:01 AM 0.00 0.00
12:40:01 AM 0.00 0.00
12:50:02 AM 0.00 0.00
01:00:01 AM 0.00 0.00

2.看一个MongoDB服务器的top命令结果:

[root@mongodb ~]# top -p $(pidof mongod)

top - 10:25:25 up 1074 days, 21:31,  2 users,  load average: 0.77, 0.63, 0.58
Tasks:   1 total,   0 running,   1 sleeping,   0 stopped,   0 zombie
%Cpu(s):  6.8 us,  1.1 sy,  0.0 ni, 91.6 id,  0.5 wa,  0.0 hi,  0.1 si,  0.0 st
KiB Mem :  8010440 total,   848492 free,  5102988 used,  2058960 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  2621556 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                         
 8416 root      20   0 3543440 2.385g   9864 S  29.3 31.2   6:52.62 mongod

或者 先top后,然后 shift+m 把当前进场按占用内存的多少排序。看看你的mongodb能占用多少内存。 

平时可以通过mongo命令行来监控MongoDB的内存使用情况,如下所示:

MongoDB Enterprise > db.serverStatus().mem;
{
        "bits" : 64,
        "resident" : 2588,
        "virtual" : 3612,
        "supported" : true,
        "mapped" : 0,
        "mappedWithJournal" : 0
}

还可以通过mongostat命令来监控MongoDB的内存使用情况,如下所示:

[root@mongodb ~]# mongostat  --authenticationDatabase=admin
insert query update delete getmore command dirty  used flushes vsize   res qrw arw net_in net_out conn                time
  1636    *0     *0     *0       0     4|0  8.0% 80.1%       0 3.53G 2.53G 0|0 1|0   452k    105k   13 Jul 16 10:42:39.357
  1620    *0     *0     *0       0     3|0  8.0% 80.1%       0 3.53G 2.53G 0|0 1|0   450k    103k   13 Jul 16 10:42:40.358
  1671    *0     *0     *0       0     1|0  7.9% 80.0%       0 3.53G 2.53G 0|0 1|0   460k    103k   13 Jul 16 10:42:41.358
  1630    *0     *0     *0       0     2|0  8.1% 80.0%       0 3.53G 2.53G 0|0 1|0   450k    103k   13 Jul 16 10:42:42.356
  1626    *0     *0     *0       0     1|0  7.9% 79.9%       0 3.53G 2.53G 0|0 1|0   451k    103k   13 Jul 16 10:42:43.356

其中内存相关字段的含义是: 
mapped:映射到内存的数据大小 
visze:占用的虚拟内存大小 
res:实际使用的内存大小 
注:如果操作不能再内存中完成,结果faults列的数值不会是0,视大小可能有性能问题。

vsize是mapped的两倍,而mapped等于数据文件的大小,所以说vsize是数据文件的两倍,之所以会这样,是因为本例中,MongoDB开启了journal,需要在内存里多映射一次数据文件,如果关闭journal,则vsize和mapped大致相当。 

如果想验证这一点,可以在开启或关闭journal后,通过pmap命令来观察文件映射情况: 

[root@mongodb ~]# pmap $(pidof mongod) 
8416:   /usr/local/mongodb/bin/mongod --config=/usr/local/mongodb/mongodb.conf
00001190f3743000 655360K -----   [ anon ]
00007f467c968000      4K -----   [ anon ]
00007f467c969000   1024K rw---   [ anon ]
00007f467ca69000      4K -----   [ anon ]
00007f467ca6a000   1024K rw---   [ anon ]

接着咱们分析一下mongodb是怎么使用内存的: 

目前,MongoDB使用的是内存映射存储引擎,它会把磁盘IO操作转换成内存操作,如果是读操作,内存中的数据起到缓存的作用,如果是写操作,内存还可以把随机的写操作转换成顺序的写操作,总之可以大幅度提升性能。MongoDB并不干涉内存管理工作,而是把这些工作留给操作系统的虚拟缓存管理器去处理,这样的好处是简化了MongoDB的工作,但坏处是你没有方法很方便的控制MongoDB占多大内存,事实上MongoDB会占用所有能用的内存,所以最好不要把别的服务和MongoDB放一起。 

有时候,即便MongoDB使用的是64位操作系统,也可能会遭遇臭名昭著的OOM问题,出现这种情况,多半是因为限制了虚拟内存的大小所致,可以这样查看当前值: 

[root@mongodb ~]# ulimit -a | grep 'virtual' 
virtual memory          (kbytes, -v) unlimited

多数操作系统缺省都是把它设置成unlimited的,如果你的操作系统不是,可以这样修改: 

[root@mongodb ~]# ulimit -v unlimited 

不过要注意的是,ulimit的使用是有上下文的,最好放在MongoDB的启动脚本里。 

到底MongoDB配备多大内存合适?宽泛点来说,多多益善,如果要确切点来说,这实际取决于你的数据及索引的大小,内存如果能够装下全部数据加索引是最佳情况,不过很多时候,数据都会比内存大,比如本文说涉及的MongoDB实例: 

MongoDB Enterprise > db.stats();
{
"db" : "loc",
"collections" : 2,
"views" : 0,
"objects" : 1335266749,
"avgObjSize" : 230.06233968311003,
"dataSize" : 307194592376,
"storageSize" : 225892519936,
"numExtents" : 0,
"indexes" : 2,
"indexSize" : 63411568640,
"fsUsedSize" : 338585542656,
"fsTotalSize" : 845376524288,
"ok" : 1
}

索引只有1G多,内存完全能装下,而数据文件则达到了1T,估计很难找到这么大内存,此时保证内存能装下热数据即可,至于热数据有多少,这就是个比例问题了,取决于具体的应用。如此一来内存大小就明确了:内存 > 索引 + 热数据。 

3.解决方法,操作步骤如下:

  (1)限制内存: sysctl -w vm.swappiness=0

  (2)调整内核参数drop_caches释放缓存: 
  # sysctl -w vm.drop_caches=1 

  # echo 3 > /proc/sys/vm/drop_caches

  (3)在Mongodb对应的config中改如下参数:

storage:
  #dbPath: /var/lib/mongo
  dbPath: /home/mongodb/rs/data
  journal:
    enabled: true
  directoryPerDB: true
  engine: wiredTiger
#  mmapv1:
  wiredTiger:
     engineConfig:
        cacheSizeGB: 5
#这个数字是你设置的limit x 60% - 1G,最小1G。

修改配置后重启mongo,以后内存占用就不会自动上升了。

根据以上的分析我们可以得出几点结论: 
1. mongodb 直接用操作系统的内存管理器来管理内存。而操作系统采用的是LRU算法淘汰冷数据。 
2. mongodb可以用重启服务、调整内核参数以及调整配置mongodb清理mongodb对内存的缓存。可能存在的问题是:这几种清理方式都是全部清理,这样的话mongodb的内存缓存就失效了。 
3. mongodb 对内存的使用是可以被监控的,在生产环境中要定时的去监控这些数据。 
4. mongodb 对内存这种占用方式使其尽量的和其他占用内存的业务分开部署,例如memcahe,sphinx,mysql等。 
5. 操作系统中的交换分区swap 如果操作频繁的话,会严重降低系统效率。要解决可以禁用交换分区,以及增加内存以及做分布式。 
6.  生产环境中mongodb所在的主机应该尽量的大内存。 

 参考:

https://blog.csdn.net/a799645820/article/details/81239652

https://www.cnblogs.com/luo-mao/p/5872388.html

原文地址:https://www.cnblogs.com/sfnz/p/15019281.html