mybatis使用流式查询避免查询大批量数据导致OOM内存溢出

Mybatis提供了一般查询和流式查询模式,先说一下怎么配置

1、一般查询

2、流式查询

 测试场景

mysql中循环插入100,000条数据

IDEA运行时堆内存设置为初始分配堆内存20m,最大堆内存30m。如下

先使用一般查询测试:

可以发现这里GC占用大量时间为了释放很小的空间,这是一种保护机制。由于堆内存太小,导致需要频繁的GC垃圾回收。官方给出的解释:超过98%的时间用来做GC并且回收了不到2%的堆内存时抛出的异常。

大概意思就是Mybatis一次性将所有的数据查出,放到当前JVM的堆内存中,堆内存不够用了

再来看看流式查询是什么结果

 OK,程序运行正常,没有发生OOM。

可见大批量数据用流式查询确实能防止OOM的发生

但是,原理是什么呢?

可以看到Mapper文件中配置参数有一个

resultSetType="FORWARD_ONLY"

我们在访问数据库的时候,在读取返回结果的时候,可能要前后移动指针,比如我们先计算有多少条信息,这是我们就需要把指针移到最后来计算,然后再把指针移到最前面,逐条读取,有时我们只需要逐条读取就可以了。还有就是有只我们只需要读取数据,为了不破坏数据,我们可采用只读模式,有时我们需要望数据库里添加记录,这是我们就要采用可更新数据库的模式。

对于DB层,三种查询模式的参数如下所示

ResultSet.TYPE_FORWORD_ONLY 结果集的游标只能向下滚动。 

ResultSet. TYPE_SCROLL_INSENSITIVE 结果集的游标可以上下移动,当数据库变化时,当前结果集不变。 

ResultSet.TYPE_SCROLL_SENSITIVE 返回可滚动的结果集,当数据库变化时,当前结果集同步改变。

原文地址:https://www.cnblogs.com/yibao/p/14158112.html