千万级数据优化记录

背景

每个动作都会生产一条动态数据,如今已经生成了一千多万条数据,而且正以每天好几万的速度迅速增长,频繁的读写导致 RDS 数据库实例压力非常大,该库还有核心业务的数据,为了避免对核心数据的影响,决定将其分出来。

结合其业务特点,决定使用 MongDB,那么第一个问题就是如何同步这些数据了。

方案一 CDC

不能停止服务,还不能影响业务,所以选择通过 SQL Server 的 CDC 功能进行同步,先不用更改操作数据的代码,继续往 SQL Server 中写入,再将数据同步到 MongoDB,然后把查询的改用 MongoDB, 最后把操作数据的业务改用 MongoDB,如此即可实现数据的无缝迁移。当万事俱备的时候,发现阿里云的 RDS 实例需要 sa 权限才能开启 CDC, 而用户是没有 sa 权限的,因此不得已只好放弃这个方案。

方案二 timestamp

为了实现高速换轮胎,我们找到了另一个解决方案,通过给每行记录 DateModified 时间,但是这样就需要先更改业务代码,在每次增删改中记录操作时间,这个工作量是有难度的,因为有两个版本的 API 在不同的环境中运行的,修改代码不难,难的是需要在不同的环境中测试,保证线上业务不能崩溃,这个成本是比较高的。就在游移不定的时候,发现了 SQL Server 的 timestamp 类型,它是一个连续的数字,在增改的时候自动更新值,如此就不用更改业务代码了,直接在表中增加一个 timestamp 类型的字段即可,然后按照该字段 DateModified 进行同步数据即可。

尝试使用了 alibaba 开源的 DataX,结果发现对 GUID 类型的支持不是很好,无法满足我们的需求,因此果断放弃,还是自己来写代码实现。

大概思路如下,同步程序只需要从 SQL Server 中 select 出来,同步到 MongoDB 中,记录一下这次同步的最大 timestamp,隔一分钟后继续重复,即使遇到异常,也只要记录一下,不能中断程序。 最好不要通过 DataReader 去读,因为数据量大会长时间占用数据库链接。

当然,还要对 DateModified 字段建索引,否则同步速度会很慢。索引要在访问量低谷的时候建,不能影响线上性能。

使用GeneicHost方式的控制台程序,命名为Feeds.Syncer,部署在 MongoDB 所在的服务器,只能跑一个实例,防止多个同步出现冲突。

当数据同步完成之后,就可以逐步将数据操作转移到 MongoDB 了,这一步不着急,可以慢慢来。

接下来最重要的是将查询业务改成从 MongoDB 查询,业务逻辑都改完之后,发现查询速度比 SQL Server 还慢,原来 MongoDB 也是需要建索引的,而且索引功能非常强大,从官方文档中可以看到它支持各种索引,复合的,条件的,联合的等等,分别针对不同的场景。

针对我们的业务场景准备好要建的索引,MongoDB 提供了方法来判断查询是否用到了索引,和 SQL Server 的查询计划有点类似,据此可以判断索引是否建对了。直接建立索引可能会对性能产生影响,所以要分而治之,依次对 MongoDB 集群中的实例停止,独立运行,建立索引,停止,添加到集群中运行。

有了索引加持后,果然查询速度就有了明显的改善。

原文地址:https://www.cnblogs.com/kexxxfeng/p/10249090.html