产生的原因:
我们每天定时会在几点将new表数据同步到old表. 原先数据量不大.所以同步很快. 最近这两年每次需要同步100w条以上. 单次同步需要用10多分钟
处理方法:
数据产生的地方. 就从new表数据copy一份到old表. 这样将数据移动的高峰给分割开了.
事务机制: 如果未完成, 程序挂了,再次启动以后需要重新同步. 如果完成了即使程序重新启动也不会再次copy.
流程图:
好处
1. 数据量分割, 所以即使数据量增长也不会有影响.
2. 表配置动态化. 程序里面不用写死固定哪些表. 而是采用配置文件进行配置.
源码
https://files.cnblogs.com/files/blog-east/DataSync.rar