多线程处理海量数据的解决方案

背景:

  近期发现系统数据有不准确的现象发生,究其原因是因为上有数据导致的,而由于上游有多个渠道组成,所以无法要求上游统一修复数据。所以只能自己想办法每天修复错误数据。

初步解决方案:

  1,从商城库存那边拿到所有SKU+库存的信息。

  2,通过拿到的SKU+库存信息,修复现有的数据。

遇到的问题:

  1,库存那边的数据是以SKU+仓库id+配送中心id为维度,但是我们这边需要的是SKU+ORG维度。

  2,全量库存数据有1.2个亿。

解决办法:

  1,先把库存的原始数据(SKU+仓库ID+配送中心id)数据落地。

  2,将原始数据清洗为SKU+ORG维度。

  3,将清洗好的数据中过滤掉,不需要的库存信息。

  4,开启多个多线程同时修复数据。

多线程部分:

  共同时开启4个线程(0、1、2、3),用SKU_ID对4取模

  也就是说:

  线程0处理的数据范围为:SKU_ID%4=0 的数据。

  线程1处理的数据范围为:SKU_ID%4=1 的数据。

  线程2处理的数据范围为:SKU_ID%4=2 的数据。

  线程3处理的数据范围为:SKU_ID%4=3 的数据。

每个线程,每次再分页处理数据,即可。经过尝试,1.2个亿的数据分4个线程大概半个小时,即可处理完。

原文地址:https://www.cnblogs.com/FranklinD/p/7266362.html