谈最近项目上线遇到的数据问题

最近刚换工作去了一家跨境电子商务公司,正好赶上新系统替换老系统的磨合期,遇到了各种各样的数据问题。总结下来得到以下经验:

一、数据的前期准备

  数据分三部分,用户、订单和商品数据。用户和订单直接是从老系统生成sql语句插入新数据库,商品数据由于新老系统差异比较大,有一个数据导入工具来将商品基础据导入到新系统。开发提供了数据的导入模板,业务人员从老系统导出后的数据后填入模板,中间由需求人员给业务做过一次填写培训。遇到了2个问题:

  1.商品数据填写不规范,业务人员填写的数据未严格按照模板规范,导致部分导入数据无法使用。产生原因是双方的,首先是业务人员未足够重视数据的整理和核对,其次是导入工具未作严格的数据检查。

  2.订单数据状态问题。由于处在新老系统的交替期,老系统的部分订单还未处理完,在新系统中显示时订单状态含义不明确。后全部改为“历史订单”处理。

二、数据的注意点

1.数据的完整性

  最近运营过程中遇到很多数据填写不完整,导致商品无法备案何上架的问题。出现这种问题的原因在于,开发与业务人员之间未就基础数据的必填验证完全梳理清楚,很多字段由于不是必填业务人员就跳过不填,提交审核时也未限制住,致使不完整数据也得以提交流转到下一审批流程。这种问题只需业务与开发之间字段核对清楚就完全不会发生。另外在测试时也需要做最小边缘测试。

2.数据的准确性

  由于系统设计多个外部接口和多个系统的对接。有部分数据由于字段长度不一致、字段传输值两边理解不一致导致商品无法备案、订单申报失败。此类问题应在开发时与对接系统开发人员保持信息沟通,需要找到有效的沟通渠道或机制,这样在联调时能提高效率和减少出错的比例。

3.数据的可控性

  系统还未有有效的监控机制,所有日志需要在出现问题后查询log,不能有效的监控当前业务系统的业务异常,比如商品备案失败。这样一来导致业务人员业务过不去需通知开发人员查看,开发发现问题不及时。如果再加上业务人员与开发人员沟通渠道不畅,更加影响系统运行。解决办法是建立一套有效实时的业务异常监控系统。

原文地址:https://www.cnblogs.com/mousewheel/p/4282744.html