数据迁移笔记

 
[数据迁移前的准备]
1.将两个数据库中对应的表的基本数据一一对应,总结在excel文档中--映射关系表。
(1).对于某些特殊数据,新旧系统的处理方式可能不一致,如flg类字段的0,1,2...分别对应的值是否一致;旧系统多个字段对应新系统一个字段的情况。
(2).对于某些数据,在旧系统中需要关联多张表才可以获取数据,将关联到的表登记下来。
(3).[前处理]在新旧系统中的字段类型不同,如日期,可以做相应的转换;字段大小不同,先将新系统中的字段扩大。
(4).[前处理]有些数据在新旧系统的页面都不再展示,但数据却仍然希望保留,需先在新系统表中增添相应字段
 
2.通过映射关系中的对应关系写出对应数据的sql.
 
[数据迁移的实施]
3.迁移数据   [可先在测试环境试迁移,得出低bug的sql,再到实际环境中执行]
(1).将映射关系表文档中涉及到的表数据从旧系统中导出,在新数据库中建立相同表并将数据导入其中。
(2).直接执行对应sql.
(3).执行过程中一般会出现如下问题:
[不能插入null],[原因:系统数据默认值处理不同].
[字段值过大],[原因:新系统数据未扩大; Date型数据没有处理,需加TO_CHAR]
[非法的number],[这个数据库不会告诉你是哪个字段,很恶心。原因:某个字段旧系统中是char或varchar型,新系统为number型;某个number型字段处理默认值null时,NVL函数中的默认值写了空格' ';DATE型数据看看是否未处理完]
 
[数据迁移后的校验]
4.导入数据后由于数据量增多,需添加相应的索引,提高页面的查询效率,[对于查询条件,表关联条件]
CREATE INDEX  I1_CMMTPCOP ON CMMTPCOP (REGION_ID);
建立索引时,虽然有些数据作为查询条件,但是取值单一,不应该作为索引,如只有(0,1)值的状态类字段。
 
5.对于新系统的新的处理方式做相应的数据修改,这次案例主要有生效日期和失效日期的数据补全
 
6.编码问题
此次案例为日本的项目,客户的环境为Shift-JIS编码格式,我们将数据在远程全部正常导入后,页面仍然出现问题,报错为:JSON数据异常。查看后台日志打印的ETF树数据后,发现仍然有很多数据为?,被后台解析为乱码的正是一些特殊字符,如全角的-,带圈数字,株式会社的(株) 的特殊字符 、(有)等等,后台的编码已经改为Shift-JIS,半角片假名也可以识别,但是这些字符,还不能识别,具体原因暂未得知。我们的小组长将这些字符在数据库中都替换为普通字符串后,页面正常显示。  
 
7.对于特殊数据的验证
对于系统中敏感重要的数据如[手续费率]需要验证

 原创:http://www.cnblogs.com/wulouhua/p/4528554.html

原文地址:https://www.cnblogs.com/wulouhua/p/4528554.html