经验教训:excel大量数据导入Mysql的血泪史

先后遇到的问题:

  1.插入速度太慢

  2.Excel的数据太脏,同一列中混合有许多不同类型的值(日期,整数,浮点数)

  3.字符集导致的字段太长问题(Data too long for column Data too long for column) [整了我一天,那一天就算我睡了个饱心情美汁汁,一看到这个问题还是会让我眉头紧皱]

  4.Table is full,小破阿里云服务器没空间了

解决过程:

  1.插入速度太慢:

    如果是一条条的简单插入,两分钟才插入1k+条,实在是太慢了。于是上网查了一些方法。

    1.改用 PreparedStatement来批插入, 也就是 用 insert into table (a,b,c,d,e,......) values( ?, ? , ? ,......) 的方法去插入

    每用 setObject 设置完一个 括号 : () 里的值就 addBatch, 最后 executeBatch , 但实际上还是很慢,和之前没什么区别,或许是我用的方法有问题,具体为什么还要去研究下Mysql的实现

      2.改用另一种批插入方法:多值插入

    也就是把 sql 语句写成 insert into table (a,b,c,d,e,......) values (x,y,z,...), (x1,y1,z1,...), (..,..,..,...), (..,..,..,...), (..,..,..,...), (..,..,..,...)......

    用的不是PreparedStatement ,而是普通 statement 的 execute,有明显的效果,原本要十几分钟来插入的 8m的excel,只用十几秒就可以插入到数据库

  2.编码问题    

    但是随之而来发生的是 Data too long for column Data too long for column 的错误,困扰了我许久,我的列明明长度管够,为什么还报错?

    按照网上的方法试了许久,还是不行,于是在想是不是和 PreparedStatement 和 Statement 的区别。

    最后改用 PreparedStatement , 还是用多值插入 insert into table (a,b,c,d,e,......) values (?,?,?,...), (?,?,?,...), (?,?,?,...), (?,?,?,...), (?,?,?,...), (?,?,?,...)......

    实现起来比较复杂,但是试了许久还是有问题,于是把数据库表中 对应列的 编码改成 utf8,并且适当增长长度,最后成功,具体为什么可能要日后查看实现才能知道

    后来又用旧的代码,也就是之前普通statement的语句测试了一下,数据插入成功,可以断定是列的编码不正确,应该选用 utf8

  3.数据太脏

    知道表的格式,把表头及其对应的类型(按照表头的下一行判断,可能表头的下一列是空的,或者下一列本身不正确,不正确概率比较小,我业务的脏数据一般出现在中后部分),读取出来,建立 表明 - 列类型集合  的映射,如果读进来的值不符合类型,则直接跳过该行,问题解决

    

      

原文地址:https://www.cnblogs.com/lqlqlq/p/13740135.html