批量输入导入超时终止问题

问题现象:

数据量:25G

导入方式:先将大文件切分成1G大小,然后对小文件实行load data loacla infile ....由于小文件数量较多,于是编写了一个脚本批量执行

问题:大概导入到第七个文件左右,导入就自动终止了

解决方式:

 问题的原因在于数据库中给每个会话设置了超时时间,把对应的超时时间。而在指定的超时时间内数据库并不能执行完所有的导入操作。解决方式是将当前会话的超时时间加长

set wait_timeout=18000;set interactive_timeout=18000;

这么设置之后,就可以正常完成导入操作了。

导入时还发现一个小问题,就是我们的的导入文本中存在空字段,导致使用load data时报错,这是修要修改sql_mode ,放宽sql限制

set sql_mode='';

原文地址:https://www.cnblogs.com/janehoo/p/6112442.html