一次倍受折磨的“invalid byte sequence for encoding "UTF8": 0x00”事件的经验教训

一、概述

invalid byte sequence for encoding "UTF8": 0x00(注意:若不是0x00则很可能是字符集设置有误),是PostgreSQL独有的错误信息,直接原因是varchar型的字段或变量不接受含有''(也即数值0x00、UTF编码'u0000')的字符串 。官方给出的解决方法:事先去掉字符串中的'',例如在Java代码中使用str.replaceAll('u0000', ''),貌似这是目前唯一可行的方法。

几天前,项目的一个程序就出现这种错误,该程序是将一批特殊格式的文件导入到数据库的若干张表中。虽然已知道用replaceAll('u0000', '')可解决问题,但由于要插入多张表、每个表含多个varchar字段、插入操作由JPA实现、插入操作要批量进行等因素,程序日志内容太笼统,为判断是哪个(或哪些)表、字段造成的、以及是代码原因还是数据原因提供的帮助很少,因而过程中麻烦多多困难重重,现在将其中的经验与教训总结出来,希望对同行们有所帮助。

二、经验1:从PostgreSQl的运行日志中定位表

一开始用普通方法,即通过在应用程序代码里加断点来跟踪执行情况,但在本例中,一旦跟踪到JPA持久化时就无法继续下去。而由于数据内容很多,用人工一一去检查费时费力,因而走了很多弯路。

后来,通过修改PostgreSQL配置文件,在运行日志(不是WAL和提交日志)中输出SQL语句执行情况,可以准确定位到哪个表会引发错误。具体方法是:

  • 修改配置文件postgresql.conf,通常在$pgdata目录下,本例中是在D:PostgreSQLdatapg94目录;
  • 找到“where to log”块,将logging_collector设置为on,这意味着开启运行日志,所在目录由log_directory参数指定;
  • 找到“when to log”块,将log_statement设置为mod或all,这意味着sql语句被记录到运行日志;
  • 仍在“when to log”块,确保log_min_error_statement为error或更低级别,以记录错误信息;因缺省值已是error,一般无须修改;
  • 仍在“when to log”块,确保log_min_message为info或更低级别,这样成功执行的sql语句所绑定的变量也能查到(可选);
  • 重启PostgreSQL,执行那个导入程序,此时运行日志已记录下执行的sql语句情况,根据报错信息即可具体定位是哪个表引起。

三、经验2:在程序代码中输出字符串内容

本来到这阶段已经相当接近成功了,但还是在此犯了错误:过于依赖页面所显示的内容,实在是不应该。因为浏览器、某些图形化工具在处理含有''的字符串时会自动截断''后面的内容,依旧无法确定是表里的哪个字段。

后来,干脆使用古老而经典的方法:在程序日志中按字节内容输出字符串变量(最好加上其长度),很快就准确找到了引发错误的字段。

同时,代码原因还是数据原因也随之确定。在本例中,特殊格式的数据文件是由一个早期版本的C程序生成的,很可能由于字符串初始化不彻底,生成的部分字段内容在正确内容后附加了一个''和少许乱码,从而引发这次事件。

四、事件解决

如果按照官方的推荐做法而直接对嫌疑字符串使用str.replaceAll('u0000', ''),虽然避免了错误发生,之后的乱码却会存入数据库并最终显示在页面。经与客户沟通,确认''之后均为乱码,于是在程序代码中将所有的嫌疑字段的''及乱码一起截断:

str.trim().split('u0000')[0];

至此,这次折磨人多日的事件终于得到解决。

PS:该程序以前在Oracle环境没出现问题,因为Oracle可接受中间带''的字符串进行存储,并在各种界面显示内容时会自动截断后面的内容,因而查不出原因,只有通过length()函数查询字符串长度才能发现不一致之处。

原文地址:https://www.cnblogs.com/wggj/p/8194313.html