Hive中问题解决整理

1.处理中文字段时多个join过程中出现字段偏移

原因:如果字段存在 '|' 或者 ' ' 或者 ' ' 时，都会产生错位

对于中文字段或者含有特殊字符的字段，进行筛选时，可以使用 regexp_replace(A, '||\n|\r|\t', '') as A 进行处理

备注：设计表格时，可以提前设置一些备份字段，一则可以为未来表的变更打下基础，二则可以通过向其中填充一些标志信息，可以用来判断数据错误时的一些依据