hive 执行sql出现Invalid buffer

一、错误现象

在执行hive sql的时候,出现如下错误:

二、错误的原因很分析

hive的数据存储使用的是EC,然而ec在hdfs的3.1.x版本上面有bug,所以就出现了上述的问题。但是这个bug已经在后续的版本上面修复了。如下图:

具体的官方issue:
| https://issues.apache.org/jira/browse/HDFS-14373

三、解决办法:

1、升级hdfs
2、不升级hdfs,对当前的hdfs对应的jar包打对应的补丁。

原文地址:https://www.cnblogs.com/yjt1993/p/14079449.html