hive性能优化

矢量查询(Vectorized query) 每次处理数据时会将1024行数据组成一个batch进行处理,而不是一行一行进行处理,这样能够显著提高执行速度。
可以通过设置

Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=2)

这个报错可以用下方的设置解决

set hive.vectorized.execution.enabled = true;

set hive.vectorized.execution.enabled = false;

原文地址:https://www.cnblogs.com/lidapengwww/p/11890118.html