hive local hadoop特性

在hive0.7的版本中增加了local hadoop的功能,就是在处理数据量比较小的情况在本地执行,而不走分布的mapred。
这样一来,那些比较小的任务的执行速度就会大大提高。

那到底什么样的任务会采用local hadoop呢,是由hive的一个参数控制的。
hive.exec.mode.local.auto.inputbytes.max

当处理的数据量比这个参数值小的情况下就会采用local hadoop的方式来执行。

如果想要屏蔽掉local hadoop的功能,只需要把这个参数设置为-1即可。

<property>
  <name>hive.exec.mode.local.auto.inputbytes.max</name>
  <value>-1</value>
</property>

转自 http://www.oratea.net/?p=703

原文地址:https://www.cnblogs.com/ggjucheng/p/2843216.html