Hive map/reduce数量

map/reduce数量的多少是如何决定的?

input目录下文件的大小和数量决定map任务的数量

a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块(6个128m的块和1个12m的块),从而产生7个map数
b) 假设input目录下有3个文件a,b,c,大小分别为10m,20m,130m,那么hadoop会分隔成4个块(10m,20m,128m,2m),从而产生4个map数。即,如果文件大于块大小(128m),那么会拆分,如果小于块大小,则把该文件当成一个块。

不指定reduce个数的情况下,Hive会猜测确定一个reduce个数,基于以下两个设定:

参数1:hive.exec.reducers.bytes.per.reducer(每个reduce任务处理的数据量,默认为1000^3=1G)
参数2:hive.exec.reducers.max(每个任务最大的reduce数,默认为999)

计算reducer数的公式很简单N=min(参数2,总输入数据量/参数1)

调整map/reduce数量

map/reduce的数量不是越多越好,启动和初始化的时间会远远大于逻辑处理的时间,造成资源浪费。

在map执行前合并小文件,减少map数

调整hive.exec.reducers.bytes.per.reducer参数的值

调整set mapred.reduce.tasks = 15参数的值

原文地址:https://www.cnblogs.com/swordspoet/p/14498763.html