执行mr时的一些参数设置

本地运行mr的参数设置

Configuration conf = new Configuration();

本地运行mr程序时,输入输出数据可以在本地,也可以在hdfs上

数据在hdfs

conf.set("fs.defaultFS","file:///");

Job job = Job.getInstance(conf);

在集群运行需要设置以下3个参数:

Configuration conf = new Configuration();

conf.set("mapreduce.framework.name","yarn");

conf.set("yarn.resourcemanager.hostname","mini1");

运行集群模式时,数据也必须从hdfs中存取

conf.set("fs.defaultFS","hdfs://mini1:9000/");

Job job = Job.getInstance(conf);

原文地址:https://www.cnblogs.com/simpledu/p/14335354.html