MapReduce单机提交(待稿)

MR 提交方式
源码

提交方式:
1,开发-> jar -> 上传到集群中的某一个节点 -> hadoop jar ooxx.jar ooxx in out
2,嵌入【linux,windows】(非hadoop jar)的集群方式 on yarn
集群:M、R
client -> RM -> AppMaster
mapreduce.framework.name -> yarn //决定了集群运行
conf.set("mapreduce.app-submission.cross-platform","true");
job.setJar("C:\Users\Administrator\IdeaProjects\msbhadoop\target\hadoop-hdfs-1.0-0.1.jar");
//^推送jar包到hdfs
3,local,单机 自测
mapreduce.framework.name -> local
conf.set("mapreduce.app-submission.cross-platform","true"); //windows上必须配
1,在win的系统中部署我们的hadoop:
C:usrhadoop-2.6.5hadoop-2.6.5
2,在我给你的资料中hadoop-installsoftin 文件覆盖到 你部署的bin目录下
还要将hadoop.dll 复制到 c:windwossystem32
3,设置环境变量:HADOOP_HOME C:usrhadoop-2.6.5hadoop-2.6.5

IDE -> 集成开发:
hadoop最好的平台是linux
部署hadoop,bin

参数个性化:
GenericOptionsParser parser = new GenericOptionsParser(conf, args); //工具类帮我们把-D 等等的属性直接set到conf,会留下commandOptions
String[] othargs = parser.getRemainingArgs(); 

原文地址:https://www.cnblogs.com/littlepage/p/11240513.html