mr的三种运行方式
第一种,打成jar包,在hadoop上运行
第二种,driver端在本地,通过ide连接linux上的hdfs
第三种,windows本地运行
hadoop_dll2.6.0_64bit下载地址 https://pan.baidu.com/s/1kVSMkV9
首先在解压hadoop2.6.5 然后配置到环境变量path里面
在bin里加入hadoop_dll2.6.0_64bit这个压缩包中的所有文件,选择覆盖,
此时在java代码里面
Configuration conf= new Configuration();
//选择文件系统默认是本地
//conf.set("fs.defaultFS","hdfs://mini0:9000");
//hadoop路径
//conf.set("hadoop.home.dir","D:\test\hadoop-2.6.5");
//解决在hdfs上的权限问题
// System.setProperty("HADOOP_USER_NAME","root");
此时尝试运行,如果不行的话,重启之后再尝试
如果选择了本地运行那么在输入和输出可以用本地的
//数据来源？---》hdfs 设置数据来源的位置
FileInputFormat.addInputPath(job,new Path("D:\test\hadoop-2.6.5\hadoopData\word.txt"));
//输出的位置
FileOutputFormat.setOutputPath(job,new Path("D:\test\hadoop-2.6.5\hadoopData\output5"));
如何需要在本地运行则需要配置hadoop的环境变量