eclipse开发hadoop2.2.0程序

在 Eclipse 环境下可以方便地进行 Hadoop 并行程序的开发和调试。前提是安装hadoop-eclipse-plugin,利用这个 plugin, 可以在 Eclipse 中创建一个 Hadoop MapReduce 应用程序,并且提供了一些基于 MapReduce 框架的类开发的向导,可以打包成 JAR 文件,部署一个 Hadoop MapReduce 应用程序到一个 Hadoop 服务器(本地和远程均可),可以通过一个专门的视图 ( perspective ) 查看 Hadoop 服务器、Hadoop 分布式文件系统( DFS )和当前运行的任务的状态。

但hadoop2.2.0未提供该插件的二进制安装包,需要自己编译源码生成。

1、编译hadoop-eclipse-plugin

源码下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin

1.1 编译前需要先安装Ant,

wget http://apache.dataguru.cn//ant/binaries/apache-ant-1.9.3-bin.tar.gz

tar -zxvf  apache-ant-1.9.3-bin.tar.gz

mv apache-ant-1.9.3  ant1.9.3

vi  /etc/profile

export ANT_HOME=/home/hadoop/ant1.9.3
export PATH=$PATH:$ANT_HOME/bin

source /etc/profile

ant -version

1.2 编译

cd {ANT_HOME}/src/contrib/eclipse-plugin

ant jar -Dversion=2.2.0 -Declipse.home=/home/hadoop/eclipse -Dhadoop.home=/home/hadoop/hadoop2.2

上述命令中的两个路径分别是eclipse和hadoop的安装根目录,根据自己的实际情况输入。

编译过程中ivy要下载很多包,如果网络不是很好,请耐心等待。

编译成功后会在{ANT_HOME}/build/contrib/eclipse-plugin下生成hadoop-eclipse-plugin-2.2.0.jar包,将其拷贝到Eclipse的dropins目录下,重启Eclipse即可看到该插件已生效。

2、配置插件

2.1 打开Window-->Preferens,你会发现Hadoop Map/Reduce选项,在这个选项里你需要配置Hadoop installation directory。

其中的“hadoop installation directory”配置项用于指向你的hadoop安装目录(在windows下只需要把linux上编译好的Hadoop2.2.0拷贝到某个位置,然后指向这个位置即可)。

2.2 通过Window->Show View中打开Map/Reduce Locations右键-->New Hadoop Location。

在弹出的对话框中你需要配置Location name,还有Map/Reduce Master和DFS Master。如图:

这里面的Host、Port分别为你在core-site.xml中配置的地址及端口。

2.3 通过Window->Open Perspective菜单打开Map Reduce视图,如下:

如果点击DFS Locations-->LocalHadoop如果能显示文件夹(*)说明配置正确,*表示包含的文件夹个数。

3、新建项目

File-->New-->Other-->Map/Reduce Project ,

上一篇文章中我们测试的WordCount程序的源码可在以下目录中找到,

hadoop-2.2.0-src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/

 将WordCount.java添加到项目中。

测试数据继续使用上一篇构建的数据。

4、运行项目

右键-->Run As-->Run Configurations 

在弹出的Run Configurations对话框中,点Java Application,右键-->New,这时会新建一个application名为WordCount 

配置运行参数,点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”

hdfs://192.168.20.50:8020/input   hdfs://192.168.20.50:8020/output

点击运行。

注意:需要配置log4j才能看到日志。

windows下会抛出以下异常:

Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable nullinwinutils.exe in the Hadoop binaries.

原因是因为hadoop2.2没有发布winutils.exe造成的,如果嫌麻烦,可在linux开发,以下是linux下运行的结果。

查看结果:

 

本文结束。

原文地址:https://www.cnblogs.com/wenjingu/p/3628903.html