Hadoop Eclipse 插件制作以及安装

在本地使用Eclipse调试MapReduce程序,需要Hadoop插件,笔摘记录下制作安装过程。

准备工作(hadoop-2.6.0为例):

  搭建好Hadoop环境

  下载Hadoop安装包,解压到某个路径(D:hadoop-2.6.0)

  下载 hadoop2x-eclipse-plugin包

  安装jdk 、ant、eclipse

相关资源下载:https://pan.baidu.com/s/11xMtbRWpy96gWIwQeQOKOg

一、制作

  1、git下载源码 https://github.com/winghc/hadoop2x-eclipse-plugin

  2、编译准备

   需要安装 jdk,Ant、Eclipse

   jdk安装配置 : https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html

     ant安装配置:https://jingyan.baidu.com/article/90808022c5eed8fd91c80f90.html

  3、编译

    (1)进入hadoop2x-eclipse-plugin解压目录下(D:hadoop2x-eclipse-plugin-mastersrccontribeclipse-plugin)

    (2)执行命令 :ant jar -Dversion=2.6.0 -Declipse.home=D: empeclipse -Dhadoop.home=D:hadoop-2.6.0

    

    参数说明:

    1.Dversion是你编译的版本,此版本为2.6.0
    2.Declipse.home是Eclipse安装目录
    3.Dhadoop.home是Hadoop解压的本地目录

   (3)执行完毕

         

    生成插件(build/contrib/eclipse-plugin目录下产生一个hadoop-eclipse-plugin-2.6.0.jar文件),插件制作结束。

    

二、插件安装

  1.安装插件

  把插件放入eclipse plugins文件夹,然后打开win7下Eclipse,将hadoop-eclipse-plugin-2.6.0.jar插件放到Eclipse安装目录的plugins文件夹下,我这里的路径是D:hbl_downloadeclipseplugins
  其实放到这里面已经完成大部分了。

  

  2.重启Eclipse
  通过window-》preference 找到下图所示,选择Hadoop安装目录

  

  3.创建New hadoop location
   通过下面操作,单击other

   

    选择MapReduce Tool选项

    

    

   4.配置New hadoop location

   右键New hadoop location

    

    

    其中50020是Map/Reduce(V2) Master默认端口,9000为配置文件中DFS Master配置的端口

  5.查看效果
    
配置完毕,查看效果

    

三、MapReduce程序调试

  本地调试MapReduce程序,需要在解压的Hadoop的bin目录下安装winutils.exe,以及将 hadoop.dll拷贝至C:WindowsSystem32目录中

    

    

原文地址:https://www.cnblogs.com/xiaojianfeng/p/9714611.html