window下eclipse搭建hadoop环境

1 生成插件jar

  1.1 安装java,ant运行环境

  1.2 下载hadoop-2.5.0.tar.gz并解压到指定目录

  1.3 下载hadoop2x-eclipse-plugin-master.zip并进行解压到指定目录

  1.4 进入到hadoop2x-eclipse-plugin-masteruildcontribeclipse-plugin目录下进行编译

    ant jar -Dversion=2.5.0 -Dhadoop.version=2.5.0 -Declipse.home=D:developtoolseclipseeclipse-jee-mars-1-win32-x86_64eclipseeclipse -Dhadoop.home=D:developtoolslinuxsoftwarehadoophadoop-2.5.0hadoop-2.5.0

  1.5 如果编译失败,提示找不到htrace-core-3.0.4.jar,就去mvn中央仓库进行下载,并放入到hadoop-2.5.0sharehadoopcommonlib目录下,重新执行1.4的操作

  1.6 如果编译成功,会在hadoop2x-eclipse-plugin-masteruildcontribeclipse-plugin目录下生成hadoop-eclipse-plugin-2.5.0.jar

2 将生成的hadoop-eclipse-plugin-2.5.0.jar拷贝到eclipse的dropins目录下,可能有的eclipse版本需要放到plugins目录下,重启eclipse,查看window->preferences下是不是又mapreduce的选项

  

3 点击步骤2中的Hadoop Map/Reduce选择在右侧的选项卡中填入hadoop.home对应的路径

  

4 使用eclipse管理hdfs

  4.1 关闭eclipse的权限管理(在hdfs-site.xml中配置)

<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>

  4.2 修改当前电脑的用户为hadoop,并重启电脑用该用户登录

5 使用eclipse提交任务到hadoop(https://pan.baidu.com/s/1jIcjNSi)

  5.1 下载window下的运行包winutils 

  5.2 将winutils下的hadoop-2.6.4/bin目录下的文件覆盖到hadoop的bin目录下的所有文件

  5.3 复制hadoopinhadoop.dll文件到C:WindowsSystem32中

  5.4 配置HADOOP_HOME,并将HADOOP_HOMEin配置到Path变量中

  5.5 重启电脑

   

原文地址:https://www.cnblogs.com/lifeone/p/7921209.html