windows下eclipse远程连接Hadoop集群进行开发

本人使用的软件版本如下:

Hadoop的版本为hadoop-1.0.1

Eclipse的版本为Indigo

本人的hadoop集群由3台centos 6 64位的机器组成

其中一台Master,两台为Slave

安装eclipse开发环境的步骤如下:

  1. 下载hadoop-eclipse-plugin-1.0.0.jar  插件下载地址
  2. 把插件放到eclipse的plugin目录
  3. 打开eclipse可以看到增加了一个map/reduce的视图,打开那个视图
  4. 在下面的Map/Reduce Locations的地方增加一个Location
  5. 注意在编辑连接信息的时候需要注意以下几个事项
    1. 端口必须和hadoop设置的端口一致
    2. tmp地址设置为你的hadoop数据存储地址的根目录,其他的目录就跟着变了,具体可以参考
    3. 注意上面的参考中有些东西跟最新的插件有出入
  6. 运行程序的时候如果出现问题,如下

    Permission denied: user=Administrator, access=WRITE, inode="root":root:supergroup:rwxr-xr-x
    此类错误说明本地用户administrator(本机windows用户)想要远程操作hadoop系统,没有权限引起的。

    解决方法给相应没权限的目录设置下777权限。如给root目录设置权限

    ./hadoop fs -chmod 777 /user/root

    /user/root为你的hadoop配置参数hadoop.tmp.dir配置的地址

原文地址:https://www.cnblogs.com/wordadobe/p/2480932.html