Eclipse安装Hadoop插件 (Hadoop版本:0.20.205.0, Eclipse Indigo)

解压 hadoop-0.20.205.0.tar.gz , 进入到 contrib/eclipse-plugin/ 文件夹下.

你能看到一个叫 hadoop-eclipse-plugin-0.20.205.0.jar 的jar, 没错,这个就是 hadoop eclipse插件.

但这个插件有问题.需要手动修改一下(主要问题是缺少jar包):

用 WinRar 打开这个jar(不解压),在进入包里的 lib 目录,你能发现有 hadoop-core.jar 和 commons-cli-1.2.jar 这2个jar.

1.在hadoop安装目录 hadoop-0.20.205.0/lib 找到如下 jar 并拷贝到 hadoop-eclipse-plugin-0.20.205.0.jar/lib 下(WinRAR打开):

　　jackson-mapper-asl-1.0.1.jar

　　commons-configuration-1.6.jar

　　commons-httpclient-3.0.1.jar

　　commons-lang-2.4.jar

　　jackson-core-asl-1.0.1.jar

2.修改jar的MANIFEST.MF文件:

　　拷贝出 hadoop-eclipse-plugin-0.20.205.0.jar/META-INF/MANIFEST.MF文件,

　　修改 Bundle-ClassPath: classes/,lib/hadoop-core.jar

　　为:

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar

修改完成后覆盖jar包里的 hadoop-eclipse-plugin-0.20.205.0.jar/META-INF/MANIFEST.MF 文件.

将 hadoop-eclipse-plugin-0.20.205.0.jar 拷贝到Eclipse插件目录: plugins/ 目录下.

到此插件安装完成. 打开 Eclipse.

　　菜单栏: Window -> Preferences -> Hadoop MapReduce , 在右侧设置 Hadoop 的安装路径.只能是本地的.主要目的是引用hadoop依赖的jar包

　　菜单栏: Window -> Show View -> Other -> MapReduce Tools -> MapReduce Locations. 调出 Hadoop配置.可以是远程的.

　　然后new 一个 locations:

　　Location Name : 自己随便取个名字

　　Map/Reduce Master : mapred-site.xml 里 mapred.job.tracker 节点的配置

　　DFS Master: core-site.xml 里 fs.default.name 节点的配置.

　　User Name : 就是启动hadoop的用户名.

　　点击 Finish.

　　成功的话, 你的项目里会多一个 DFS Locations:

　　如果发现问题.检查下安装 Eclipse 插件的时候添加jar包和修改 MANIFEST.MF 信息是否正确.

　　如果遇到如下异常：

org.apache.hadoop.security.AccessControlException: Permission denied: user=xxj, access=WRITE,

　　解决办法：

　　在 hdfs-site.xml 总添加参数：

<property>
        <name>dfs.permissions</name>
        <value>false</value>
  </property>

　　相关参考:

　　http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html

　　http://wenku.baidu.com/view/8ebc401ba76e58fafab0034c.html

　　http://www.taobaotest.com/blogs/qa?bid=10659