eclipse安装hadoop插件

为什么要用这个插件了?有什么好处了?

因为我们待分析的文件需要从客户端通过rpc传到NameNode,所以在linux中,是找不到这个文件的,相当于是做了个隔离,所以用个插件就很方便的上传这些文件了,还可以查看目录结构,文件内容。分析后结果也是很方便的查看的到。

操作步骤:

1、下载eclipse for java版本 (http://www.eclipse.org/downloads/

2、下载对应hadoop版本的的eclipse hadoop插件

3、解压eclipse后将eclipse hadoop插件拷贝至plugins文件夹底下

4、重启eclipse,打开eclipse,如果出现window菜单消失问题,请查看

5、设置hadoop的安装路径至eclipse,如图:

6、打开菜单 window - perspective - open perspective - other - 点击Map/Reduce

7、DFS Master配置core-site.xml 端口,Map/Reduce Master 配置mapred-site.xml端口

core-site.xml配置

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
  <!-- 指定HDFS老大(namenode)的通信地址 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <!-- 指定hadoop运行时产生文件的存储目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/abc/hadoop_tmp</value>
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>true</value>
    <description>
      If "true", enable permission checking in HDFS.
      If "false", permission checking is turned off,
    </description>
  </property>
</configuration>

mapred-site.xml端口

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
  <!-- 指定mr运行在yarn上 -->
  <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
  <property>
      <name>mapred.job.tracker</name>
      <value>localhost:9001</value>
  </property>
</configuration>

配置完成后,eclipse 左边导航出现如图:

如果tmp 提示 Error:Permission denied:user:root,access=READ_EXECUTE,inode="/tmp" ,表示所在用户的tmp没有文件权限,执行赋权限命令:

abc@ubuntu:/usr/local/hadoop$ hadoop fs -chown -R root:root /tmp

reconnect 后就可以全部看到hdfs的所有文件夹。

8、接下去就可以新建hadoop插件项目了

简易的hadoop插件工程

原文地址:https://www.cnblogs.com/tatungzhang/p/6029466.html