使用Myeclipse 2015 进行 Hdp 4 windows 开发

在本地环境下进行开发,使用cygwin安装 Hdp那就是一个呵呵岂能概括。

所以啊,还是用Hdp windows进行开发测试吧。这样感觉省心点。具体 Hdp windows的安装参看前面的文章或自行Google。

 

那为什么要用Java来开发Hdp呢? C# 本可以运行在 Hdp 4 windows的,通过最近一段时间对于它的了解,发现C#在Hadoop一族的上表现除了MR,OOZie,Hive之类还凑合着能用吧。其它如Strom除了运行在Azure上的功能外,并且VS.net也支持了,但暂时只能在Azure运行。对于不想使用它或不想受限于它来说,简直就是灾难。Hadoop的SDK更新方面有新生性也没有。

 

我们还是用Java原生来开发一些应用,这样来得简单直白。

 

1,下载Myeclipse 2015 。安装略,破解略(反正我先试用)。

2,下载最新版本的插件。

https://github.com/winghc/hadoop2x-eclipse-plugin/tree/master/release 

我是用的最新的 2.60.

3,再启动Eclipse 就可以找到MapReduce 视图了。

image

 

4,新建配置Hdfs 连接。

image

这个配置在我本机上,对于集群,权限方面可就不能这么干了。

虽然我的User是 hadoop ,但对于实际访问还是Adminsitrator。所以,后面有一点里会提到,如果在权限方面进行“暂时”的解除。

 

我查了有些资料说要把当前用户改成Hadoop用户,这样就可以了。(算了,我不改了,我更喜欢Administrator这个名字)

 

下面就可以从DfsLoaction 里看到相应的文件系统了。

 

5,对于 error permission denied: user=administrator

image 

既然也是开发环境,无所谓的事情了,关了安全验证。

%hadoop_home%etchadoophdfs-site.xml

<name>dfs.permissions.enabled</name>
   <value>false</value>

重启,OK。

 

image

 

好了,有权限了。可以操作了。

 

Over。

原文地址:https://www.cnblogs.com/zbw911/p/4344289.html