win7下通过eclipse连接hadoop

  首先,环境如下:

  hadoop: 2.4.0

  jdk: 1.7

  eclipse:helios-SR2

  linux:centos 6.5

  hadoop2x-eclipse-plugin.zip

  hadoop-common-2.x.x-bin-master.zip

  开始安装前的准备工作:

  前提:已经准备好了最基本的hadoop集群,本机是利用oracle vm构建两个centos 6.5的虚拟机,组成hadoop简单集群

  1. 将hadoop的source和bin版本、hadoop-common-xxx都解压后放在同一文件夹目录下。把hadoop-common-xxx文件夹下bin目录中的内容全部靠到hadoop的bin版本的目录/bin中,替换部分内容。将hadoop的bin版添加到windows的环境变量中。

  2. 将hadoop2x-eclipse-plugin中的jar丢到eclipse的plugin目录中,在打开的eclipse配置hadoop.记住,先在window的hosts中加入hadoop主节点的ip name。在eclipse中设置hadoop时,将name配置给hdfs的name(默认是localhost),并将端口分别设置为9001, 9000.

  3. 将hadoop-examples-xxx的demo引入后,需要一些jar.基本上都在hadoop的bin版的share里面可以找到。

  通过上面的设置,我们就可以在windows下的eclipse中进行m/r等开发,效果还不错。

原文地址:https://www.cnblogs.com/craig-yilia/p/4980579.html