Windows下Hadoop Eclipse 开发平台搭建

准备工作

java JDK

Cywin

eclipse

hadoop-0.20.2-eclipse-plugin.jar(Hadoop自带eclipse插件,在hadoopcontribeclipse-plugin中)

安装和配置

一、JDK安装和配置

  省略

二、Cywin安装和配置

  可以按照默认的提示安装到自己需要存放的位置,但是在安装时需要注意下面几点:  

   1、 http://mirrors.sohu.com

      

  2、安装过程中记得选择所需的包具体请参考下面的图示:

  • Net    下的:openssh,openssl

  • Base  下的:sed (若需要Eclipse,必须sed)

  • Devel 下的:subversion(建议安装)

                

  不同的版本可能有所不同,但是基本操作没有变化。。。。

  在我的电脑->属性->高级->环境变量中配置加入变量CYGWIN=ntsec

  在path环境变量中加入cygwin/bin路径, 例如: ;d:/cygwin64/bin

  给文件授权,以完成sshd 服务的安装

  chmod +r /etc/group 

  chmod +r /etc/passwd

   chmod +rwx /var

  安装ssh服务

  以管理员权限运行Cygwin,并输入 ssh-host-config

    当询问if privilege separation should be used 时输入 no .     

   当询问if sshd should be installed as a service 时输入yes .     

  当询问about the value of CYGWIN environment variable enter 时输入 ntsec .

    其余询问均输入 no

  cygrunsrv.exe -S sshd # 启动 SSH服务

  控制面板-》系统和安全-》管理工具-》服务 启动名为 CYGWIN sshd 的服务,亦可在cygwin中输入 cygrunsrv --start sshd 启动sshd(输入cygrunsrv --stop sshd停止sshd)
三、hadoop安装和配置

  这里只需要保证hadoop配置,与服务器配置一致即可。

四、eclipse安装和配置

  将eclipse安装包解压到任意路径下

  将hadoop-0.20.2-eclipse-plugin.jar放置eclipse安装目录eclipseplugins下,启动eclipse进行如下配置:

  window->Preference->Hadoop Map/Reduce,输入hadoop文件夹位置。

  

  window->Show View,选择Map/Reduce Locations。

   

  点击屏幕右下方新建一个Location.

  

  编辑Location.(注意MAP/REDUCE和DFS的Port分别对应mapred-site.xml和core-site.xml)

  

  这时,打开Project Explore,刷新。

    

  接下来,你可以new一个MapReduce程序了,找到hadoop的例子试试去吧。

  对了,编译这里要配置一下。

  选择Run Configurations->Java Application->Arguments,这里要填入为两个文件,分别为输入文件和输出文件。

    

    注意:输入输出文件地址,如果用主机名,则需要设置一下本地的hosts

原文地址:https://www.cnblogs.com/zhangwenjing/p/3623771.html