Linux下搭建hadoop开发环境-超详细

先决条件:开发机器需要联网

                         已安装java

                          已安装Desktop组

1、上传安装软件到linux上:

wps122A.tmp

2、安装maven,用于管理项目依赖包:以hadoop用户安装apache-maven-3.0.5-bin.zip。

--解压安装文件到相应目录下:

[root@db07 opt]# chown -R hadoop:hadoop /opt/*

[hadoop@db07 opt]# mkdir bd_dev

[hadoop@db07 opt]# cd software/

[hadoop@db07 software]# unzip apache-maven-3.0.5-bin.zip

[hadoop@db07 software]# mv apache-maven-3.0.5 /opt/bd_dev/maven-3.0.5

[hadoop@db07 software]# cd /opt/bd_dev/maven-3.0.5/

--配置环境变量(sudo权限执行以下脚本):

echo "export MAVEN_HOME=/opt/bd_dev/maven-3.0.5"  >> /etc/profile

echo "export PATH=$MAVEN_HOME/bin:$PATH"  >> /etc/profile

source /etc/profile

检查配置情况:

mvn -version

配置maven仓库:

[hadoop@db07 ~]$ mkdir ~/.m2/

[hadoop@db07 software]$ tar -zxf repository.tar.gz -C ~/.m2/

[hadoop@db07 .m2]$ cp /opt/bd_dev/maven-3.0.5/conf/settings.xml .

[hadoop@db07 .m2]$ ll

total 16

drwxrwxr-x 56 hadoop hadoop  4096 Jun 24  2015 repository

-rw-r--r--  1 hadoop hadoop 10224 Apr 19 13:35 settings.xml

3、安装eclipse:hadoop用户安装

[hadoop@db07 software]$ tar -zxf eclipse-jee-kepler-SR1-linux-gtk-x86_64.tar.gz -C /opt/bd_dev/

[hadoop@db07 software]$ cd /opt/bd_dev/eclipse/

[hadoop@db07 eclipse]$ ./eclipse                 --启动eclipse,然后图形界面配置eclipse

1)启动后在下图界面配置workspace工作目录,我把它放在/opt/bd_dev/workspace目录下,因为测试环境要部署应用比较多,所以我放置在同一目录下,方便管理。

wps123A.tmp

2)启动后界面如下图所示:

wps123B.tmp

3)因为eclipse启动要加载很多插件,所以部署后首先去掉无用插件:

点击Window->preferences,打开下图界面,并且在搜索栏输入start,选择startup and shutdown筛选出启动配置项,按图上指示操作后点击ok应用配置。

wps123C.tmp

4、配置eclipse快捷键(Context Assist、Word Completion):在Window->preferences界面下。

wps123D.tmp

wps123E.tmp

5、配置eclipse与maven集成插件:指定maven目录为我们自己安装的目录。

wps124F.tmp

6、至此CentOS 6.5上hadoop开发环境搭建完成了,下一步就要创建工程,如下图所示:

wps1250.tmp

默认,next:

wps1251.tmp

默认,next:

wps1252.tmp

配置group id、artifact id、version三要素,然后finash完成工程创建:

wps1253.tmp

7、创建开发配置文件目录(sources folder):

wps1254.tmp

选择文件位置及配置文件名称,finash完成source floder创建:

wps1255.tmp

以下内容配置sreources目录编译目标目录:

wps1256.tmp

选择source->hadoop.hdfs/src/main/resources->output folder:hadoop.hdfs/target/classes,点击edit选择目标目录target/classes,点击ok完成工程创建。

wps1257.tmp

原文地址:https://www.cnblogs.com/wcwen1990/p/6733631.html