hadoop集群环境搭建

一、安装环境配置

电脑型号	ASUS A40JP 笔记本
操作系统	Windows 7 旗舰版 64位 sp1
CPUT	英特尔 Core i5 M 480
内存	金士顿 DDR3 1333MHZ 6G
硬盘	希捷 500G
虚拟机软件	Oracle VM VirtualBox 4.3
Master	Centos6.5 Mem:1G Disk:20G hostname:hadoop1,ip:192.168.1.10
slave1	Centos6.5 Mem:1G Disk:20G hostname:hadoop2,ip:192.168.1.20
Slave2	Centos6.5 Mem:1G Disk:20G hostname:hadoop3,ip:192.168.1.30
Java	jdk1.7.0_60
Hadoop	hadoop-1.2.1

二、服务器基本配置（需要root账号操作）

1、配置IP:

[root@hadoop1 usr]# vim /etc/sysconfig/network-scripts/ifcfg-eth0

另外两台的IP分别配置为 192.168.1.20 和 192.168.1.30

2、配置主机名：

[root@hadoop1 usr]# vim /etc/sysconfig/network

另外两台分别配置名字为：hadoop2 hadoop3

3.配置host文件

[root@hadoop1 usr]# vim /etc/hosts

其他两台配置一样。

4.重启虚拟机

[root@hadoop1 usr]# reboot

三、安装JDK

1、建立Hadoop账号并设置密码（三台操作一样，用root创建相同的账号）

[root@hadoop1 ~]# useradd hadoop

[root@hadoop1 ~]# passwd hadoop

2、用securityCRT连接到虚拟机终端，方便操作

3.下载安装JDK

[hadoop@hadoop1~]$wget http://download.oracle.com/otn-pub/java/jdk/7u60-b19/jdk-7u60-linux-i586.tar.gz

p：（1）如果提示ERROR: certificate common name â€œwww.oracle.comâ€ doesnâ€™t match requested host name â€œedelivery.oracle.comâ€.

To connect to edelivery.oracle.com insecurely, use â€˜--no-check-certificateâ€™.

请在下载的时候选择同意按钮。

（2）如果提示Cannot write to â€œjdk-7u60-linux-i586.tar.gz.1â€ (Permission denied).，请切换root账号进行操作。

4、下载完成之后，移动jdk到usr路径下，并进行解压

[root@hadoop1 ~]# mv jdk-7u60-linux-i586.tar.gz /usr/

[root@hadoop1 ~]# cd /usr/

[root@hadoop1 usr]# tar -xzvf jdk-7u60-linux-i586.tar.gz

完成之后，效果如图。

然后运行scp命令，将jdk1.7.0_60复制到其他节点上

[root@hadoop1 usr]# scp -r jdk1.7.0_60/ root@hadoop2:/usr/jdk1.7.0_60/

提示输入hadoop2的root的账号密码，按要求正确输入即可。

四、配饰SSH免密码登陆（使用Hadoop账号操作）

1、生成密钥对。

[hadoop@hadoop1 ~]$ ssh-keygen -t rsa -f ~/.ssh/id_rsa

①：运行ssh-keygen命令，生成密钥对

②：输入空密码，切记这里不能输入任何字符

③：查看生成的密钥对

2、复制公钥名为authorized_keys

[hadoop@hadoop1 .ssh]$ cp id_rsa.pub authorized_keys

3.将3台虚拟的公钥放在同一个authorized_keys中，然后分别复制到另外两台虚拟机。

这里可以使用多种方式，可以再securityCRT中直接复制。

也可以用scp命令将三台机器的authorized_keys集中起来，使用

cat authorized_key2 >> cat authorized_key命令将2个key追加到其中的一个之中，然后用scp命令分别拷贝到其他的两台机器中。

4.然后用ssh hadoop1就能免密码登陆了。第一次可能需要输入yes，允许将密钥加入known_hosts信任的机器中。

至此，ssh免密码登陆就完成了。

五、安装Hadoop

1.下载Hadoop，下载地址http://www.eu.apache.org/dist/hadoop/common/hadoop-1.2.1/

[hadoop@hadoop1~]$wget http://www.eu.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

解压：

[hadoop@hadoop1 ~]$ tar -xzvf hadoop-1.2.1.tar.gz

2.进入配置文件目录，修改环境变量

[hadoop@hadoop1 ~]$ cd hadoop-1.2.1/conf/

[hadoop@hadoop1 conf]$ vim hadoop-env.sh

修改JAVA_HOME

3.修改core-site.xml，并新建临时目录

[hadoop@hadoop1 conf]$ vim core-site.xml

新建临时文件夹：[hadoop@hadoop1 conf]$ mkdir -p /home/hadoop/hadoop/tmp

4.修改hdfs-site.xml

[hadoop@hadoop1 conf]$ vim hdfs-site.xml

有几个节点，value的值就是几。

5.修改mapred-site.xml

[hadoop@hadoop1 conf]$ vim mapred-site.xml

6.修改masters和slaves文件

7.向各个节点复制hadoop

[hadoop@hadoop1 ~]$ scp -r hadoop-1.2.1 hadoop@hadoop2:/home/hadoop/hadoop-1.2.1

[hadoop@hadoop1 ~]$ scp -r hadoop-1.2.1 hadoop@hadoop3:/home/hadoop/hadoop-1.2.1

8格式化namenode

[hadoop@hadoop1 ~]$ cd hadoop-1.2.1/bin/

[hadoop@hadoop1 bin]$ ./hadoop namenode -format

9、启动Hadoop

[hadoop@hadoop1 bin]$ ./start-all.sh

主节点

子节点

至此，Hadoop集群的运行环境就搭建完成了。