hadoop集群部署入门(传智Hadoop学习)

1. 文档概述

　　本文档是Hadoop部署文档,提供了Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。本安装文档适用于 centos 5 /red hat 5.2 32位,64位版本,ubuntu 等操作系统需要做部分修改。

2. 背景

　　Hadoop为分布式文件系统和计算的基础框架系统，其中包含hadoop程序，hdfs系统等。

3. 名词解释

1.Hadoop, Apache开源的分布式框架。

2.HDFS, hadoop的分布式文件系统

3.NameNode, hadoop HDFS元数据主节点服务器，负责保存DataNode 文件存储元数据信息。

4.JobTracker, hadoop的Map/Reduce调度器，负责与TackTracker通信分配计算任务并跟踪任务进度。

5.DataNode, hadoop数据节点，负责存储数据。

6.TaskTracker, hadoop调度程序，负责Map,Reduce 任务的具体启动和执行。

7.Fuse, 多文件系统内核程序，可将不同的文件系统mount成linux可读写模式

4. 服务器结构

试验集群的部署结构

系统和组建的依赖关系

生产环境的部署结构

5. 安装步骤

1)、添加用户和组：

groupadd hadoop

useradd hadoop –g hadoop

2)、修改主机名

vi /etc/hosts 中添加

192.168.1.200 master

Vi /etc/sysconfig/network

HOSTNAME=master

重启或Hostname master

3)、创建ssh无密码登陆

安装：yum –y install openshh-clients

su hadoop

ssh-keygen –t dsa/rsa –P ‘’ ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

确认是否成功：

ssh localhost

4)、安装jdk

tar –xzvf jdk-7u9-linux-i586.tar.gz –C /usr/java

ln –s jdk1.7.0_09/ jdk

环境变量：

vi /etc/profile

export JAVA_HOME=/usr/java/jdk

export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

echo $PATH

5)、修改hadoop相关配置

tar –xzvf hadoop-1.0.4.tar.gz –C /opt/

修改配置文件

vi hadoop-env.sh

export JAVA_HOME=/usr/java/jdk

export HADOOP_HEAPSIZE=256

export HADOOP_PID_DIR=/home/$USER/pids

Vi core-site.xml

<property>

       <name>fs.default.name</name>

       <value>hdfs://master:9000</value>

</property>

<property>

       <name>hadoop.tmp.dir</name>

       <value>/home/${user.name}/tmp</value>

</property>

Vi hdfs-site.xml

<property>

       <name>dfs.replication</name>

       <value>1</value>

</property>

<property>

       <name>dfs.name.dir</name>

       <value>/home/${user.name}/dfs/name</value>

</property>

<property>

       <name>dfs.data.dir</name>

       <value>/home/${user.name}/dfs/data</value>

</property>

Vi mapred-site.xml

<property>

       <name>mapred.job.tracker</name>

       <value>master:9001</value>

</property>

<property>

       <name>mapred.system.dir</name>

       <value>/home/${user.name}/mapred/system</value>

</property>

<property>

       <name>mapred.data.dir</name>

       <value>/home/${username}mapred/local</value>

</property>

Vi master

Master

Vi slave

master

6、常用命令

Hadoop namenode -format

Start-all.sh

Stop-all.sh

Hadoop dfsadmin -report

关闭防火墙

service iptables stop