Hadoop笔记之安装及伪分布式模式配置

Hadoop笔记之安装及伪分布式模式配置
位于分类分布式计算
Hadoop推荐的是Linux环境。Windows环境只能作为开发环境，而不能作为生产环境。
准备工作
首先确保Java环境的安装，并确保JAVA_HOME环境变量指向了一个Java安装。ubuntu下可以
sudo apt-get install sun-java6-jdk
通过运行“java -version”命令查看是否配置成功。
接着在这里下载一个稳定版的hadoop，目前最新的版本为0.20.203.x。
下载后，解压缩到本地文件系统。
tar xvzf hadoop-x.f.z.tar.gz
这时我们需要修改conf/hadoop-env.sh中的JAVA_HOME的值来指定Java安装。
创建一个指向hadoop安装目录（例如HADOOP_INSTALL）的环境变量。这样直接在命令行中运行hadoop命令就很方便。
export HADOOP_INSTALL=/home/chine/hadoop-0.20.203.0
export PATH=$PATH:$HADOOP_INSTALL/bin
为了能让每次开机添加环境变量，我们把这两句话加到"/etc/profile“的末尾。
我们运行以下指令看看hadoop是否安装成功。
% hadoop version
Hadoop 0.20.203.0
Subversion http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-security-203 -r 1099333
Compiled by oom on Wed May 4 07:57:50 PDT 2011
配置
Hadoop各个组件的配置在文件夹conf下。早期的hadoop采用一个配置文件hadoop-site.xml来配置Common，HDFS和MapReduce组件，从0.20.0版本开始，分为三个文件。
core-site.xml：配置Common组件的属性。
hdfs-site.xml：配置HDFS属性。
mapred-sit.xml：配置MapReduce属性。
Hadoop的运行模式有以下三种：
独立模式（standalone或local mode）：无需任何守护进程（daemon），所有程序都在单个JVM上执行。主要用在开发阶段。默认属性就是为本模式所设，所以不需要额外的配置。
伪分布式模式（pseudo-distributed model）：Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。本文接下来会说这种模式的配置。
全分布模式（full distributed model）：Hadoop守护进程运行在一个集群上。在以后的文章中将会介绍此模式的配置。
伪分布模式
我们依次修改conf文件下core-site.xml，hdfs-site.xml和mapred-site.xml文件为如下。
core-site.xml
?
1
2
3
4
5
6
7
8
9
10
11
12
13
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost/</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/chine/hadoop-0.20.203.0/tmp/hadoop-${user.name}</value>
  </property>
</configuration>
这里要注意hadoop.tmp.dir的设置，如果不设置，则默认设为/tmp文件夹，每次重启后/tmp会被清除，这样造成namenode无法启动的问题。
hdfs-site.xml
?
1
2
3
4
5
6
7
8
9
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
mapred-site.xml
?
1
2
3
4
5
6
7
8
9
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:8021</value>
  </property>
</configuration>
配置SSH
启动守护进程的前提是安装SSH。通常情况下，ubuntu已经安装了ssh，若没有，运行
sudo apt-get install ssh
需要强调的是，必须确保用户能SSH到本地主机，并不输入密码即可登录。于是，我们基于空口令创建一个新SSH密钥，以启用无密码登录。
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
用以下命令进行测试
$ ssh localhost
如果成功，无需键入密码。
格式化HDFS文件系统
在使用Hadoop之前，必须格式化一个全新的HDFS安装。只需运行
$ hadoop namenode -format
启动和终止守护进程
我们可以运行以下命令来启动HDFS和MapReduce守护进程。
$ start-all.sh
当然，也可以分开来分别启动
$ start-dfs.sh
$ start-mapred.sh
相应的终止也很简单。
$ stop-all.sh
或者
$ stop-dfs.sh
$ stop-mapred.sh
到这里伪分布式模式就配置完成。以后再介绍全分布式模式的配置，以及用Hadoop进行MapReduce任务等等相关的学习。