Hadoop2.X版本伪分布式安装详细介绍【非抄袭,原创!】

网上hadoop单节点安装文章真是一搜一大堆,可以这样说,全是垃圾,那些博主也不知道自己安装过没有。。反正就一堆的copy,我实在看不下去了。必须把我总结的写出来,如果你有任何问题随时联系我!

E-Mail: yanghg@pku.edu.cn

下面我以2.2.0为例子!注意这是单节点!!伪分布式!!不喜勿看

Hadoop2.2.0(Yarn)安装详细过程

一、运行一个单机版模式的hadoop伪分布式平台

1、软件环境

           1、操作系统:

由于linux的开源性、安全性等因素现有的hadoop集群多为linux平台,在这里采用适合个人安装的linux Ubuntu 12.04LTS版本去实现hadoop伪分布式平台。若采用window系统不能使开发者更好的体验hadoop框架的优越性能和其高效的性能。对于linux系统red hat、ubuntu、Debian、Gentoo、SuSE、Mandriva安装均相同。

           2、Java环境:

在这里采用ubuntu上所推荐的java-7-openjdk。若采用sun公司的jdk,则需要向系统添加环境,这里不再进行赘述。

3、SSH:在hadoop平台上,需要涉及resourcemanager与nodemanager之间通信,appmaster与container之间通信,用户数据之间的通信等。在通信过程中需要配置SSH无密码通信。

           4、hadoop版本:hadoop2.2.0(apache网站中所有1.0以上框架均适用)

以上软件环境均在对应的开源官方网站下载,其中java环境和ssh均在ubuntu中使用apt-get install命令即可获得。

注:修改过程可能使用到编辑软件为Vim。

安装所需软件源:

名称

网址

Ubuntu

http://www.ubuntu.org.cn/download

Hadoop2.2.0

http://www.apache.org/dyn/closer.cgi/hadoop/common/

Myeclipse

http://www.myeclipseide.cn

javaJDK

Ubuntu控制台命令sudo apt-get install java-7-openjdk

SSH

Ubuntu控制台命令sudo apt-get install ssh-openserver

Vim

Ubuntu控制台命令sudo apt-get install vim

二、安装过程

2.1安装前准备工作

           配置yarn前需将javaJDK、SSH、vim安装完成,将hadoop包从apache网站下载到本地。

测试javaJDK安装成功输入java –version出现下图

测试vim安装成功输入vim后出现下图

测试ssh会在配置无密码登陆时用到。

2.2给用户hadoop加入root权限(在ubuntu12.04安装过程中用户名称设定为:hadoop

控制台输入:Hadoop@hadoop:sudo vim /etc/sudoers

在root下添加hadoop的权限

Hadoop ALL=(ALL:ALL) ALL

 

若ubuntu已经安装完成如想增加hadoop用户和用户组则需如下操作:

1、增加hadoop用户组:sudo addgroup hadoop。

2、增加hadoop用户并将其加入到hadoop用户组:sudo adduser -ingroup hadoop hadoop。

3、将hadoop加入到root权限组。

2、配置SSH无密码访问

配置无密码访问后就不需要用户不停的输入访问密码,控制台命令如下:

1、创建ssh-key,采用通用的rsa加密方式:ssh –keygen –t rsa –p “”

回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的

2、进入到~/.ssh目录下

Hadoop@hadoop:Cd ~/.ssh

3、将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的

Hadoop@hadoop:Cat id_rsa.pub >> authorized_keys

安装成功登陆测试:

Hadoop@hadoop:ssh localhost

出现上图即安装成功

3.安装hadoop第二代框架

将下载好的hadoop2.2.0 tar.gz使用tar xvzf解压后放在/esr/local,然后进入到/usr/local/hadoop/etc/hadoop

具体文件配置如下:

1、hadoop-env.sh配置

在hadoop-env.sh添加Java环境(本机以openjdk7为例子)

打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

添加export Java_HOME=/usr/lib/jvm/java-7-openjdk-i386

2、yarn-env.sh配置

在yarn-env.sh添加java环境

打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/yarn-env.sh

添加export Java_HOME=/usr/lib/jvm/java-7-openjdk-i386

3、core-site.xml配置

打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/core-site.xml

添加

<property>

           <name>fs.default.name</name>

           <value>hdfs://localhost:9000</value>

</property>

4、hdfs-site.xml配置

打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

添加:

<property>

           <name>dfs.namenode.name.dir</name>

           <value>/usr/local/hadoop/dfs/name</value>

</property>

<property>

           <name>dfs.datanode.data.dir</name>

           <value>/usr/local/hadoop/dfs/data</value>

</property>

<property>

           <name>dfs.replicatiion</name>

           <value>2</value>

</property>

5、mapred-site.xml配置

打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

添加:

<property>

           <name>mapreduce.framework.name</name>

           <value>yarn</value>

</property>

6、yarn-site.xml配置

打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

添加:

<property>

           <name>yarn.nodemanager.aux-services</name>

           <value>mapreduce_shuffle</value>

</property>

<property>

           <name>yarn.nodemanager.aux-services.ampreduce.shuffle.class</name>

           <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

经过以上配置yarn配置完成,然后将所有服务一次启动,如下操作:

1、启动hdfs:

                                                     Hadoop@hadoop:bin/hadoop namenode -format

                                                     Hadoop@hadoop:sbin/hadoop-daemon.sh start namenode

                                                     Hadoop@hadoop:sbin/hadoop-daemon.sh start datanode

2、启动yarn:

                                                          Hadoop@hadoop:Sbin/yarn-daemon.sh start resourcemanager

                                                          Hadoop@hadoop:Sbin/yarn-daemon.sh start nodemanager

                                                          (或者利用全部启动的命令)Hadoop@hadoop:Sbin/start-all.sh

                                                          Hadoop@hadoop:Jps

若处出现启动不成,则去查找log日志,log日志位于:/usr/local/hadoop/log目录下,yarn将namenode、datanode、nodemanager、resourcemanager分别记录与不同的日志中,方便用户的查找

输入后若出现以下命令则安装成功:

在浏览器中输入http://localhost:8088测试web端口是否没有被占用出现如下图所示:

测试HDFS端口是否正常,在浏览器中输入:http://localhost:50070出现如下图所示:

点击“Browse the filesystem”能进入到hdfs目录中则hdfs安装完成,如下图所示:

经过以上配置并且在测试成功后我们的hadoop第二代平台(伪分布式)就全部安装完成了。接下来我们可以利用它去做许多有趣的事情了。

    

原文地址:https://www.cnblogs.com/pkuYang/p/4158249.html