Hadoop2.6.0伪分布式搭建

环境:

1Ubuntu14.04

首先要在linux系统上新建一个账户,比如就叫做hadoop,用于专门运行hadoop

2、配置jdk

我是使用的版本是jdk1.8

解压:创建/usr/java目录,把下载好了的linux版本的jdk解压到次目录下。

环境变量配置:

命令sudo vim /etc/profile

在文件末端添加如下内容

保存退出后执行 source /etc/profile更新配置。然后执行java -version如果有如下信息就表示jdk配置成功。

3 配置ssh免密码登录:

首先是下载安装openssh-server服务,执行如下命令:

sudo apt-get install openssh-server

输入如下图命令,就可以配置好ssh免密码登陆了,不过注意一点是第一行命令改成:

ssh-keygen -t rsa

一路回车就行了

这样会在/home/当前用户(比如我的是/home/hadoop)目录产生一个新的目录叫 .ssh,进入发现多了两个文件分别是id_rsa和id_rsa.pub,分别是RSA的私钥和公钥,然后执行如下命令:

cat id_rsa.pub>>authorized_keys

把公钥内容复制并且添加进authorized_keys文件(设置本机ssh免密码登录)

 

4、hadoop配置

将下载的hadoop2.6.0安装包解压到/usr/local目录下,并且重命名为hadoop

修改hadoop目录的权限

sudo chown -R hadoop ./hadoop

进入hadoop/etc/hadoop目录,ls一下能看到如下这些配置文件:

 

下面挨个配置:

hadoop-env.sh配置

下图用红框框住的一行,=”之后是你的jdk的绝对路径(我后来把jdk改成1.8了,这个版本仅供参考,大家按照自己系统的具体情况写就好了)。

 

hdfs-site.xml配置

<property> 
<name>dfs.permissions</name> 
<value>false</value> 
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>

core-site.xml

<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>  
<name>mapred.job.tracker</name>  
<value>master:9001</value>
</property>  
<property>  
<name>mapred.local.dir</name>  
<value>/usr/local/hadoop/mapred/local</value>  
</property>  
<property>  
<name>mapred.system.dir</name>  
<value>/tmp/hadoop/mapred/system</value>  
</property>

yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

这就大功告成了。

原文地址:https://www.cnblogs.com/K-artorias/p/7054032.html