hadoop单机配置

 

 

 

条件:

先下载VMware1.2,然后安装。

下载ubuntu-1.4.05-desktop-amd64.iso。下载地址:http://mirrors.aliyun.com/ubuntu-releases/14.04.5/

下载hadoop2.7。下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/

下载jdk-8u171-linux-x64.tar.gz。到官网下载。参考教程:https://blog.csdn.net/zl007700/article/details/50533675

将ubuntu安装在VMware上。

1.创建hadoop用户

sudo useradd -m hadoop -s /bin/bash

设置密码

sudo passwd hadoop

增加管理员权限

sudo adduser hadoop sudo

最后退出当前用户,然后重新登陆hadoop用户。

2.更新apt

sudo apt-get update

3.安装SSH,配置SSH无密码登录

安装SSH server:

sudo apt-get install openssh-server

安装后,用命令登录:

ssh localhost

 

但是这样登陆需要密码。所以首先退出刚才的 ssh,利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

 

然后就可以无密码登录了

3.免配置环境安装jdk

sudo apt-get install default-jre default-jdk

上述安装过程需要访问网络下载相关文件,请保持联网状态。安装结束以后,需要配置JAVA_HOME环境变量,请在Linux终端中输入下面命令打开当前登录用户的环境变量配置文件.bashrc:

vim ~/.bashrc

在文件最前面添加如下单独一行(注意,等号“=”前后不能有空格),然后保存退出:

export JAVA_HOME=/usr/lib/jvm/default-java

接下来,要让环境变量立即生效,请执行如下代码:

source ~/.bashrc    

执行上述命令后,可以检验一下是否设置正确:

 

4.安装hadoop

将下载好的hapoop解压到/usr/local/

sudo tar -zxf ~/Downloads/hadoop-2.7.6.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.7.6/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

我在写文件夹名时写错了。所以用来查看当前目录下的文件夹的命令是 Is 文件名

 

最后查看hadoop的版本:

5.单机配置hadoop

hadoop默认为非分布式模式(本地模式)。无需进行其他配置即可。

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。

 

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xmlhdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。

 

修改配置文件 core-site.xml

修改成:

 

 

Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。

此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

配置完成后,执行 NameNode 的格式化:

./bin/hdfs namenode -format

我执行命令时一直提醒找不到路径,需要先cd到/usr/local/hadoop目录下

然后发现原来的xml文件写错了,正确的应该写成:

然后再执行:

接着开启 NameNode 和 DataNode 守护进程。

./sbin/start-dfs.sh

 

 

 

 

 

本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利.
原文地址:https://www.cnblogs.com/wl2017/p/9675618.html