hadoop环境搭建笔记

1.使用vmware 创建了两个虚拟机

2.分别更改ip可参考url: https://www.cnblogs.com/gzgBlog/p/13693754.html

  此处主节点IP : 192.168.10.11

  从节点IP: 192.168.10.12

3.分别修改主机名:vi /etc/hostname ,修改完毕,保存退出(重启后生效)

 4.配置本地dns(ip和域名的映射关系) vi /etc/hosts

 再两台机器分别使用ping 命令测试是否配置成功,如下表示成功

 5.配置免密登录

 配置前,先确保安装了openssh-server,默认是不安装的

      输入dpkg --list | grep ssh,如果没有openssh-server,执行以下命令安装:

      sudo apt-get install openssh-server

服务器A如果要免密码登录到服务器B时,需要在服务器A上生成密钥对,将生成的公钥上传到服务器B上,并把公钥追加到服务器B的authorized_keys信任文件中。

5.1.此处再master主机生成密钥 : ssh-keygen -t rsa -P ''

 5.2将master公钥复制到slave01    命令: scp .ssh/id_rsa.pub root@slave01:~    使用ssh验证是否免密码

5.3如果不成功关闭防火墙重试:

  立即生效(重启后失效):service iptables stop

  重启后永久生效:chkconfig iptables off

 6.配置jdk环境

6.1解压jdk压缩包  tar -zvxf ./jdk-8u211-linux-x64.tar.gz 

 配置环境变量   vi /etc/profile  ,后边追加

export JAVA_HOME=/app/jdk1.8.0_211

export PATH=$PATH:$JAVA_HOME/bin

保存并退出,使用:source /etc/profile 使配置生效

使用 java -version 出现如下信息表示jdk配置成功

7. 配置hadoop环境

7.1解压hadoop压缩包   tar -zvxf ./hadoop-2.2.0-64bit.tar.gz 

7.2 在/etc/profile 中添加hadoop配置:vi /etc/profile

7.3hadoop-env.sh中添加java环境

进入  /app/hadoop-2.2.0/etc/hadoop  在hadoop-env.sh中添加JAVA_HOME环境

8.验证

使用 hadoop version 出现版本信息表示配置成功

 Hadoop安装可以是单节点、伪分布式和完全分布式。这里我们着重介绍伪分布式和完全分布式。伪分布式是在一台机器上模拟分布式,主要用于测试;而完全分布式是由两个及两个以上的节点组建的集群,是真正的分布式。下面介绍伪分布式和完全分布式的安装过程。

author@nohert
原文地址:https://www.cnblogs.com/gzgBlog/p/13702720.html