hadoop完全分布式搭建

一、安装jdk、hadoop

1. 解压jdk、hadoop压缩包：

注意在主节点上解压安装

# tar -zxvf jdk-8u201-linux-x64.tar.gz  -C /usr/lcoal/src

# tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local

　　2. 配置环境变量 编辑/etc/profile文件：

加入（里面的安装目录自己修改！！）

配置机器映射关系：(如何修改Linux系统IP地址自己问百度）

master主机：/etc/hostname 修改主机主节点为 master　　修改IP地址192.168.56.1　　

在每台机器 /etc/hosts文件添加：

 192.168.56.1 master

192.168.56.2 slaves

192.168.56.3 slaves2

slaves：/etc/hostname 修改为slaves  　　修改IP地址192.168.56.2

slaves2：/etc/hostname 修改为slaves2　　修改IP地址192.168.56.3

完成这一步所有机器重启生效。

　3.配置免密码登录ssh：
# ssh-keygen -t rsa

# cd .ssh/

# ssh-copy-id master

# ssh-copy-id slaves

# ssh-copy-id slaves2

测试登录：
# ssh master

# chmod 600 ~/.ssh/authorized_keys　

　4. 配置hadoop文件：

在本人园子内的hadoop随笔内，请查看另一篇文档。

　　格式化文件：

# cd /usr/local/hadoop

# bin/hdfs namenode  -format

　5.将文件发送到奴隶节点：

#scp -r /etc/profile slaves:/etc/profile

#scp -r /etc/profile slaves2:/etc/profile

# scp -r /usr/local/src/jdk1.8.0_201 slaves:/usr/local/

# scp -r /usr/local/src/jdk1.8.0_201 slaves2:/usr/local/

# scp -r /usr/local/hadoop slaves:/usr/local/

# scp -r /usr/local/hadoop slaves2:/usr/local/

　6.启动hadoop：

# cd /usr/local/hadoop

# sbin/start-dfs.sh

# sbin/start-yarn.sh

# sbin/start-all.sh