Hadoop伪分布式部署

一、Hadoop组件依赖关系:

步骤

1)关闭防火墙和禁用SELinux

切换到root用户

关闭防火墙:service iptables stop

Linux下开启/关闭防火墙的两种方法

1.永久性生效,重启后不会恢复:

开启:chkconfig iptables on

关闭:chkconfig iptables off

2.即时生效,重启后恢复

开启:service iptables start

关闭:service iptables stop

禁用SELinux

vim /etc/sysconfig/selinux 设置SELinux=disabled

2)设置静态IP

vim /etc/sysconfig/network-scripts/ifcfg-eth0

3)修改主机名(hostname)

vim /etc/sysconfig/network

4)IP与hostname绑定

作用:可以在window浏览器主页上输入IP地址加端口号访问linux下Hadoop的运行进程

vim /etc/hosts

内容显示如下

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

192.168.217.150 linux.chaofn.org linux

然后在window下的C:WindowsSystem32driversetc目录下有一个hosts文件,打开写入

192.168.217.150 linux.chaofn.org linux

5)设置SSH自动登录(所有守护进程通过SSH协议进行通信)

免秘钥设置,方便namenode向datanode的访问

切换到普通用户

输入命令 ssh-keygen -t rsa

默认是在~/.ssh/目录下

drwx------ 2 chaofn chaofn 4096 May 20 20:00 .ssh 权限为700,要改为644

进入.ssh目录,有两个文件id_rsa  id_rsa.pub,一个是私钥,一个是公钥

然后复制一份id_rsa.pub,命令:cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys(这个操作实现了权限的更改)

测试.命令 ssh localhost

ssh linux.chaofn.org

6)Hadoop环境变量配置:

vim /etc/profile   添加如下内容:

#HADOOP
export HADOOP_HOME=/home/chaofn/opt/setup/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin

7)修改conf目录下的配置文件

配置core-site.xml

配置hdfs-site.xml

配置mapred-site.xml、masters、slaves

8)格式化namenode

命令:hadoop namenode -format

注意格式化过程中出现的错误提示,仔细检查

9)启动Hadoop

命令:start-all.sh(启动方式有很多种)

通过jps命令查看五个进程是否全部启动

通过window的网页界面查看

输入hadoop-master.dragon.org:50030(我的域名是linux.chaofn.org)查看是否启动

注意一定要关闭linux下的防火墙,不然window无法访问

原文地址:https://www.cnblogs.com/chaofn/p/4564350.html