CentOS 下安装配置Hadoop

一、Linux 修改主机名称

设置服务器的hostname(主机名),这样在程序和配置中可以使用hostname以代替 IP 地址。这样做有什么好处呢?当我们的 IP 变更之后,便不需要修改任何程序和配置。

1.通过使用/etc/hostname文件来设置 hostname 输入vi /etc/hostname(创建文件),直接输入主机名称如:master

2.修改/etc/hosts文件,在其中添加其它计算机的hostname和IP的对应关系,如在本机中添加192.168.56.101 master
  有多少Host 与 IP 的对应关系都要添加到这里来

3.修改/etc/sysconfig/network 的 HOSTNAME = master

输入hostname 即可查看更改后的主机名,默认重启之后才会更新,临时可以通过输入hostname master 暂时修改主机名。

安装 ssh 客户端

二、允许 hadoop 用户 ssh 登录(每台机器都有个hadoop用户这些用户是可以互相跨平台登录的)

1.首先是下载openssh 的客户端,在CentOS5.6 安装默认是安装服务器端而不安装客户端的,所以要自己安装客户端
  yum -y install openssh-clients
2.生成一对公钥和私钥
  ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  -t 是算法 有dsa 和rsa 两种都可以
  -P 是生成公钥和私钥的密码
  -f 是生成的文件的名称
  命令执行完成后可以看到 生成了一个id_dsa和id_dsa.pub两个文件
3.将id_dsa.pub 的内容新建到一个authorized_keys文件中
  cat id_dsa.pub >> authorized_keys
4.改变authorized_keys 和 .ssh 目录的权限
  chmod 600 authorized_keys
  chmod 700 .ssh

完成上述四个步骤之后即可执行 ssh master了

三、安装JDK 并设定环境变量

1. 必须要设定是JAVA_HOME 和 PATH
   JAVA_HOME=/usr/java/jdk
   CLASSPATH=$JAVA_HOME/lib:.$JAVA_HOME/jre/lib:.
   PATH=$JAVA_HOME/bin:$PATH  
   export JAVA_HOME CLASSPATH PATH
   注意PATH = 后面的$不能忘记了
2. 输入source /etc/profile 使用修改生效

四、Hadoop 安装

1.将 Hadoop-1.0.3.tar.gz 解压到 /opt 文件夹
  tar -zxvf Hadoop-1.0.3.tar.gz -C /opt
2.重命名 Hadoop-1.0.3
  mv Hadoop-1.0.3/ hadoop
3.更改hadoop 文件夹的所有者
  chown -R hadoop:hadoop hadoop/
4.切换到hadoop 下进行配置

原文地址:https://www.cnblogs.com/oftenlin/p/3006271.html