简单的hadoop配置(我安装的问题)

一篇讲的非常详细的hadoop集群配置信息:http://blog.csdn.net/hguisu/article/details/7237395

 从运维角度出发的hadoop配置,深入学习,有了很大提高http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html

按实战hadoop上的讲解一步步操作,还是遇到不少问题,

1.  伪分布模式的配置: java的环境变量,一般配置在conf/hadoop-env.sh中。我们为了统一方便,直接在/etc/profile中,直接加入

相关的问题,在同事的blog都有介绍,我不赘述,参看:

http://blog.csdn.net/shuhuai007/article/details/8298845

注意,如果用root用户,无法直接启动hadoop,会报错如下:

 

创建一个普通用户,如hadoop,其用户组可以是root也可以是一个新组,然后chown –R hadoophadoop文件名,将文件的使用权限赋给hadoop用户,然后在hadoop用户下,就可以使用hadoop了。

 具体原因是在文件bin/hadoop文件中,有一行执行命令:

 

 

如果是分布式这是一个简答配置

1.修改hosts文件

都改成

127.0.0.1 localhost

192.168.0.5 master

192.168.0.3 slave

192.168.0.102 slave1

然后在每台机器上执行:

1.. 修改sshd_config文件,命令为:vi/etc/ssh/sshd_config

        #PasswordAuthentication no的注释去掉,并且将NO修改为YES

        #PermitRootLogin yes的注释去掉

2. ssh-keygen -t rsa

3 进入目录/root/.ssh: cd /root/.ssh

4 运行命令:cat id_rsa.pub>> authorized_keys;

5 改变文件authorized_keys访问权限: chmod600 authorized_keys

6 改变文件id_rsa访问权限:chmod 600id_rsa

最后在master机器上:

执行$ cd ~/.ssh  #(这是个隐藏的目录,必须使用这个命令进入,可以用ll -a查看)

$ cp id_rsa.pub authorized_keys

$ scp authorized_keysslave:/root/.ssh/authorized_key

原文地址:https://www.cnblogs.com/cl1024cl/p/6205748.html