hadoop完全分布式集群配置

环境:两台电脑,AMD64+ubuntu10.04+jdk1.7.0+hadoop0.20.2准备做namnode用

                           intel x86+ubuntu10.04+jdk1.7.0+hadoop0.20.2作datanode用

为集群中的每台电脑建一个账户hadoop,设置密码:123456

命令:$useradd -m hadoop

          $passwd 123456

将hadoop-0.20.2文件拷贝到hadoop用户目录下,注意:此时hadoop-0.20.2文件的所属的用户和组可能还为root,通过linux命令chown -R  hadoop:hadoop hadoop-0.20.2修改其用户和组,否则后面执行相应的命令时由于权限问题失败,本人被这个问题折腾来半天

安装jdk到目录/usr/lib/jvm/jdk1.7.0下,安装后用命令java -version看看是否安装成功,如果显示的java版本还所旧的,请按照前面的文章介绍的方法跟新。

设置hadoop的几个配置文件

在hadoop-env.sh文件中加这一行export JAVA_HOME=/usr/lib/jvm/jdk1.7.0

core-site.xml配置:

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://gywnamenode/</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/hadooptmp</value>

   </property>

</configuration>

注意要修改/usr/local/hadoop目录所属的用户和组为hadoop,否则会出现权限问题,失败

遇到什么问题,要多看相应的日志文件,分析下,就能找出原因

原文地址:https://www.cnblogs.com/guoyuanwei/p/2219192.html