RedHat9.0下搭建Hadoop引擎 邹

1、安装操作系统

  ·安装虚拟机VMware,并在VM上安装RedHat9.0虚拟操作系统
3、安装JDK1.6

  ·下载JDK:jdk-6u32-linux-i586-rpm.bin   存放到/tmp下,
  ·安装JDK:./jdk-6u32-linux-i586-rpm.bin 执行后,会在/usr下生成java目录
  ·设置环境变量:vi /etc/profile

 #JDK环境变量,设置后,可以通过java -version命令检测是否成功
   export JAVA_HOME=/usr/java/jdk1.6.0_32
   export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export PATH=$PATH:/sbin

 #Hadoop环境变量(后续会用到),设置后,可以随处使用Hadoop命令
   export HADOOP_HOME=/home/hadoop/hadoopinstall/hadoop-0.20.2
   export PATH=$HADOOP_HOME/bin:$PATH

 #注意:以上两行配置放在下面这行默认配置的前面
   export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC

4、准备工作:

 ·copy已经装好的RedHat9虚拟操作系统文件,一台做主机master、一台做从机slave1

   ·修改MAC地址:系统设置->网络->编辑->硬件设备->探测

 ·配置IP地址:主机master:192.168.42.244;从机slave1:192.168.42.246

   ·修改主机名:

  主机master:vi /etc/hosts

    192.168.42.244 master master

    192.168.42.246 slave1 slave1

     从机slave1:vi /etc/hosts

    192.168.42.246 slave1 slave1

    192.168.42.244 master master

   ·创建用户:创建完后会在/home下生成/hadoop目录

      主机master:hadoop/123456

  从机slave1:hadoop/123456

 ·测试配置:

  主机master: ping slave1

  从机slave1:ping master

5、安装Hadoop

   ·下载:hadoop-0.20.2.tar.gz 存放到/home/hadoop/hadoopinstall下

 ·配置:解压 tar -zxvf hadoop-0.20.2.tar.gz 生成hadoop-0.20.2文件夹

 ·配置文件:/home/hadoop/hadoopinstall/hadoop-0.20.2/conf 6个文件

   ·配置完后:将整个hadoopinstall文件夹 通过scp命令 copy到slave1的/home/hadoop/目录下

core-site.xml,hdfs-site.xml,mapred-site.xml,masters,slaves, hadoop-env.sh六个文件 详细配置如下

6、测试Hadoop环境

通过root用户登入master主机;

hadoop name -format 格式化

start-all.sh启动所有服务:

启动时 会提示 多次输入 master root用户密码 或者 slave1用户密码,

因此要进行SSH无密码验证设置,可以上网找找相关设置;

root用户登陆到master

执行:ssh-keygen  -t  rsa 然后一路回车

会在/root/.ssh里生成两个文件 id_rsa.pub,id_rsa

 cp id_rsa.pub  authorized_keys

scp /root/.ssh/authorized_keys root@slave1:/root/.ssh/ 复制到slave1机器

完后,在启动或者停止hadoop时就不用多次输入密码了!

主机master:输入jps命令 会看到启动的服务:namenode、jobTracker、secondnamenode

从机slave1:输入jps命令 会看到启动的服务:datanode、taskTracker

stop-all.sh停止所有服务:

http://192.168.42.244:50070/ 会看到 有一个活动的node节点

http://192.168.42.244:50030/

输入hadoop相关操作文件的命令

hadoop fs -put /home/hadoop/hadoopintall/hadoop-0.20.2.tar.gz test.jar //讲hadoop 压缩包 存储到HDFS文件系统里

 参考连接:

http://www.kuqin.com/system-analysis/20081023/24034.html

http://www.iteye.com/topic/365168

http://galpha.iteye.com/blog/1044355

http://hi.baidu.com/yuweiming/blog/item/6bf4242db074c420359bf744.html

radhat UI界面加载不了

http://www.5dlinux.com/article/1/2007/linux_10238.html

原文地址:https://www.cnblogs.com/sight/p/2494404.html