Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)


由于新装的Ubutu默认情况下,系统只安装了SSH客户端,需要自行安装SSH服务端
如何确定是否安装了SSH服务端?
可以通过命令ssh localhost,结果如下,即未安装SSH服务端:
 
安装SSH服务端:
sudo apt-get install openssh-server

在安装时,没有设置root密码,所以必须在安装完成进行设置后才能进入root用户
命令如下:
$ sudo passwd root 
输入你希望的root用户的密码

1、关闭防火墙
不管你在安装linux时是否启动了防火墙,如果你想配置属于自己的防火墙,那就清除现在filter的所有规则.
[root@tp ~]# iptables -F        清除预设表filter中的所有规则链的规则
[root@tp ~]# iptables -X        清除预设表filter中使用者自定链中的规则
 

2、普通用户下添加grid用户
 
将grid添加到sudo:
 
 
 
以下这段应该没什么作用,可以不用理会,如果遇到问题再回来设置

Linux 通过 命令行 增加用户 ,
(1) 打开终端 输入 sudo -r useradd 用户名 /* -r 参数建立系统用户
(2) 输入 sudo useradd -g root 用户名 /*这一行的命令是让你的刚刚建立的 用户 划分到 root 权限组下
(3)sudo passwd 用户名 /*设置你刚刚建立的密码

删除:
终端方法:以下用newuser代替想要删除的用户账户
在root用户下:userdel -r newuser
在普通用户下:sudo userdel -r newuser
因为你需要彻底删除用户,所以加上-r的选项,在删除用户的同时一起把这个用户的宿主目录和邮件目录删除。


 

 
3、将通过mv命令将安装包移动到grid用户下
 
 

 
4、配置JDK环境变量:
设置全局环境变量:
命令:sudo gedit /etc/profile
在文件末尾添加下面内容:(注意没有空格)
export JAVA_HOME=/usr/jdk
export JRE_HOME=/usr/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
 
重启JDK环境变量配置生效
 

配置默认JDK版本

由于ubuntu中可能会有默认的JDK,如openjdk,所以,为了将我们安装的JDK设置为默认JDK版本,还要进行如下工作。
执行代码:
  1. sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300  
  2. sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300  
  3. sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/java-7-sun/bin/jar 300   
  4. sudo update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/java-7-sun/bin/javah 300   
  5. sudo update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/java-7-sun/bin/javap 300   

执行代码:
  1. sudo update-alternatives --config java  

系统会列出各种JDK版本,如下所示:
  1. liujl@liujl:~$ sudo update-alternatives --config java  
  2. 有 3 个候选项可用于替换 java (提供 /usr/bin/java)。  
  3.   
  4.   
  5.   选择       路径                                    优先级  状态  
  6. ------------------------------------------------------------  
  7. * 0            /usr/lib/jvm/java-6-openjdk/jre/bin/java   1061      自动模式  
  8.   1            /usr/lib/jvm/java-6-openjdk/jre/bin/java   1061      手动模式  
  9.   2            /usr/lib/jvm/java-6-sun/jre/bin/java       63        手动模式  
  10.   3            /usr/lib/jvm/java-7-sun/bin/java           300       手动模式  
  11.   
  12.   
  13. 要维持当前值[*]请按回车键,或者键入选择的编号:3  
  14. update-alternatives: 使用 /usr/lib/jvm/java-7-sun/bin/java 来提供 /usr/bin/java (java),于 手动模式 中。  

如果提示:There is only one alternative in link group java (providing /usr/bin/java): /usr/lib/jvm/java-7-sun/bin/java

说明只有一种你自己安装的JDK版本。

测试

  1. liujl@liujl:~$ java -version  java version "1.7.0_45"
    Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
    Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)
     

 
SSH免密码登录
退出root,进入grid :su grid
生成密钥:ssh-keygen -t rsa
 
生成密钥:
 

 
安装和配置Hadoop:
 
1、解压hadoop安装包:tar -xzvf hadoop-1.2.1-bin.tar.gz
 
2、进入hadoop
 
3、进入conf目录
 

修改hadoop-env.sh,
 
将JAVA_HONG改为JDK安装目录,注意将#去掉:
 

修改core-site.xml,
 
设置namenode节点:

 
修改hdfs-site.xml:
 
 

修改mapred-site.xml:
 
 

所有的节点都修改/etc/hosts,使彼此之间都能把主机名解析为IP,需转到root用户下修改。(伪分布式不需要修改此文件)


修改masters和slaves文件,如果里面已经存在内容则不需要修改
 

格式化分布式文件系统:
 

 
启动守护进程
 

 
检查守护进程启动情况:
 

 
验证安装是否成功:
打开浏览器,分别输入以下网址:
http://localhost:50030(MapReduce的Web页面)
 
 

http://localhost:50070(HDFS的Web页面)


 
 

 
到此,恭喜安装成功了!!!
 





一分耕耘一分收获
原文地址:https://www.cnblogs.com/zhanyao/p/3675873.html