hadoop的安装和使用

安装hadoop前的准备工作:

1、创建hadoop用户

2、更新apt

3、安装ssh

4、安装java环境

一、创建hadoop用户:

 首先打卡一个终端(可以用快捷键Ctrl+Alt+T),使用如下命令创建一个用户:

sudo useradd -m hadoop -s /bin/bash

这条命令创建了可以登录的hadoop用户,并使用/bin/bash作为Shell。

接着使用如下命令为hadoop用户设置密码:

sudo passwd hadoop

二、更新APT:

用hadoo用户登录Linux系统后打开一个终端,执行下面命令更新APT软件:

sudo apt-get update

三、安装SSH:

SSH是Secure Shell的缩写,是建立在应用层和传输层上的安全协议,SSH是目前较可靠,专为远程登录回话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。SSH最初是UNIX系统上的一个程序,后来有迅速扩展到其他的操作平台,SSH是由客户端和服务器的软件组成,服务端是一个守护进程,它在后台运行并响应来自客户端的请求,客户端包含ssh程序以及像scp(远程复制)、slogin(远程登录)、sftp(安全文件传输)等其他的应用程序

为什么在安装Hadoop之前要配置SSH,是因为Hadoop名称节点需要启动集群中所有机器的Hadoop守护进程,这个过程需要SSH登录来实现,Hadoop并没有提供SSH输入密码登录的形式,因此,为了能够顺利登录集群中的每台机器,需要讲所有机器 配置为“名称节点可以无密码登他们”

安装SSH服务端:

sudo apt-get install openssh-server

安装后用如下命令进行登录:

ssh localhost

执行该命令时,出现提示如图信息,输入yes,然后按回车,提示输入密码就可以登录到本机了

 设置SSH无密码登录,首先exit退出刚才的ssh,就回到了原先的终端窗口,然后就可以利用ssh--keygen生成秘钥,并将秘钥加入到授权中,命令如下:

cd ~/.ssh    #若没有该目录限制行一遍ssh localhost

ssh-keygen -t rsa  #会有提示,按回车键即可

cat ./id_rsa.pub>>./authorized_keys  #加入授权

此时再执行ssh localhost命令,无需输入密码就可以直接登录了如图:

 四、安装Java环境:

Hadoop是基于Java语言开发的,需要安装Java环境,Java环境可选择安装Oracle的JDK或者安装OpenJDK。下面介绍两种不同的安装

方式,优先选择第一种,如果第一种方式失败,选择第二种,

1、第一种安装方式:

直接通过如下命令安装OpenJDK 7

sudo apt-get install openjdk-7-jre openjdk-7-jdk

这步是需要联网的,安装好OpenJDK好,需要找到相应的安装路径,这个路径是用于配置JAVA_HOME环境变量的,

dpkg -L openjdk-7-jdk | grep '/bin/javac'

该命令会输出一个路径,出去路径末尾的/bin/javac,剩下的就是正确的路径

接下来配置JAVA_HOME的环境变量,直接在~/.bashrc 这个文件中进行设置,

vim ~/.bashrc

在文件的最前面加入单独一行  

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd4

接下来让环境立即生效,

source ~/.bashrc  #使变量设置生效

执行上述命令后,可以检验是否正确:

echo $JAVA_HOME #检验变量值

java -version

$JAVA_HOME/bin/java -version #与直接执行java -version一样

如果设置正确在中命令后会输出java的版本信息

原文地址:https://www.cnblogs.com/white-the-Alan/p/12508185.html