hadoop最简伪分布式安装

本次安装运行过程使用的是Ubuntu16.04 64+Hadoop2.5.2+jdk1.7.0_75

Notice

Hadoop2.5.2版本默认只支持64位系统

使用的jdk可以为1.71.8版本的

安装过程:

1. 下载安装jdk1.7.0_75 

jourluohua@jourluohua-m:~/tools$ tar -xzvf jdk-7u75-linux-x64.tar.gz

2. 设置PATH等环境变量

jourluohua@jourluohua-m:~/tools$ sudo vi /etc/profile

在该文件下添加如下信息:

#set java environment

JAVA_HOME=/home/jourluohua/tools/jdk1.7.0_75

CLASSPATH=.:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

添加完成后,使环境变量生效

jourluohua@jourluohua-m:~/tools$ source /etc/profile

使用命令查看是否安装成功jdk

jourluohua@jourluohua-m:~/tools$ java –version

3. 下载安装hadoop-2.5.2.tar.gz

jourluohua@jourluohua-m:~/tools$ tar -xzvf hadoop-2.5.2.tar.gz

jourluohua@jourluohua-m:~/tools$ cd ./hadoop-2.5.2/

Notice:之后所有的运行操作都是在这个目录下完成的

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$

4. 格式化文件系统:

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ bin/hadoop namenode -format

5. 修改配置文件:

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ vi ./etc/hadoop/hadoop-env.sh

export JAVA_HOME修改成(相对路径会报错)

export JAVA_HOME=/home/jourluohua/tools/jdk1.7.0_75

6. 确保你的sshd服务已经启动:

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ sudo /etc/init.d/ssh start

在这一步之后可以gen-key作为一个安全通信协议(ssh生成密钥有rsadsa两种生成方式,默认情况下采用rsa方式),使用时需要密码,因此我们要设置成免密码登录,生成私钥和公钥,但是该步骤不是必须的,可以多输入几次密码,因此,没有添加到该教程中。

6.5 gen-key

切换到~目录

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ cd ~

生成key

jourluohua@jourluohua-m:~$ ssh-keygen -t rsa

输入密码确认

切换到默认生成的ssh文件夹下

jourluohua@jourluohua-m:~/$ cd ./.ssh

生成相应的authorized文件

jourluohua@jourluohua-m:~/.ssh$ cp id_rsa.pub authorized_keys

切换回Hadoop目录

7. 开启dfs进程:

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ sbin/start-dfs.sh

这一步后,可以看到几个进程已经启动,如果出现connection refused错误,请回到第六步

8. 创建输入文件夹

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ mkdir input

9. 创建输入文件(这里将conf文件作为输入)

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ cp ./etc/hadoop/* ./input/

10. 运行官方的测试例子WordCount程序,并将结果保存到output

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount input output

11. 查看运行结果

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ cat output/*

原文地址:https://www.cnblogs.com/jourluohua/p/8734406.html