搭建hadpoot平台(集群式分布)

1.先下载VMware1.2,然后安装。

2.下载ubuntu-1.4.05-desktop-amd64.iso。下载地址:http://mirrors.aliyun.com/ubuntu-releases/14.04.5/

3.下载hadoop2.7。下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/

4.下载jdk-8u171-linux-x64.tar.gz。到官网下载。参考教程:https://blog.csdn.net/zl007700/article/details/50533675

5.在VMware上安装ubuntu系统。

     我安装了好几次。第一次是因为到开机时运行到某个命令行停止运行了,我百度了许多,但是都不管用。然后进行了第二次重装ubuntu系统。安装好之后,登陆密码却忘记了。最后只能再安装一遍,终于成功。

6.新建文件夹software,将hadoop2.7和jdk-8u171-linux-x64.tar.gz拷贝到ubuntu系统的文件夹内,并解压。

7.安装jdk

(1)按“ctrl"+"Alt"+"F6"从图形化界面切换到命令行。

    因为“ctrl"+"Alt"和我虚拟机上鼠标移入/移除命令相同。然后选择虚拟机上”编辑“->“首选项”->”热键“修改鼠标移入、移出命令得快捷键。

但是修改之后进入命令行依然有时不灵。

(2)输入命令:sudo mkdir  /usr/lib.jvm  

  (3)输入命令:sudo cp -r software/jdk1.8.0_171  /usr/lib/jvm/

  我输入命令后提示权限不够。然后我想进入root用户,但是密码没有设置,于是先设置root密码,然后进入root用户,

输入命令“cp -r software/jdk1.8.0_171 /usr/lib/jvm/"。

(4)输入“sudo vi /etc/profile"命令打开/etc/profile"文件

       我刚开始按照教程上输入的命令时“sudo gredit /etc/profile",但是报错。后来又用上面的命令打开文件。

(5)在末尾加上四行:

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171

export JAVA_HOME=${JAVA_HOME}/jre

export  CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

  在编辑文件前先输入“i",编辑文件完成后按”esc",输入“:wq"保存文件并退出。

(6)输入“source /etc/profile”执行文件

         输入“java –version”查看环境是否配置成功

 8.安装配置SSH

(1)输入“sudo apt-get update”,更新apt

      但是发现提示“连接失败”,于是到百度找到阿里云的sources.list文件更换。在sources.list更换成功后,发现还是报“404”错。发现虚拟机上不能连接网络。

     然后在VMware上设置虚拟机联网为桥接网络。

重启虚拟机,发现虚拟机已联网。

然后重新输入“sudo apt-get update“执行

(2)输入“sudo apt-get install openssh-server

 输入“ssh localhost”查看SSH是否安装成功

(安装成功)

(3)生成密匙

输入“ssh-keygen –t rsa”然后一直按回车选择默认。

(4)实现了mater对slave1, slave2的无密码登陆。但是这一步有点错。正确操作参考:https://blog.csdn.net/zl007700/article/details/50533675

 9.选择克隆出另外一台虚拟机Slave1 Ubuntu 14.10 64bit 。

虚拟机右键-》管理-》克隆。选择完整克隆。

9.配置hadoop

(1)在software/hadoop-2.7.6文件夹下新建文件new.txt。输入:

mkdir  software/hadoop-2.7.6/tmp
mkdir software/hadoop-2.7.6/hdfs

mkdir software/hadoop-2.7.6/hdfs/nam

mkdir software/hadoop-2.7.6/hdfs/data

保存。

(2)到命令行查看ip。

输入“ifconfig -a

虚拟机1:192.168.43.96

虚拟机2:192.168.43.229

(2)修改hosts。输入“sudo gedit /etc/hosts

修改成:

但是因为图形界面没有管理员权限。所以只能在命令行的模式下进行修改

(3)修改环境变量

       先切换当前目录到hadoop-2.7.6。输入“cd ~/software/hadoop-2.7.6/"

       再在“hadoop-env.sh”文件中修改路径。输入“vi etc/hadoop/hadoop-env.sh”,然后修改JAVA_HOME的路径。

       ☆因为在命令行修改文件内容实在太困难了,所以我想在图形化界面登录root用户来修改文件。

      设置图形化界面登录root:输入“vi /usr/share/lightdm/lightdm.conf.d/50-ubuntu.conf“

 

但是最后不知道为什么登陆界面还是没出现root登陆。

但是发现在图形化界面可以修改“etc/hadoop/hadoop-env.sh”内容。

(4)在相同文件夹下的core-site.xml进行修改

 (5)

(5)

 (6)

(7)分发配置好的hadoop文件夹到slave1, slave2

(8)格式化hdfs 

(9)启动集群

启动后分别在两台虚拟机上查看jps

 



本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利.
原文地址:https://www.cnblogs.com/wl2017/p/9313270.html