【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(1)

第一步:构造分布式Hadoop2.2.0集群

1,在Windows 7(本教程中的Spark集群执行的机器是8G的Windows内存)上安装VMware虚拟机(我们安装的是VMware-workstation-full-9.0.2),本教程中的VMware Workstation下载地址:

       https://my.vmware.com/cn/web/vmware/details?

downloadGroup=WKST-902-WIN&productId=293&rPId=3526

2,在VMvare中装三台Ubuntu机器(我们使用的是ubuntu-12.10-desktop-i386)。每台机器分配2G的内存,本教程中Ubuntu下载地址:

http://www.ubuntu.org.cn/download/desktop/alternative-downloads

;font-�� l:��E0D�黑","sans-serif"'>

 

1,在Windows 7(本教程中的Spark集群执行的机器是8G的Windows内存)上安装VMware虚拟机(我们安装的是VMware-workstation-full-9.0.2)。本教程中的VMware Workstation下载地址:

       https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-902-WIN&productId=293&rPId=3526


3,分别在三台Ubuntu机器中设置root用户机器password。以后每次登录的时候都是用root用户登录,详细设置方式例如以下:

  •  sudo  -s进入 root用户权限模式
  •  vim /etc/lightdm/lightdm.conf

[SeatDefaults]

greeter-session=unity-greeter

user-session=Ubuntu

greeter-show-manual-login=true

allow-guest=false   

  • 启动root帐号:
    sudo passwd root

三台机器改动后,再次登录系统的时候用root用户登录:


4,配置三台机器的/etc/hosts和/etc/hostname并安装ssh设置三台机器之间的无password登录,详细步骤可參考Spark实战高手之路-第一章的第一节 http://t.cn/RPo13rO 和Spark实战高手之路第一章的第二节http://t.cn/RP9klmr 我们在“/etc/hostname”文件里把三台机器的hostname分别设置了SparkMaster、SparkWorker1、SparkWorker2并在每台机器的“/etc/hosts”配置例如以下IP和机器名称的相应关系:


配置好三天机器相互通信的ssh后会发现三台机器能够相互使用ssh无password登录:



5,在三台Ubuntu机器上安装Java,在这里我们使用的是jdk1.7.0_67(下载地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html )

 详细的安装和配置方法请參考Spark实战高手之路-第一章的第一节 http://t.cn/RPo13rO

安装完毕的能够验证一下:


三台Ubuntu机器分别出现上述信息就表明Java安装正确。

6,在SparkMaster这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为:

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/

我们下载的是“hadoop-2.2.0.tar.gz  ”。例如以下图所看到的:


原文地址:https://www.cnblogs.com/llguanli/p/6936537.html