Spark安装

经过了小一天的时间最终把Spark安装好了

我的机器配置是windows7。8G。内存,双核的

安装的软件列表为:

Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)

vmware

Hadoop: 2.6.0
Spark: 1.4.0

jdk-7u75-linux-x64.gz

scala-2.10.4(注意版本号,必须和官方要求的一致)

点官方站点

Spark runs on Java 6+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.4.1 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).

主要步骤:

1、安装Vmware

http://jingyan.baidu.com/article/19020a0ad09f35529d2842bf.html 

2、安装Ubuntu

http://jingyan.baidu.com/article/ff42efa9423991c19e22020d.html

3、安装Ubuntu必要的软件

保证可以上网,更新源http://jingyan.baidu.com/article/7f41ecec1b7a2e593d095ce6.html

安装vim

4、改动主机名。配置网络(复制系统。把系统复制两份,保存在不同的目录,分别作为master,slave1,slave2)

5、如今master上安装Java

6、安装Scala

7、安装Hadoop、Spark,检查看下是不是成功安装呢?

8、安装SSH ,确保可以无password传输

9、利用scp命令,把安装好的传给slave1,slave2

 可直接參考:

http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/

http://blog.csdn.net/stark_summer/article/details/42424279

參考上面两个链接完毕的,当然从安装ubuntu開始一步一步。中间也遇到了非常多问题,可是基本上都是非常low的问题,几乎相同百度或者Bing就能够解决.



遇到问题的能够留言,我会提供技术支持哈!

 


原文地址:https://www.cnblogs.com/llguanli/p/6891348.html