centOS
准备三台机器 hadoop-1,hadoop-2,hadoop-3
提前安装好 jdk，python,host name,ssh
安装scala
下载 scala rpm包
在/home/${user}/soft/下
wget http://www.scala-lang.org/files/archive/scala-2.9.3.rpm（不使用，安装后没找到安装后目录）
rpm -ivh scala-2.9.3.rpm
在http://www.scala-lang.org/download/all.html下挑一个稳定版本下载
解压 tar -zxvf scala包
添加scala环境变量
在/etc/profile结尾增加
export SCALA_HOME=/home/${user}/soft/scala
export PATH=$PATH:$SCALA_HOME/bin
让配置文件立即生效
source /etc/profile
验证scala安装
scala -version
scala
9*9
res0: Int = 81
安装 spark
获取spark包
wget http://mirror.bit.edu.cn/apache/spark/spark-1.5.2/spark-1.5.2.tgz（错误需要用编译后的包）
在/home/${user}/soft/下
wget http://mirror.bit.edu.cn/apache/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz
解压 tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz
添加spark环境变量
在/etc/profile结尾增加
export SPARK_HOME=/home/${user}/soft/spark-1.5.2-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
让配置文件立即生效
source /etc/profile
修改spark配置
修改spark-env配置
复制文件 cp spark-env.sh.template spark-env.sh
修改spark-env.sh
#scala
export SCALA_HOME=/home/${user}/soft/scala
#jdk
export JAVA_HOME=/usr/java/jdk1.7.0_51
#master结点ip
export SPARK_MASTER_IP=10.171.29.191
#结点工作用内存
export SPARK_WORKER_MEMORY=512m
配置conf文件下slaves
cp slaves.template slaves
编辑slaves
添加
hadoop-1
hadoop-2
hadoop-3
分发到其他机器
将配置好的scala和hadoop目录scp到其他的机器 hadoop-2和hadoop-3。
启动spark
执行sbin目录下start-all.sh
验证spark环境
$ bin/run-example org.apache.spark.examples.SparkPi
查看http://hadoop-1:8080/
启动spark-shell
查看http://hadoop-1:4040/jobs/