Spark-环境安装

01.Spark--安装Spark

01.下载安装包 spark-2.1.0-bin-hadoop2.7.tgz

以下是Spark的官方下载地址：

https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

02.解压文件到/soft目录下

[centos@s101 /soft/spark/conf]$cd ..
[centos@s101 /soft/spark/conf]$ls
[centos@s101 /soft/spark/conf]$cd ..
[centos@s101 /soft]$ls -al
[centos@s101 /soft]$tar -xzvf spark-2.1.0-bin-hadoop2.7.tgz -C /soft/
[centos@s101 /soft]

03.创建软连接

创建软连接后，编译各种文件配置以及后期进行版本升级和替换非常方便

[centos@s101 /soft]ln -s /soft/spark-2.1.0-bin-hadoop2.7 /soft/spark
[centos@s101 /soft]cat /etc/profile

04.配置环境变量

编辑/etc/profile环境变量文件：

[centos@s101 /soft]sudo /etc/profile

在文件末尾添加如下内容:

#spark
export SPARK_HOME=/soft/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

注意：将Spark的bin目录和sbin目录都添加到环境变量path中，而且Linux使用“:”作为分隔符。

05.环境变量生效

$>source /etc/profile

06.进入Spark-shell命令

[centos@s101 /soft/spark/bin]$ spark-shell

07.体验Spark-shell

因为Spark使用的scala语言，因此同Scala的使用完全一致。

$scala>1 + 1
输出结果
2