spark笔记

spark-project.org 下载pre_版非withoutHadoop版本的包(已经编译好的集成Hadoop的spark包)

设置环境变量:

SPARK_HOME:   解压好的spark目录

path:   %spark_home%/bin 

然后cmd输入spark-shell

如果不能使用继续配置sparkclasspath

SPARK_CLASSPATH(如果是1.0+以上版本可以去掉这个配置否则会给予警告):

%SPARK_HOME%/lib/spark-assembly-1.6.1-hadoop2.2.0.jar;

%SPARK_HOME%/lib/spark-1.6.1-yarn-shuffle.jar;

%SPARK_HOME%/lib/spark-examples-1.6.1-hadoop2.2.0.jar

二、配置Hadoop

1:仅下载git中bin文件目录(https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin)

把下载的bin放入新建的Hadoop文件夹中

2:然后配置HADOOP_HOME(直接是Hadoop目录)

3:然后配置到path中  %HADOOP_HOME%/bin

原文地址:https://www.cnblogs.com/marineblog/p/5386948.html