在windows上面安装并用jupyter运行pyspark

1,下载hadoop  winutils 设置HADOOP_HOME

2、下载spark,设置SPARK_HOME,将%SPARK_HOME%/加入到PATH路径下

3、安装Anaconda 就是python及一些相关Python包,设置

4、设置PYTHON_HOME

5、设置PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=notebook

6、命令行启动pyspark

 
原文地址:https://www.cnblogs.com/cenglinjinran/p/8045129.html