下载地址:https://www.anaconda.com/products/individual ,需要注册用户
配置安装bzip2 yum -y install bzip2
1、bash Anaconda3-2020.07-Linux-x86_64.sh
2、回车通过
3、配置环境变量
export PATH=/root/anaconda3/bin:$PATH
4 、启动
jupyter-notebook --ip bigdata --allow-root
bigdata是机器的名字
5、修改jupyter目录
生成配置:jupyter notebook --generate-config
根据路径:vi .jupyter/jupyter_notebook_config.py 打开文件
找到如下位置并修改,c.NotebookApp.notebook_dir = '/root/jupyterBook'
6、配置juypter on spark
#py-spark
# spark中的python路径
export PYTHONPATH=/mysoft/spark-2.3.0-bin-hadoop2.7/python:$PYTHONPATH
export PYTHONPATH=/mysoft/spark-2.3.0-bin-hadoop2.7/python/lib/py4j-0.10.6-src.zip:$PYTHONPATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=bigdata --no-browser --allow-root"
启动pyspark可以看到登录信息。