pyspark采用python3开发

现在时间2017-04-17。

python版本3.5支持pyspark

python3.6目前还不支持

做法简单,只需要在bin/pyspark中增加

export PYSPARK_PYTHON=python3

 再次打开bin/pyspark即配置完成pyspark采用python3.

如果想使用ipython,则增加下面两行到bin/pyspark中

export PYSPARK_PYTHON=python3

export PYSPARK_DRIVER_PYTHON=ipython

参考链接https://www.zhihu.com/question/56108986

原文地址:https://www.cnblogs.com/zhzhang/p/6722959.html