pyspark import 可以通过 --py-files

公用函数的放到了 common.py 文件中. 通过 --py-files 可以在pyspark中可以顺利导入:

pyspark --py-files lib/common.py

> import common

OK

原文地址:https://www.cnblogs.com/bonelee/p/7771606.html