Spark读取本地文件时报错:java.io.FileNotFountException:file doesn't exist

在确认文件存在的情况下,出现这个问题的原因是:在集群中运行的pyspark。例如使用命令bin/pyspark --master yarn启动pyspark

解决方式1:让每个Worker节点的相应位置都有要读取的数据文件。

解决方式2:直接将数据文件上传到hdfs,达到数据共享。

原文地址:https://www.cnblogs.com/ExMan/p/14314706.html