2020年学习进度第八天

实验 5 Spark SQL 编程初级实践

今天主要学习了spark实验五,在这里碰到的第一个问题就是spark读取文件找不到路径, 经过排查,问题定位在文件名中含有空格,已解决。如图

第二个大问题就是进行sbt打包时,报错,如图

 根据错误描述可知,程序在第二行 import org.apache.spark.sql.types._ 处出错:types不是org.apache.spark.sql的成员

解决方案:

把程序每一行看作一个spark命令,在spark-shell一条一条地执行好了,这个麻烦缠绕了我好久。

原文地址:https://www.cnblogs.com/ljm-zsy/p/12272167.html