spark SQL

  • spark sql是spark用来处理结构化数据的模块,它提供了一个编程抽象叫做dataframe,并且作为分布式sql查询引擎的作用
  1.  dataframes(结构化的数据)

     与rdd类似,dataframe是一个分布式数据容器,除了数据以外,还记录了数据的结构信息,schema。

  •     dsl风格
  • sql风格

     sql风格要先用registertemplate注册成表,然后可以直接用sql进行查询

原文地址:https://www.cnblogs.com/zhangweilun/p/6603791.html