- spark sql是spark用来处理结构化数据的模块,它提供了一个编程抽象叫做dataframe,并且作为分布式sql查询引擎的作用
- dataframes(结构化的数据)
与rdd类似,dataframe是一个分布式数据容器,除了数据以外,还记录了数据的结构信息,schema。
- dsl风格
- sql风格
sql风格要先用registertemplate注册成表,然后可以直接用sql进行查询
与rdd类似,dataframe是一个分布式数据容器,除了数据以外,还记录了数据的结构信息,schema。
sql风格要先用registertemplate注册成表,然后可以直接用sql进行查询