3.1

基础概述

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。

其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

Hive构建在基于静态批处理的Hadoop之上,由于Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此,Hive并不适合那些需要低延迟的应用,它最适合应用在基于大量不可变数据的批处理作业,例如,网络日志分析。

Hive的特点是:可伸缩(在Hadoop集群上动态的添加设备)、可扩展、容错、输出格式的松散耦合。

Hive将元数据存储在关系型数据库(RDBMS)中,比如MySQLDerby中。

 

需求概述

在本节中,我们将使用Hive对以下指标进行统计并演示:

1.需求1:分析每年的信件数量

2.需求2:分析信件是属于投诉还是属于咨询,及投诉和咨询的数量

3.需求3:分析对信件进行回答的政府部门5.自定义UDF,区分信件时间的月份

4.使用UDF

原文地址:https://www.cnblogs.com/gkl20173667/p/12301045.html