【转】HiveQL:对数据定义的学习

1.Hive中的数据库:

它是表的一个目录或者命名空间,用来避免表命名冲突,我们通常使用数据库来将生产表组织成逻辑组。

基本命令:

(1)创建一个数据库(如果不存在该数据库):

create database if not exists time;

(2)查看Hive中所包含的所有数据库:

show databases;

注:Hive会为每个数据库创建一个目录,数据库中的表将会以这个数据库目录的子目录形式存储,有一个例外是default数据库中的表,default目录中的表会默认直接存储在hive.metastore.warehouse.dir之下。

我们可以设置属性hive.cli.print.current.db=true来让hive的CLI显示的指出当前工作在哪一个数据库下:

如上,先是在default目录下,使用use time;命令后切换到time数据库下。

2. Hive中数据的保存:

分为元数据、“真实”数据和日志:

(1)元数据:默认情况下,Hive元数据保存在内置的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试。为了支持多用户多会

话,则需要一个独立的元数据库,笔者使用 MySQL 作为元数据库,Hive 内部对 MySQL 提供了很好的支持。

我们可以进入mysql中查看hive中表的元数据:

默认的元数据的表有:

其中主要涉及的表有:

例如:我们在mysql中查看hive元数据信息的TBLS表:

作为对照,我们查看hive中是否存在log表和hive_test表:

注:在hive的安装过程中有三种模式:

内置模式:元数据保持在内嵌的Derby模式,只允许一个会话连接 

本地独立模式:在本地安装Mysql,把元数据放到Mysql内 

远程模式:元数据放置在远程的Mysql数据库

(2)“真实”数据:存在hdfs上。

(3)日志:存在本地/tmp/${user_name}/hive.log (例如:/tmp/hadoop/hive.log 是笔者的存放路径)

3. Hive中的表:分为内部表(又叫管理表)和外部表。

(1)若创建内部表,会将数据移动到数据仓库指向的路径。在删除内部表的时候,内部表的元数据和数据会被一起删除;

(2)若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变(即数据已经存在hdfs上,新创建的表指向它)。外部表只删除元数据,不删除数据。这样外部表相对来

说更加安全些,数据组织也更加灵活,方便共享源数据。

4. 对表进行分区:

(1)在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因

此建表时引入了partition概念——>更快的查询,提高性能!

(2)分区表指的是在创建表时指定的partition的分区空间。如果需要创建有分区的表,需要在create表的时候调用可选参

partitioned by。

eg:create table employees (name string , salary string) partitioned by (country string , state string);

此时我们只是声明了employees表有分区结构,但还没有创建分区,我们可以通过载入数据的方式创建分区,也可以通过alter命令增加、修改、删除分区。如下笔者使用第一种方法创建分区并上传数据:

eg:load data local inpath '/home/hadoop/extend/data_employees' into table employees partition (country='US',state='CA');

Hive会创建这个分区对应的目录,并上传文件到这个目录下。

注:Hive并不会验证用户装载的数据和表的模式是否匹配。然而,Hive会验证文件格式是否和表结构定义的一致,即如果在表创建时定义的存储格式是SEQUENCEFILE,那么装载进去的文件也必须是sequencefile格式。

原文地址:https://www.cnblogs.com/zhengrunjian/p/4645507.html