Hive数据操作

首先我们介绍下Hive中的数据类型

数值型类型
字符串类型
日期类型
复杂类型

数值型类型

TINY INT
SMALL INT
INT
BIG INT
FLOAT
DOUBLE
DECIMAL

字符串类型

CHAR
VARCHAR
STRING

日期类型

Timestamp
Date

复杂类型

Arrays
Maps
Structs
Union

在Hive上的操作

创建数据库

hive> show databases;
OK
default
test
Time taken: 1.268 seconds, Fetched: 2 row(s)
hive> create database yandufeng_test;
OK
Time taken: 2.467 seconds
hive> show databases;
OK
default
test
yandufeng_test
Time taken: 0.042 seconds, Fetched: 3 row(s)

删除数据库

hive> show databases;
OK
default
test
yandufeng_test
Time taken: 1.223 seconds, Fetched: 3 row(s)
hive> drop database yandufeng_test;
OK
Time taken: 2.531 seconds
hive> show databases;
OK
default
test
Time taken: 0.033 seconds, Fetched: 2 row(s)

创建，修改，删除表

hive> create table test_table(empid int, empname string);
OK
Time taken: 1.478 seconds
hive> show tables;
OK
orcusers
test_table
users
Time taken: 0.279 seconds, Fetched: 3 row(s)
hive> alter table test_table rename to test1_table;
OK
Time taken: 1.264 seconds
hive> show tables;
OK
orcusers
test1_table
users
Time taken: 0.243 seconds, Fetched: 3 row(s)
hive> drop table test1_table;
OK
Time taken: 2.005 seconds
hive> show tables;
OK
orcusers
users
Time taken: 0.248 seconds, Fetched: 2 row(s)

表的类型以及使用情况

Hive分为内部表和外部表。

内部表

内部表类似于通常的数据库表，当删除这些表时，存储在上面的数据也会一并删除。所以当在内部表执行drop操作时一定要小心。

hive> 
    > 
    > create table weather(wban int,temp int)
    > row format delimited
    > fields terminated by ','
    > location '/yandufeng/weather';
OK
Time taken: 1.464 seconds

[hdfs@bd2 ~]$ hdfs dfs -copyFromLocal /home/hdfs/yandufeng_interval_table.txt /yandufeng/weather

hive> select * from weather;
OK
1    3
2    4
Time taken: 0.102 seconds, Fetched: 2 row(s)

或者你也可以加载数据到表里

hive> load data inpath '/yandufeng/weather/yandufeng_interval_table.txt' into table weather;

什么时候使用内部表？

我们想要Hive管理数据的整个过程，包括删除

创建内部表的例子

外部表

如果删除这种表的话，只会删除schema，数据仍然可用

hive> create external table external_weather(wban int, temp int)
    > row format delimited
    > fields terminated by ','
    > location '/yandufeng/external_weather';
OK
Time taken: 0.214 seconds

hive> 
    > 
    > select * from external_weather;
OK
Time taken: 0.112 seconds
hive> load data inpath '/yandufeng/weather/yandufeng_interval_table.txt' into table external_weather;
Loading data to table default.external_weather
chmod: changing permissions of 'hdfs://bd4:8020/yandufeng/external_weather/yandufeng_interval_table.txt': Permission denied. user=hive is not the owner of inode=yandufeng_interval_table.txt
Table default.external_weather stats: [numFiles=1, totalSize=8]
OK
Time taken: 0.847 seconds
hive> select * from external_weather;
OK
1    3
2    4
Time taken: 0.084 seconds, Fetched: 2 row(s)

什么时候使用外部表？

数据不被Hive管控

内部表和外部表的对比

特性	内部表	外部表
Schema	Data on Schema	Schema on Data
存储位置	/usr/hive/warehouse	HDFS location
数据可用性	本地文件系统	HDFS

分区

Hive以分区的形式构建表，基于partition keys拆分数据到不同的分区。partition keys决定数据怎么进行存储。

hive> create table partition_table(id int, name string,dept string, yoj int)
    > row format delimited
    > fields terminated by ','
    > location '/yandufeng/partition_table';
OK
Time taken: 0.226 seconds

hdfs dfs -copyFromLocal partition_table.txt /yandufeng/partition_table

hive>  
    > create table date_partition(id int, dept string) partitioned by(yoj int)
    > row format delimited
    > fields terminated by ','
    > location '/yandufeng/date_partition';
OK
Time taken: 0.217 seconds

hive> load data inpath '/yandufeng/partition_table/partion_table.txt' into table parition_table;

hive> set hive.exec.dynamic.partition.mode=nostrict

hive> insert overwrite table date_parition partition(yoj) select id, dept, yoj from parition_table;

Buckets

Buckets主要用来有效进行查询，Buckets用来分割表的数据到不同的文件和目录

Views and Indexs

视图类似于表

我们可以保存结果到视图
类似于SLQ中的视图
在视图上可以进行所有DML操作

hive> create view view_data as select * from weather where wban = 1;
OK
Time taken: 0.66 seconds
hive> select * from view_data;
OK
1    3
Time taken: 0.671 seconds, Fetched: 1 row(s)

Index

索引是指向表中的特定列的指针

用户必须手动定义索引
当我们创建索引的时候，我们就是在创建指向表的特定列的指针

hive> Create INDEX wban_index ON TABLE weather(temp) as 'COMPACT' with deferred rebuild;
OK
Time taken: 0.853 seconds
hive> show index on weather;
OK
wban_index              weather                 temp                    default__weather_wban_index__    compact                 
Time taken: 0.236 seconds, Fetched: 1 row(s)
hive>