hive命令行操作

1.创建hive数据库

$hive> create databses mydb2;    //注意在hive中数据库就是目录
$hive>show databases ; //显示数据库
$hive>use mydb2;
$hive>create table t(id int,name string,age int);//创建一个表
$hive>create table mydb2.t(id int,name string ,age int);    //在指定数据库下面创建一个表
$hive>drop table mydb2.t;    //删除指定库下面的表

$hive>insert into t3(id,name,age) values(1,'jack',34);//这个插入过程是通过mr的过程
$hive>hdfs dfs -cat /user/hive/warehouse/mydb1.db/t3/000000_0;    //通过这样的一个过程来进行插入数据的查询
$hive>select *from t3 ;    //这个地方实现在表t3中来查找数据
或者:$hive>dfs -lsr /;    //通过这个语句来进行查询

2.hive中的表

1.managed table:托管表,
2.external table :外部表
这两个表的区别是:托管表在删除表的时候数据也被删除了,而外部表在删除的时候,数据不会被删除
  1. 内部表

create table test (name string , age string) location '/input/table_data';
注:hive默认创建的是内部表
此时,会在hdfs上新建一个test表的数据存放地
load data inpath '/input/data' into table test ;
会将hdfs上的/input/data目录下的数据转移到/input/table_data目录下。删除test表后,会将test表的数据和元数据信息全部删除,即最后/input/table_data下无数据,当然/input/data下再上一步已经没有了数据!

 如果创建内部表时没有指定location,就会在/user/Hive/warehouse/下新建一个表目录,其余情况同上。

注:load data会转移数据
  1. 外部表

create external table etest (name string , age string);
会在/user/hive/warehouse/新建一个表目录et

load data inpath '/input/edata' into table etest;
把hdfs上/input/edata/下的数据转到/user/hive/warehouse/et下,删除这个外部表后,/user/hive/warehouse/et下的数据不会删除,但是/input/edata/下的数据在上一步load后已经没有了!数据的位置发生了变化!

本质是load一个hdfs上的数据时会转移数据!

  1. 小结
    最后归纳一下Hive中表与外部表的区别:

    1、在导入数据到外部表,数据并没有移动到自己的数据仓库目录下(如果指定了location的话),也就是说外部表中的数据并不是由它自己来管理的!而内部表则不一样;
    2、在删除内部表的时候,Hive将会把属于表的元数据和数据全部删掉;而删除外部表的时候,Hive仅仅删除外部表的元数据,数据是不会删除的!

    1. 在创建内部表或外部表时加上location 的效果是一样的,只不过表目录的位置不同而已,加上partition用法也一样,只不过表目录下会有分区目录而已,load data local inpath直接把本地文件系统的数据上传到hdfs上,有location上传到location指定的位置上,没有的话上传到hive默认配置的数据仓库中。

外部表相对来说更加安全些,数据组织也更加灵活,方便共享源数据。

那么,应该如何选择使用哪种表呢?在大多数情况没有太多的区别,因此选择只是个人喜好的问题。但是作为一个经验,如果所有处理都需要由Hive完成,那么你应该创建表,否则使用外部表!

原文地址:https://www.cnblogs.com/stone-learning/p/9277917.html