038 关于HIVE的配置

一:常用版本

1.版本

  0.13.1 2014年

  1.2.1   2015年

  版本之间的区别:支持SQL不同,向关系型数据库靠拢。

  目前看到的版本是2.3.2了。

2.官网

  

二:安装配置hive

1.检测hadoop

  

2.解压hive

  

3.修改环境

  sudo vi /etc/profile

  

4.source以下

5.复制hive-env.sh

  

6.编辑hive-env.sh

  设置hadoop的配置环境,因为hive需要hadoop,不然hive和hadoop没有关联。

  hive的配置文件目录要启动的,因为除了默认的hive加载,自定义的hive文件在conf下,也需要加载。

  

7.在HDFS上创建文件夹并修改写权限  

  同组可写权限。 

  保存hive的数据,主要放在HDFS上的warehouse文件夹下。

  说明:

  为啥是这个目录。因为hive.metastore.warehouse.dir在默认文件中的位置是这个位置,所以就设置了这个目录。

  

8.验证hive的安装

  属于启动。

  进入hive的命令行。

  

二:操作hive

1.显示有哪些数据库

  有一个default数据库。

  说明:

    假设在这个数据库下创建一个表,这个表就在user/hive/warehouse文件夹下。

  

2.创建数据库

  

3.在新建的数据库中新建表

  使用新建的数据库

    use hadoop09;

  这个使用的字符串是string,不是varchar,因为底层是hadoop。

  

4.加载数据

  首先要书写数据:

  

  加载数据:

  

5.HDFS里文件的分布

  一开始是数据仓库文件。

  hadoop09是数据库,所以生成的文件名字教hadoop09.db。

  student是一张表。

  里面有一个文件,是数据文件,这个文件也是刚才在本地编辑的文件。

  

  维护都是使用文件夹。

6.hive查询语句

  

三:hive的问题

1.问题的由来

  当开启第二个hive的时候,就会出现问题。

  因为hive的默认数据库使用的是derby,只能启用一个实例,所以不适合企业。

  解决的方案是:使用mysql关系数据库代替derby。

  

四:配置mysql

1.卸载已经安装的mysql

  

2.安装mysql

  

3.查看mysql的状态

  

4.开启服务

  

5.设置开机启动

  

6.设置密码

  

7.进入数据库

  

8.修改连接权限的位置

  

  

  

9.修改连接权限

   增加一个权限

  

  删除其他的

  

10.刷新权限,退出,重启服务

  

以上的mysql已经配置完成

五.配置hive

1.生成hive-site.xml

  

2.配置hive-site.xml、

  官网位置:

  

  修改的配置:

  

3.在lib下加入驱动

  

4.启动hive

  

5.观看效果

  出现了metastore数据库。

  

六:日志的配置问题

1.问题的由来

  

2.在conf中启用

  

3.修改配置,hive运行的日志配置

  

七.人性化设置

1.列名,数据库名

  

2.效果

  

  

  

  

原文地址:https://www.cnblogs.com/juncaoit/p/6024000.html