实验一 Hive的安装部署
实验目的
- • 掌握Hive的安装方式
- • 掌握Hive的安装过程
- 硬件环境要求
实验环境
PC机至少4G内存，硬盘至少预留50G空间。
- 软件要求
l 安装部署好Hadoop，本次实验演示是基于3个节点的Hadoop集群，主节点主机名为Hadoop00，两个从节点主机名为Hadoop01和Hadoop02。
l 安装好mysql数据库
实验要求
- 安装Hive
- 能正常访问Hive
实验步骤
第3章 Hive安装部署
1 环境准备
1.1 启动三个hadoop：
1.1.1 进入hadoop启动命令文件夹sbin
实验操作演示：
所用命令或代码：
# cd /usr/local/hadoop/sbin/
1.1.2 启动hadoop集群
实验操作演示：
所用命令或代码：
# start-all.sh
1.1.3 在三个hadoop节点上查看是否启动成功
实验操作演示：
所用命令或代码：
# jps
1.2 验证mysql数据库是否可用
实验操作演示：
所用命令或代码：
# mysql –u root –p
2 安装并配置hive
2.1 在apache官网下载Hive安装包，进行解压安装：
2.1.1 安装包已经存放到/usr/local目录下，在/usr/local目录下解压Hive安装包
所用命令或代码：
# cd /usr/local //进入local目录
# tar zxvf apache-hive-2.1.0-bin.tar.gz //tar包
# mv apache-hive-2.1.0-bin hive //换为短名
2.2 配置环境变量
2.2.1 修改环境变量
实验操作演示：
所用命令或代码：
# vim /etc/profile
加入hive相关的环境变量
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf
2.2.2 使设置环境变量生效
实验操作演示：
所用命令或代码：
# source /etc/profile
2.3 修改Hive的配置文件
到hive 配置文件目录中
# cd /usr/local/hive/conf
把初始化的文件 复制一份出来 并且改名:
实验操作演示：
所用命令或代码：
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
2.4 修改hive-env.sh
添加以下四个环境变量的配置：
实验操作演示：
所用命令或代码：
export JAVA_HOME=/usr/local/jdk ##Java路径
export HADOOP_HOME=/usr/local/hadoop ##Hadoop安装路径
export HIVE_HOME=/usr/local/hive ##Hive安装路径
export HIVE_CONF_DIR=${HIVE_HOME}/conf ##Hive配置文件路径
2.5 配置hive,使用mysql存放hive的元数据。
2.5.1 复制mysql驱动程序到hive的lib目录下
mysql驱动包已经放在local目录下，复制过程如下。
实验操作演示：
所用命令或代码：
# cp mysql-connector-java-5.1.17.jar /usr/local/hive/lib/
2.5.2 配置hive-site.xml
l 将${system:...字样替换成具体路径，具体修改项如下：
<property>
<name>hive.exec.local.scratchdir</name>
<value>/usr/local/hive</value>
<description>Local scratch space for Hive jobs</description>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/usr/local/hive/downloads</value>
<description>Temporary local directory for added resources in the remote file system.</description>
</property>
<property>
<name>hive.querylog.location</name>
<value>/usr/local/hive/querylog</value>
<description>Location of Hive run time structured log file</description>
</property>
<property>
<name>hive.server2.logging.operation.log.location</name>
<value>/usr/local/hive/server2_logs</value>
<description>Top level directory where operation logs are stored if logging functionality is enabled</description>
</property>
l 在 hive-site.xml 文件中配置 MySQL 数据库连接信息。
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value> jdbc:mysql://192.168.11.170:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>111111</value>
</property>
2.6 在msyql中创建存放hive信息的数据库
实验操作演示：
所用命令或代码：
mysql>create database hive;
2.7 初始化hive的元数据(表结构)到mysql中。
实验操作演示：
所用命令或代码：
# cd /soft/hive/bin
# schematool -dbType mysql –initSchema
3 Hive的访问
实验操作演示：
所用命令或代码：
# hive –v