搭建cdh单机版版本的hive所遇到的问题总汇

今天按照网上教程搭建了下 cdh 单机版的 hive 将相关配置记录下来以便以后方便翻阅

版本 hive-0.13.1-cdh5.3.6.tar.gz

1. 直接解压然后将 mysql驱动包拷贝到 hive 的lib目录下

2. 进入 conf 配置目录下总共要修改3个文件其中hive-site.xml 是直接在hive-default.xml.template 这个文件基础上改的

注意别忘了修改文件名称hive-site.xml

3. 修改 hive-env.sh

4.修改hive-log4j.properties

5.修改hive-site.xml

 1 <!--使用mysql作为Metadata-->
 2     <property>
 3       <name>javax.jdo.option.ConnectionURL</name>
 4       <value>jdbc:mysql://172.16.71.27:3306/hive?createDatabaseIfNotExist=true</value>
 5     </property>
 6     
 7     <property>
 8       <name>javax.jdo.option.ConnectionDriverName</name>
 9       <value>com.mysql.jdbc.Driver</value>
10     </property>
11     
12     <property>
13       <name>javax.jdo.option.ConnectionUserName</name>
14       <value>root</value>
15     </property>
16 
17     <property>
18       <name>javax.jdo.option.ConnectionPassword</name>
19       <value>root</value>
20     </property>
21     
22     <!--显示当前的数据的头-->
23     <property>
24       <name>hive.cli.print.header</name>
25       <value>true</value>
26     </property>
27     <!--显示当前的数据库-->
28     <property>
29       <name>hive.cli.print.current.db</name>
30       <value>true</value>
31     </property>
32     
33     <!--default创建文件夹-->
34     <property>
35         <name>hive.metastore.warehouse.dir</name>
36         <value>/user/hive/warehouse</value>
37     </property>
38     
39     <!--fetchTask优化 默认是minimal-->
40     <property>
41       <name>hive.fetch.task.conversion</name>
42       <value>minimal</value>
43       <description>
44         1. minimal : SELECT STAR, FILTER on partition columns, LIMIT only
45         2. more    : SELECT, FILTER, LIMIT only (TABLESAMPLE, virtual columns)
46       </description>
47     </property>

6.登入27机器上的mysql 对ip授权

这是对120这台机器赋全部权限

GRANT ALL ON *.* TO 'root'@'172.16.71.120' IDENTIFIED BY 'root';

7.然后在mysql上创建 hive数据库

8.修改数据库的字符集ALTER DATABASE hive CHARACTER SET latin1

9.然后启动hive

10.创建一个表测试一下

create table liveyc(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ';

PS 这里注意一下如果不按照 7 8 步操作的话这里删除表的时候是删除不成功的在直接删除语句的时候程序会卡主

如果不设置mysql字符集的话在创建表的时候也会报错

先总结这些以后遇到问题了再来补充