hiveservice简介

由于实验的须要，这两天就搭了个Hive，简单记录一下：

平台：OS：Ubuntu Kylin 14.04

　　　JAVA：Java 1.8.0_25

　　　HADOOP：Hadoop 2.4.0

　　　HIVE：Hive 0.14.0

　　有关Hive的安装这里就不说了，Hive配置好后，直接在安装目录下起动hive（记得先启动Hadoop哈，不然会报错），看着网上的教程简单的试用下；

create table test(key int, name string) row format delimited fields terminated by ',' lines terminated by '
';
load data local inpath '/home/liang/test.txt' overwrite into table test;
select * from test;
show tables;
show databases;
desc test;

　　看着官网语言手册一顿乱试，感觉好数据库里的命令都好像啊！有关hive都支持什么样的语句及语句怎么写，官网语言手册上写的很详细，好像说从0.14开始支持ACID了，想学习还是啃下英文的手册比较好点，我只是大概看了下。

　　有事关机，回来重启，在用户主目录下启动hive，发现关机前create的表不见了，开始怀疑是不是自己的配置没配好呢，重新看了看配置，没错啊。还好在网上看到了hive使用derby作为元数据库找不到所创建表的原因这个帖子，原来是因为我使用的是默认元数据库derby，元数据库是存放在hive的启动目录的，其实如果你细心就会发现，在hive的启动目录下多了一个目录metastore_db和一个日志文件derby.log。当你换个目录启动hive时，derby在当前目录下就找不到以前的元数据库了，只好重建，所以会出现在HDFS上可以看到以前建的文件，但在hive中就是看不见的。所以，要想常用hive还是建议使用MySQL存放元数据吧，而且使用MySQL可以让多用户使用Hive。

　　下面进正题，说说使用JDBC连接hiveservice的事：

　　打开终端，先看看帮助文档是怎么说的，

liang@liang-pc:/opt/apache-hive-0.14.0-bin$ hive --help
Usage ./hive <parameters> --service serviceName <service parameters>
Service List: beeline cli help hiveburninclient hiveserver2 hiveserver hwi jar lineage metastore metatool orcfiledump rcfilecat schemaTool version 
Parameters parsed:
--auxpath : Auxillary jars 
--config : Hive configuration directory
--service : Starts specific service/component. cli is default
Parameters used:
HADOOP_HOME or HADOOP_PREFIX : Hadoop install directory
HIVE_OPT : Hive options
For help on a particular service:
./hive --service serviceName --help
Debug help: ./hive --debug --help

　　从上面的输出的第二行可以看到hive的用法是：./hive <parameters> --service serviceName <service parameters>

　　从上面的输出的第三行可以看到可用的service有很多，我们这次要用的是hiveserver和hiveserver2

　　从上面的输出的第12行可以看到，想了解特定service的详细帮助的命令是：./hive --service serviceName --help

　　在终端输入依次输入hive --service hiveserver --help和hive --service hiveserver2

liang@liang-pc:/opt/apache-hive-0.14.0-bin$ hive --service hiveserver --help
Starting Hive Thrift Server
usage: hiveserver
 -h,--help                        Print help information
    --hiveconf <property=value>   Use value for given property
    --maxWorkerThreads <arg>      maximum number of worker threads,
                                  default:2147483647
    --minWorkerThreads <arg>      minimum number of worker threads,
                                  default:100
 -p <port>                        Hive Server port number, default:10000
 -v,--verbose                     Verbose mode


liang@liang-pc:/opt/apache-hive-0.14.0-bin$ hive --service hiveserver2 --help
usage: hiveserver2
    --deregister <versionNumber>   Deregister all instances of given
                                   version from dynamic service discovery
 -H,--help                         Print help information
    --hiveconf <property=value>    Use value for given property

　　从上面的输出只能看到两个service的使用配置和一些默认值，那有关两者的区别和详细说明只好去官网找找HiveServer和HiveServer2了。果然说的比较详细，HiveServer2是HiveServer的升级，且在hive 0.15后，HiveServer将会被移除。原话是：

---

WARNING!

HiveServer cannot handle concurrent requests from more than one client. This is actually a limitation imposed by the Thrift interface that HiveServer exports, and can't be resolved by modifying the HiveServer code. 

HiveServer2 is a rewrite of HiveServer that addresses these problems, starting with Hive 0.11.0. Use of HiveServer2 is recommended.

HiveServer is scheduled to be removed from Hive releases starting Hive 0.15. See HIVE-6977. Please switch over to HiveServer2.

---

 

　　hive服务启动后，就使用JDBC来写程序了，这个和数据库就更想了，直接上代码，

package hive;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;

public class HiveService {
    
    public static void main(String[] args) throws Exception
    {
        Connection conn = null;
        /*
         * 使用hiveserver时的配置
         * 其中URL的写法是：jdbc:hive://ip:port/db
         * ip是hiveserver所在的机器ip，port是hiveserver的服务端口，db是数据库名字，后面还有用户名和密码，
         * 这都和其他的数据库的JDBC一样
         */
//        Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");
//        conn = DriverManager.getConnection("jdbc:hive://localhost:10000/default", "", "");
        
        /*
         * 使用hiveserver2时的配置
         * 与hiveserver比较，只有要加载的类和URL的写法有一点点的不同，其他的都不用改
         */
        Class.forName("org.apache.hive.jdbc.HiveDriver");
        conn = DriverManager.getConnection("jdbc:hive2://localhost:10000/default", "", "");

        Statement stat = conn.createStatement();
        ResultSet rs = stat.executeQuery("select * from test");
//        ResultSet rs = stat.executeQuery("show tables");
//        ResultSet rs = stat.executeQuery("show databases");
//        ResultSet rs = stat.executeQuery("desc test");
        while (rs.next())
        {
            System.out.println(rs.getString(1) + "	" + rs.getString(2));
        }
    }
}

　　所依赖的jar包有：${HIVE_HOME}/lib/hive-jdbc-0.14.0-standalone.jar和${HADOOP_HOME}/share/hadoop/common/hadoop-common-2.4.0.jar

　　当使用hiveserver时，可能是我的hive版本和hadoop版本不对应，会报以下错误，而hiveserver2却不会。

Exception in thread "main" java.lang.ExceptionInInitializerError
at org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe.initSerdeParams(LazySimpleSerDe.java:318)
......
at hive.HiveService.main(HiveService.java:16)
Caused by: java.lang.RuntimeException: Could not load shims in class org.apache.hadoop.hive.shims.Hadoop23Shims
at org.apache.hadoop.hive.shims.ShimLoader.createShim(ShimLoader.java:138)
......
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.shims.Hadoop23Shims
at java.net.URLClassLoader$1.run(URLClassLoader.java:372)

　　由于hiveserver2可以正常运行，且hiveserver是将要被移除的，就没查找错误的具体原因，有了解的可给我说下。

　　还有一点要注意的是，在我的电脑上测试时，SQL语句后面不要以";"结尾，不然会报错，ResultSet.getString(String columnLabel)会出错。

更详细的有关JDBC的使用请参考：

HiveServer1：https://cwiki.apache.org/confluence/display/Hive/HiveClient

HiveServer2：https://cwiki.apache.org/confluence/display/Hive/HiveServer2%20Clients#HiveServer2Clients-UsingJDBC