五、Hive-HBase接口表性能分析

设想:

Hbase不支持join,不能做复杂统计类;

Hive可以。

Hive-hbase接口表岂不两全其美?

用户画像表有300个字段,每天都使用:

1、在业务系统里实时根据uid调取用户的画像信息;需要查询hbase;主要应用场景,实时查询。

2、Join、count、sum类查询分析,从hive表查询。

Hive-hbase表是Hbase格式存储的:

查询性能上,以key查询为佳。非key的查询性能很差。

从hive表查询时很难通过key查询,此时对HBase来讲性能很差,且会占用IO。

select key,date,product_id from test_so_dtl where ds=’2015-08-18’ and user_id>1110 group by key,date,product_id;

结论:hive-hbase接口表,严格禁止从hive里查询,唯一目的就是通过hive方式加载hbase数据,然后进行数据分析。

问题:需要对用户画像做Join、count、sum类查询分析,怎么办?

重建一张hive表,同步数据,然后在那张表进行业务分析 。

 

 

原文地址:https://www.cnblogs.com/yaohaitao/p/5395692.html