我的云之旅hadoop集群集成Hive(4)


Hive: 可以对数据转换为类SQL执行,调用hadoop mapreduce进行分布式计算。据说facebook的95%统计分析由此进行。有了分布式后ad hoc查询也变成可能。所以该软件还是不错的。


1 单机安装可参考官网

2 和hadoop集成步骤

   2.1 安装好hadoop

   2.2 job tracker根据自身的配置进行调整

        SET mapred.job.tracker=myhost.mycompany.com:50030;

                   同样文件位置也一样进行调整 hostname:9000 具体忘了,应该是这个

   2.3 CLI进行测试


注意:我在整个过程中碰到一个情况,具体的忘了,错误信息是期望的地址和实际不一致。就是修改masters为名称而不是IP。重启动就可以。

   HWI可以在页面进行查看当前运行情况和结果。和CLI类似。


参考文献:

http://hive.apache.org/#Getting+Started

原文地址:https://www.cnblogs.com/hehehaha/p/6332499.html