069 Hue协作框架

一:介绍

1.官网

  官网:http://gethue.com/

    

  下载:http://archive.cloudera.com/cdh5/cdh/5/,只能在这里下载,不是Apache的

  手册:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html

  

2.支持的框架

  -》job

    -》yarn
    -》mr1
  -》oozie
  -》HDFS
    -》查文件
    -》文件的管理
    -》增删改查
  -》hive
  -》rdbms

  截图:

  

3.注意

  hue必须重新编译,因为对于每个linux环境不同。

二:安装

1.下载hue包

  

2.需要安装的依赖

  

3.检测依赖

  

4.安装依赖包

  sudo yum install ant asciidoc cyrus-sasl-devel  libtidy   libxml2-devel  libxslt-devel mvn mysql-devel openldap-devel python-devel sqlite-devel -y

5.卸载openjdk

  

6.编译

  进入家目录,make apps

  

 7.配置hue.int

  路径是:desktop/conf

  所有的配置都是以中括号进行标记。

  

8.启动

  

9.访问web ui

  http://linux-hadoop3.ibeifeng.com:8888/

10.创建hue的root用户

  建议使用HDFS的账户,以后可以跳过权限检查。

  

11.进入主界面

  

三:hue与其他框架的集成

四:与HDFS的集成(修改hadoop和hue的配置)

1.修改hdfs-site

  

2.修改core-site的代理

  

3.重启hdfs

  

4.配置hue中的hdfs

  

5.重启hue

  

6.效果

  

 五:配置yarn

1.只需要配置hue.ini

  

2.重启hue

  

3.检测效果

  

六:hive的集成

1.hive的三种链接方式

  比较重要的一种是远程链接metastore

2.远程链接metastore

  配置hive-site

  

  但是,每次配置了这个,都需要在开启hive之前开启服务

    bin/hive --service metastore &

3.集成hive

4.hive只需要开启hiveserver2

  

  

5.在hive-site中可以修改的项

  在hive的默认端口是10000,协议是tcp。但是可以修改为http,同时修改对应的端口是10001.

    <property>

      <name>hive.server2.transport.mode</name>
      <value>http</value>
      <description>Server transport mode. "binary" or "http".</description>
    </property>

  

  在链接hiveserver中,有时出现链接超时,可以修改一下的配置,可以避免这种情况。

     <property>

      <name>hive.server2.long.polling.timeout</name>
      <value>5000</value>
      <description>Time in milliseconds that HiveServer2 will wait, before responding to asynchronous calls that use long polling</description>
    </property>

6.开启hiveserver2

  bin/hiveserver2

7.修改hue.ini

  

8.重启hue

9.检测效果

  

七:集成RDMS

1.配置sqlite

  启动标记对。

  数据库显示名称,数据库的位置,引擎

  

2.查看效果

  

3.配置mysql

  数据库的位置不给,说明加载所有的数据库。

  

4.启动hue

  

5.查看效果

  

 八:与oozie的集成

1.修改oozie的文件

  原本是${user.name},现在改成oozie。

  

2.重新创建share lib

  bin/oozie-setup.sh sharelib create -fs hdfs://linux-hadoop3.ibeifeng.com:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

   

 3.启动oozie

4.修改hue下 的oozie配置

  

5.重启

6.查看效果

  

  

 

原文地址:https://www.cnblogs.com/juncaoit/p/6127638.html