Cloudera Manager产品介绍

一、Cloudera Manager简介

Cloudera Manager(后面简称CM)是CDH(Cloudera’s Distribution Including Apache Hadoop)市场领先的管理平台,对CDH每个部件都提供细粒度的可视化的监控,可以方便地部署,并且集中式的操作完整的大数据软件栈。通过CM可以提供一个集群范围内的节点实时运行状态视图,可以通过中央控制台配置集群,此外,CM通过包含一系列的报道和诊断工具,可以优化集群性能,提升服务质量,提高规范性并降低管理成本。CM主要包括以下的功能:

  • 自动化Hadoop安装过程,大幅缩短部署时间;
  • 提供实时的集群概括,例如节点、服务的运行状况;
  • 提供了集中的中央控制台对集群的配置进行更改;
  • 包含全面的报告和诊断工具,帮助优化性能和利用率。

二、Cloudera Manager架构图

Cloudera Manager的整体架构图如上图所示,主要由如下几部分组成:

  • 服务端/Server:Cloudera Manager的核心。主要用于管理web server和应用程序逻辑。它用于安装软件,配置,开始和停止服务,以及管理运行服务的群集。
  • 代理/agent:安装在每台机器上。它负责启动和停止进程,解压缩配置,触发安装和监控主机。
  • 数据库/Database:存储配置和监控信息。在一个或多个数据库服务器中,通常会有多个逻辑数据库运行。例如,Cloudera Manager服务器和监控角色使用不用的逻辑数据库。
  • 管理服务/Management Service:由一系列角色组成的服务,这些角色执行各种监视、警告和报警功能。
  • Cloudera仓库/Cloudera Repository:可供Cloudera Manager分配的软件的存储库;
  • 客户端/Client:用于与Server交互的接口:
    • 管理平台/Admin Console:提供一个管理员管理集群和Cloudera Manager的基于网页的交互界面;
    • API:为开发者提供了创造自定义Cloudera Manager程序的API。

三、Cloudera Management Service

Cloudera Management Service 可作为一组角色实施各种管理功能 :

  • Activity Monitor:收集有关 MapReduce 服务运行的活动的信息。默认情况下未添加此角色;
  • Host Monitor:收集有关主机的运行状况和指标信息;
  • Service Monitor:收集有关服务的运行状况和指标信息以及 YARN 和 Impala 服务中的活动信息;
  • Event Server:聚合相关 Hadoop 事件并将其用于警报和搜索;
  • Alert Publisher:为特定类型的事件生成和提供警报;
  • Reports Manager:生成报告,它提供用户、用户组和目录的磁盘使用率的历史视图,用户和 YARN 池的处理活动,以及 HBase 表和命名空间。此角色未在 Cloudera Express 中添加。

【参考资料】

[1] Cloudera Enterprise 5.8.x 中文文档.

原文地址:https://www.cnblogs.com/lemonu/p/9673515.html