画像分析(6-3)某极产品分析

一、产品服务

EDS

集群管理(创建、释放和监控)

数据导入:导入多源数据到HDFS,管理生成的hdfs文件,提供基于生成文件的sql查询分析能力

 

ADS

创建数据模块:

创建分析模块:封装算法逻辑成docker镜像

创建项目:组装数据模块、分析模块成工作流

创建任务:执行项目,监控项目,导出结果

   

二、模块划分:

模块分为 总览、数据平台、分析应用、模型示例和用户中心

功能介绍如下:
1、总览:

     为用户提供任务、模块及项目的数据总览。

     项目:一个数据分析流程

     模块:某种操作,某种算法,封装成一个docker镜像,如:数据导出、数据分析

     任务:一个项目的执行、监控和结果查看、导出

     数据总览:数据管理和查看


2、数据平台:
     2.1、创建集群、监控集群

             集群创建和管理,可选择任意公有云服务类型部署EDS数据库服务。
     2.2、导入数据

             为用户提供EDS数据库操作平台,支持完整的ANSI SQL(SQL92/SQL99/SQL2003/OLAP Extension)查询语言,可进行轻量和高效的抽样数据分析功能,同时,适用于编写算法模块前期的探索工作。

             

     2.3、表管理

             管理数据源的表。

     2.4、HDFS文件管理

             

  

     2.5、数据查询

             

 3、分析应用:

     为用户提供全量数据的自助分析平台,用于导入或创建模块及项目工作流。

     

三、开发过程:

     3.1、数据模块:创建数据源模块

     3.2、分析模块:创建分析模块(dockerfile,main.py,requirements.txt、spec.json)

     

      3.3、创建项目:组装模块,参数匹配,创建项目。

      

       3.4、创建任务

      

      3.5、查看任务执行结果/状态

      

       3.6、任务执行结果

      

 4、模型示例:

     为用户展示了机器学习相关算法模型,

     帮助用户熟悉机器学习建模流程,(步骤的输入输出、算法参数指标,算法说明)

     同时支持用户在该平台根据需求新建机器学习模型。

     

5、用户中心:

     为用户提供基本设置及相关权限操作。

 

原文地址:https://www.cnblogs.com/lexiaofei/p/6681014.html