MEGVII 旷视 Brain++ 平台；天元MegEngine 平台简要分析

旷视Brain++是由旷视研究院自主研发的新一代 AI生产力平台，致力于帮助企业和开发者提升AI生产效率、规范生产流程。（2014-2021）https://www.brainpp.com/

最近有个相关的面试，就简单的搜集了一下资料，用作个人的参考。

Brain++的核心能力：

• 数据的处理、清洗和管理能力；数据层，MegData。
• 算力的共享、调度和分布式能力；算力层，MegCompute。
• 算法的训练、推理及部署能力。算法层，天元 MegEngine。

目前，旷视正通过逐步开源核心框架、开放算力和数据平台的形式，为企业客户和广大开发者提供规模化AI生产能力。平台宏观框架如下：

天元MegEngine：（官方描述）

• Brain++的最为核心组件
• 全新一代的工业级深度学习开源框架
• 友好的编程接口
• 大规模深度学习模型训练和部署
• 计算接口、图表示、优化与编译、运行时管理和计算内核五层
• 简化算法开发流程
• 实现模型训练速度和精度的无损迁移
• 支持动静态的混合编程和模型导入
• 内置高性能计算机视觉算子
• 适用于大模型算法训练
• 亮点：
  • 训练推理一体
    
  • 动静合一
  • 兼容并包
  • 灵活高效

MegData：（官方描述）

• 自研的人工智能数据管理平台
• 覆盖数据获取、数据处理、数据标注、数据管理、数据安全五大维度
• 数据生产为起点
• 支持不同业务场景和训练方式
• 对数据进行处理和标注
• 提供对结构化数据的标注、特征处理、衍生、筛选等标准处理流程
• 对多种非结构化数据提供在线标注能力
• 通过标准化标注流程实现对标注数据、标注任务、标注人员、标注进度、标注质量和标注工具的统一管理
• 为AI模型训练提供高质量训练数据
• 设计了多重的数据安全功能，保障数据的安全和隐私
• 亮点：
  • 高效
  • 专业
  • 安全
  • 稳定

MegCompute：（官方描述）

•  旷视自主研发的大规模人工智能算力平台
• 提供E级算力资源调度
• EB级海量数据存储管理
• 400G RDMA高速骨干网络
• 包含基础设施、数据存储、计算调度、上层服务等功能模块
• 通过分布式集群管理最大化提高资源利用率
• 算法生产全流程服务化
• 训练过程更加高效
• 亮点：
• 400G RDMA
• 异构资源池
• 灵活的任务调度
• 算法生成全流程

MegEngine：（最近时间比较紧张，简要放几个链接）

• https://megengine.org.cn/
• https://github.com/megengine/
• 天元MegEngine
• 金枪鱼之夜—MegEngine架构设计
• https://megengine.org.cn/blog（技术分享博客）