题目：深度学习框架“计图”的创新与探索
报告人：胡事民
报告人简介：胡事民，清华大学计算机系教授，主要研究方向为计算机图形学、虚拟现实、智能信息处理和系统软件等。
报告简介：深度学习框架是现代人工智能算法开发和应用的基本支撑框架，自主可控的深度学习框架是推动中国人工智能更好发展的必然要求。国外主流深度学习框架基于开源开放的生态环境，已经构建起了完整的产业链和庞大用户群体。计图是国内首个由高校主导的开源深度学习框架。计图基于所提出的“统一计算图”，创新地使用了元算子融合和动态编译技术，目前在多种任务性能上超越国外主流平台。除此之外，计图框架还在易用性、灵活性以及模型算法覆盖度上做了大量改进，旨在降低用户学习成本，吸引更多用户，构建自己的开源深度学习生态。本报告拟介绍计图（Jittor）平台的整体架构和多项创新技术，分享计图框架的开源历程和发展思路，并探讨中国开源深度学习框架的未来发展。
-
机器学习框架(平台)是人工智能的核心技术
- 负责机器学习模型的训练和推理
- 管理着人工智能应用所需要的大规模数据和模型
- 负责底层计算设备调度以及资源申请
-
机器学习平台的难度在哪里?
- 对机器学习算法的深刻理解
- 对图形图像应用的精准把握
- 对底层系统软件的巧妙应用
-
创新点一：统一计算图
- 结合静态图高效和动态图易用的特点
- 静态图（TensorFlow）：一次性把全图发送到计算设备上运行
- 动态图（Pytorch）：将算子动态地发送到计算设备上运行
- 动态切分 => 静态子图，静态子图做优化
- 统一计算图是完成了多种统一的计算图
- 统一动态图和静态图，易用、同时高效
- 统一管理前向反向图，支持高阶导数
- 统一管理CPU-GPU内存，突破GPU显存限制
- 统一同步异步运行接口，使得数据读取，内存拷贝，模型计算可以同时进行，提升性能
- 统一管理多次迭代的计算图，使得框架可以实现跨迭代的融合优化
- 结合静态图高效和动态图易用的特点
-
创新点二：18个元算子、元算子融合
- Tensorflow算子数量: 2000+，PyTorch算子数量: 700+；庞大的算子库维护，
优化困难 - 将三类元算子（重索引、重索引化简、元素级）进行融合形成深度学习所需要的算子
- 重索引算子（一对多）——广播、填补、切分
- 重索引化简算子（多对一）——累乘、累加、取均值
- 元素级算子（一对一）
- 元算子是反向传播闭包(元算子的反向传播也是元算子)
- 在反向传播过程中，算子可自动对应生成，重索引算子—重索引化简算子、元素级算子—元素级算子
- 元算子可以覆盖绝大多数深度学习算子，对于元算子无法覆盖的算子，计图提供Code算子（Python中内联C++代码），完成100%算子覆盖
- Tensorflow算子数量: 2000+，PyTorch算子数量: 700+；庞大的算子库维护，
-
6 大特色
- 动态编译
- 内置的元算子编译器，可将Python代码动态编译高性能C++代码
- 内置LLVM兼容的优化编译遍(Pass)，根据硬件设备，自动优化动态编译的代码
- 统一内存
- 将显存和CPU内存统一，当深度学习模型将显存耗尽时，将使用CPU内存来弥补。
- 骨干网络
- 已经支持的骨干网络：AlexNet；VGG；ResNet；SqueezeNet；Incept ion；Goog leNet；Shuff leNet；Mobi leNet；MnasNet；Res2Net
- 模型库
- 2020年将发布27中主流GAN、语义分割、检测库、3D点云库、3D网格库等
- 模型转换
- 提供工具可以将Pytorch代码一键转码为Jittor
- 分布式
- 无需修改训练代码，只需修改启动命令；自动数据并行，实现多卡训练。
- 动态编译
-
最新进展
- Res2Net、PointNet++，DeepFaceDrawing
-
图形学新的机遇
- 可微编程（可微光栅化渲染、可微蒙特卡洛光线追踪、可微物理模拟）