旷视MegEngine基本概念
MegEngine 是基于计算图的深度神经网络学习框架。 本文简要介绍计算图及其相关基本概念，以及它们在 MegEngine 中的实现。
计算图（Computational Graph）
下面通过一个简单的数学表达式 y=(w∗x)+by=(w∗x)+b 来介绍计算图的基本概念，如下图所示：
图1
从中可以看到，计算图中存在：
- 数据节点（图中的实心圈）：如输入数据 xx 、 ww 、 bb ，运算得到的中间数据 pp ，以及最终的运算输出 yy ；
- 计算节点（图中的空心圈）：图中 * 和 + 分别表示计算节点 乘法 和 加法，是施加在数据节点上的运算；
- 边（图中的箭头）：表示数据的流向，体现了数据节点和计算节点之间的依赖关系；
如上，便是一个简单的计算图示例。计算图是一个包含数据节点和计算节点的有向图（可以是有环的，也可以是无环的）， 是数学表达式的形象化表示。在深度学习领域，任何复杂的深度神经网络本质上都可以用一个计算图表示出来。
前向传播
计算由计算图表示的数学表达式的值的过程。在图1中，变量 xx 和 ww ，从左侧输入，首先经过乘法运算得到中间结果 pp ， 接着，pp 和输入变量 bb 经过加法运算，得到右侧最终的输出 yy ，这就是一个完整的前向传播过程。
在 MegEngine 中，用张量（Tensor）表示计算图中的数据节点，用算子（Operator）实现数据节点之间的运算。
张量（Tensor）
与 PyTorch，TensorFlow 等深度学习框架类似，MegEngine 使用张量（Tensor）来表示计算图中的数据。 张量（Tensor）可以看做 NumPy 中的数组，可以是标量、向量、矩阵或者多维数组。 可以通过 NumPy 或者 Python List 来创建一个 Tensor 。
import numpy as np
import megengine as mge
# 初始化一个维度为 (2, 5) 的 ndarray，并转化成 MegEngine 的 Tensor
# 注：目前 MegEngine Tensor 不支持 float64 数值类型，所以这里显式指定了 ndarray 的数值类型
a = mge.tensor(np.random.random((2,5)).astype('float32'))
print(a)
# 初始化一个长度为3的列表，并转化成 Tensor
b = mge.tensor([1., 2., 3.])
print(b)
输出:
Tensor([[0.2976 0.4078 0.5957 0.3945 0.9413]
[0.7519 0.3313 0.0913 0.3345 0.3256]], device=xpux:0)
Tensor([1. 2. 3.], device=xpux:0)
通过 dtype 属性，可以获取 Tensor 的数据类型；
通过 astype() 方法可以拷贝，创建一个指定数据类型的新Tensor ，原Tensor 不变。
print(a.dtype)
d = a.astype("float16")
print(d.dtype)
输出：
<class 'numpy.float32'>
<class 'numpy.float16'>
通过 shape 属性，可以获取 Tensor 的形状：
print(a.shape)
输出为一个Tuple：
(2, 5)
通过 numpy() 方法，可以将 Tensor 转换为 numpy.ndarray：
a = mge.tensor(np.arange(12)).reshape(2, 6).astype("float32")
print(a)
b = a.numpy()
print(b)
输出：
Tensor([[ 0. 1. 2. 3. 4. 5.]
[ 6. 7. 8. 9. 10. 11.]], device=xpux:0)
[[ 0. 1. 2. 3. 4. 5.]
[ 6. 7. 8. 9. 10. 11.]]
通过 device 属性，可以查询当前 Tensor 所在的设备。创建的 Tensor 可以位于不同 device，这根据当前的环境决定。一般地，如果在创建 Tensor 时不指定 device，其 device 属性默认为 xpux，表示当前任意一个可用的设备。如果存在 GPU 则优先使用 GPU，否则为 CPU。
print(a.device)
输出：
xpux:0
可以在创建 Tensor 时，指定 device 为 cpu0, cpu1, …, gpu0, gpu1, … ，也可以是 cpux 或 gpux，表示当前任意一个可用的 CPU 或 GPU。
通过 to() 方法可以在另一个 device 上生成当前 Tensor 的拷贝，比如将刚刚创建的 Tensor a 迁移到 CPU 上，再迁移到 GPU 上：
# 下面代码是否能正确执行取决于你当前所在的环境
b = a.to("cpu0")
print(b.device)
c = b.to("gpu0")
print(c.device)
输出：
cpu0:0
gpu0:0
GPU 和 CPU 切换
MegEngine 在 GPU 和 CPU 同时存在时默认使用 GPU 进行训练。用户可以调用 set_default_device() 来根据自身需求设置默认计算设备。
如下代码设置默认设备为 CPU：
import megengine as mge
# 默认使用 CPU
mge.set_default_device('cpux')
如下代码设置默认设备为GPU:
# 默认使用 GPU
mge.set_default_device('gpux')
如果不想修改代码，用户也可通过环境变量 MGE_DEFAULT_DEVICE 来设置默认计算设备：
# 默认使用 CPU
export MGE_DEFAULT_DEVICE='cpux'
# 默认使用 GPU
export MGE_DEFAULT_DEVICE='gpux'
算子（Operator）
MegEngine 中通过算子 (Operator） 来表示运算。 类似于 NumPy，MegEngine 中的算子支持基于 Tensor 的常见数学运算和操作。 下面介绍几个简单示例：
Tensor 的加法：
a = mge.tensor([[1., 2., 2.], [5., 1., 8.]])
print(a)
b = mge.tensor([[1., 9., 1.], [1., 7., 9.]])
print(b)
print(a + b)
输出：
Tensor([[1. 2. 2.]
[5. 1. 8.]], device=xpux:0)
Tensor([[1. 9. 1.]
[1. 7. 9.]], device=xpux:0)
Tensor([[ 2. 11. 3.]
[ 6. 8. 17.]], device=xpux:0)
Tensor 的切片：
print(a[1, :])
输出：
Tensor([5. 1. 8.], device=xpux:0)
Tensor 形状的更改：
a.reshape(3, 2)
输出：
Tensor([[1. 2.]
[2. 5.]
[1. 8.]], device=xpux:0)
reshape() 的参数允许存在单个维度的缺省值，用 -1 表示。此时，reshape 会自动推理该维度的值：
# 原始维度是 (2, 3)，当给出 -1 的缺省维度值时，可以推理出另一维度为 6
a = a.reshape(1, -1)
print(a.shape)
输出：
(1, 6)
MegEngine 的 functional 提供了更多的算子，比如深度学习中常用的矩阵乘操作、卷积操作等。
Tensor 的矩阵乘：
import megengine as mge
import megengine.functional as F
a = mge.tensor(np.arange(6).reshape(2, 3)).astype('float32')
print(a)
b = mge.tensor(np.arange(6, 12).reshape(3, 2)).astype('float32')
print(b)
c = F.matmul(a, b)
print(c)
输出：
Tensor([[0. 1. 2.]
[3. 4. 5.]], device=xpux:0)
Tensor([[ 6. 7.]
[ 8. 9.]
[10. 11.]], device=xpux:0)
Tensor([[ 28. 31.]
[100. 112.]], device=xpux:0)
更多算子可以参见 functional 部分的文档。
求导器（Grad Manager）
神经网络的优化，通常通过随机梯度下降来进行。需要根据计算图的输出，通过链式求导法则，对所有的中间数据节点求梯度，这一过程被称之为 “反向传播”。 例如，为了得到图1中 yy 关于输入 ww 的梯度，反向传播的过程如下图所示：
图2
首先 y=p+by=p+b ，因此 ∂y/∂p=1∂y/∂p=1 ； 接着，反向追溯，p=w∗xp=w∗x ，因此，∂p/∂w=x∂p/∂w=x 。 根据链式求导法则，∂y/∂w=(∂y/∂p)∗(∂p/∂w)∂y/∂w=(∂y/∂p)∗(∂p/∂w) ， 因此最终 yy 关于输入 ww 的梯度为 xx 。
MegEngine 为计算图中的张量提供了自动求导功能，以上图的例子说明： 假设图中的 xx 是 shape 为 (1, 3) 的张量， ww 是 shape 为 (3, 1) 的张量， bb 是一个标量。 利用MegEngine 计算 y=x∗w+by=x∗w+b 的过程如下：
import megengine as mge
import megengine.functional as F
from megengine.autodiff import GradManager
x = mge.tensor([1., 3., 5.]).reshape(1, 3)
w = mge.tensor([2., 4., 6.]).reshape(3, 1)
b = mge.tensor(-1.)
gm = GradManager().attach([w, b]) # 新建一个求导器，绑定需要求导的变量
with gm: # 开始记录计算图
p = F.matmul(x, w)
y = p + b
gm.backward(y) # 计算 y 的导数
print(w.grad)
print(b.grad)
输出：
Tensor([[1.]
[3.]
[5.]], device=xpux:0)
Tensor([1.], device=xpux:0)
可以看到，求出的梯度本身也是 Tensor。
with 代码段中的前向运算都会被求导器记录。可以用 record() 和 release() 来替代 with，分别控制求导器的开启和关闭（不推荐），代码如下所示。
gm = GradManager().attach([w, b]) # 新建一个求导器，绑定需要求导的变量
gm.record() # 开始记录计算图
p = F.matmul(x, w)
y = p + b
gm.backward(y) # 计算 y 的导数
gm.release() # 停止记录计算图并释放资源
此外，可以使用 detach 方法，把 Tensor 当作一个常量，这样求导器将不会对其求导。如下所示：
gm = GradManager().attach([w, b]) # 新建一个求导器，绑定需要求导的变量
with gm: # 开始记录计算图
p = F.matmul(x, w)
y = p + b.detach() # 停止对 b 求导
gm.backward(y) # 计算 y 的导数
print(b.grad)
输出：
None