这是一些深度学习基础相关概念来《自动手学习深度学习》（PyTorch版）
3.1 线性回归
3.4. softmax回归
softmax运算
交叉损失函数
3.8 多层感知机
1）隐藏层
2）激活函数
2.1 ReLU
2.2 sigmoid
2.3 tanh函数
3.11 模型选择、欠拟合和过拟合
模型复杂度：
训练数据集大小：
影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。
3.12 权重衰减
3.13 丢弃法
3.14 正向传播、反向传播和计算图
正向传播计算图：
3.15 数值稳定性和模型初始化
