一、前向传播
w 权重
b 偏差
a 输入
一般地，我们可以把前向传播过程表示：
2. 损失函数和代价函数
损失函数主要指的是对于单个样本的损失或误差；
代价函数表示多样本同时输入模型的时候总体的误差——每个样本误差的和然后取平均值。
3. 反向传播
反向传播的基本思想
就是通过计算输出层与期望值之间的误差来调整网络参数，从而使得误差变小。
4.反向传播原理（四个基础等式）
引入一个中间变量δlj，我们把它叫做网络中第l层第j个神经元的误差。
为第l层第j个神经元添加一个扰动Δz[l]j，使得损失函数或者代价函数变小，那么这就是一个好的扰动。
单样本输入公式
L表示输出层层数。用∂L 表示 ∂L(a[L],y)
5.多样本输入公式
