一、前言
1、怎么控制一个模型的容量
- 模型比较小（参数比较少）
- 每个参数选择的值比较小
2、正则化就是用来限制参数值的取值范围来控制模型容量
二、正则化
1、正则化的目的：防止过拟合
2、正则化其实可以理解为规则化。相当于一个限制，就是说可以给训练的目标函数加上一些规则（限制），让他们不要自我膨胀
三、权重衰减
1、通常称为L2正则化，是最广泛使用的正则化的技术之一。（L2范数：向量元素平方和的平方根）
2、L2正则化回归的小批量随机梯度下降
3、可以发现，我们根据估计值和观测值之间的差异来更新 w。较小的 λ 值对应较少约束的 w ，而较大的 λ 值对 w 的约束更大。