机器学习笔记（4）：正规方程(Normal Equation)

正规方程(Normal Equation)

正规方程是通过一个公式来计算最小值，并不需要像梯度下降那样迭代，也不需要做 feature scaling

梯度下降和正规方程的比较：

梯度下降	正规方程
需要选取 alpha 值	不需要选取 alpha 值
需要多次迭代	不需要迭代
O(kn2)	O(n3)
当 n 很大时也可以计算出来	当 n 很大时计算会非常慢

---

不可逆

在正规方程中，如果 X^TX 不可逆，可能有两个原因：

• 有冗余的 feature ，譬如有两个 feature 联系非常紧密甚至线性相关，这时需要删除冗余的 feature
• feature 太多，feature 的数目 n 大于样本总数 m 。这种情况下需要删除一些 feature 或者做 regularization