一、Normal Equation
我们知道梯度下降在求解最优参数( heta)过程中需要合适的(alpha),并且需要进行多次迭代,那么有没有经过简单的数学计算就得到参数( heta)呢?
下面我们看看Ng 4-6 中的房价预测例子:
其中( m = 4, n = 4 )。在机器学习中,线性回归一般都增加额外的一列特征(x_0 = 1),其中我们特征矩阵(X)和值向量(y)分别为:
egin{bmatrix}1 & 2104 & 5 & 1 & 45 \ 1 & 1416 & 3 & 2 & 40 \ 1 & 1534 & 3 & 2 & 30 \ 1 & 852 & 2 & 1 & 36 end{bmatrix}
egin{bmatrix}460\ 232\ 315\178end{bmatrix}
而我们的参数( heta)为:
egin{bmatrix} heta_0\ heta_1\ heta_2\ ...\ heta_nend{bmatrix}
那最终的参数( heta)应该为:
( heta = (X^TX)^{-1}X^Ty)
二、证明
我们知道单位矩阵(E)有一个性质:
( A imes A^{-1} = A^{-1} imes A = E )
首先:
( y = X cdot heta )
左右同时乘(X^T):
(X^Ty = X^TX cdot heta)
左右再同时乘(X^TX^{-1}):
((X^TX)^{-1}X^Ty = (X^TX)^{-1}X^TX cdot heta)
而我们已知矩阵的逆乘以矩阵得到单位矩阵(E):
((X^TX)^{-1}X^Ty = heta)
三、和梯度下降作比较
Normal Equation有一个好处:不需要进行Feature scaling,而Feature scaling对于梯度下降是必须的
如何来选择使用哪种方法么呢?一般如果特征维度不超过1000的话,Normal Equation还是可选的。
此外,如果((X^TX)^{-1})不可逆怎么办?
1)确保不存在冗余特征,比如
因为(1m = 3.28feet),所以(x_1 = (3.28)^2 * x_2),我们知道线性代数中出现这种线性相关的情况,其行列式值为0,所以不可逆,我们只需确保不会出现冗余特征即可。
2)特征数量(n)过多,而样本数量(m)过少:解决方法为删除一部分特征,或者增加样本数量。
四、说明