NNPR-Appendeix A Symmetric Matrices(对称阵)

在机器学习中,矩阵分析,尤其是实对称阵是经常用到的,例如:

1)Hessian Matrices:其元素是误差函数对网络权重的二阶导数

2)Convariance Matrices:高斯分布的协方差阵

对称阵的特点是image

1.Eigenvector equation

对称阵的eigenvector equation

                image               (1)

它是一系列的线性代数方程,写成矩阵形式

               image             (2)

D是对角阵,且其对角元素正是A的特征值

                       image   (3)

公式2 有解的条件是image

特征向量可经过精心选择构成正交集

2.正交化

利用矩阵U,可将矩阵A正交化image

利用矩阵U,可对向量x进行变化image ,且此变化有下面属性:

1)保长:image ,变换前后向量长度不变

2)保角:image ,变换前后向量间的夹角不变

因此通过矩阵U对向量变换,相当于对坐标系进行旋转

3.二次型

机器学习研究中经常会越到二次型函数,其中,A可以是任意矩阵,这里假定A是对称的。

                      image

利用A的正交特征矩阵U,可对上式进行分解

                       image

若A是正定的(image ,v是任意非零向量),则F(X)的等高面是超椭圆,其主轴长度正比于image

 

原文地址:https://www.cnblogs.com/pegasus/p/1869949.html