线性代数之——对称矩阵及正定性

当 (A) 是对称的时候，(Ax=lambda x) 有什么特殊的呢？

1. 对称矩阵的分解

[A = SLambda S^{-1} ]

[A^T = (S^{-1})^TLambda S^{T} ]

如果 (A) 是对称矩阵，也就是 (A=A^T)。对比以上两个式子，我们可以得到 (S^{-1}=S^T)，也就是 (S^TS=I)，特征向量矩阵 (S) 是正交的。

对称矩阵具有如下的性质：

• 它们的特征值都是实数；
• 可以选取出一组标准正交的特征向量。

每个对称矩阵都可以分解为 (A=QLambda Q^{-1}=QLambda Q^T)，(Lambda) 中为实数的特征值，(S=Q) 中为标准正交的特征向量。

• 例 1

[A = egin{bmatrix} 1&2 \2&4end{bmatrix} ]

[A-lambda I = egin{bmatrix} 1-lambda&2 \2&4-lambdaend{bmatrix} ]

[det(A-lambda I) = (1-lambda)(4-lambda)-4=lambda^2-5lambda=0 ]

特征值和特征向量分别为：

[lambda_1 = 0，x_1 = egin{bmatrix} 2 \ -1 end{bmatrix} ]

[lambda_2 = 5，x_2 = egin{bmatrix} 1 \ 2 end{bmatrix} ]

特征向量 (x_1) 位于零空间，特征向量 (x_2) 位于列空间。有子空间基本定理可知，零空间正交于行空间，这里 (A) 是对称矩阵，所以列空间和行空间是一样的，因此两个特征向量是垂直的。而要得到标准正交向量，我们只需再除以它们各自的长度即可。所以有：

[QLambda Q^T=frac{1}{sqrt5}egin{bmatrix} 2&1 \-1&2end{bmatrix}egin{bmatrix} 0&0 \0&5end{bmatrix}frac{1}{sqrt5}egin{bmatrix} 2&-1 \1&2end{bmatrix} =A ]

一个实对称矩阵的所有特征值都是实数。

证明

实数的共轭还是它本身，两个数积的共轭等于共轭的积，即 (overline{AB}=ar A ar B)。

[ ag{1}Ax=lambda x o ar Aar x=ar lambdaar x o Aar x=ar lambdaar x ]

对 (1) 进行转置可得

[ ag{2}ar x^TA^T=ar lambdaar x^T o ar x^TA=ar lambdaar x^T ]

将 (Ax=lambda x) 乘以 (ar x^T)，将 (2) 式乘以 (x)，可得

[ ag{3}ar x^TAx=lambda ar x^Tx ]

[ ag{4}ar x^TAx=ar lambdaar x^Tx ]

由于右边为向量长度的平方，因此不为零。对比 (3) 、(4) 两式可得 (ar lambda= lambda)，所以对称矩阵的特征值一定为实数。

一个实对称矩阵的所有特征向量（对应于不同特征值）是正交的。

证明

假设有 (Ax=lambda_1 x) 和 (Ay=lambda_2 y)，并且 (lambda_1 ot = lambda_2)，那么

[(lambda_1 x)^Ty = (Ax)^Ty=x^TA^Ty=x^TAy=x^Tlambda_2y ]

等式左边为 (x^Tlambda_1y)，等式右边为 (x^Tlambda_2y)，因为 (lambda_1 ot = lambda_2)，所以有 (x^Ty=0)，也即两个特征向量垂直。

• 例 2

[A = egin{bmatrix} a&b \b&cend{bmatrix} ]

特征向量分别为：

[x_1 = egin{bmatrix} b \ lambda_1-a end{bmatrix} ]

[x_2 = egin{bmatrix} lambda_2-c \ b end{bmatrix} ]

[x_1^Tx_2=b(lambda_2-c)+b(lambda_1-a)=b(lambda_1+lambda_2-a-c)=0 ]

两个特征值的和为矩阵的迹，即对角线元素的和。

我们再来看 (2×2) 矩阵分解后的结果

[A=QLambda Q^T = egin{bmatrix} \x_1& x_2 \ space end{bmatrix}egin{bmatrix} lambda_1\ space & lambda_2 end{bmatrix}egin{bmatrix} quad x_1^Tquad\ quad x_2 quad end{bmatrix} ]

[A=lambda_1 x_1x_1^T+lambda_2 x_2x_2^T ]

扩展到 (n) 维的情况，(A=sum_i^nlambda_i x_ix_i^T)，其中每一个 (x_ix_i^T) 都是投影矩阵，(P=frac{xx^T}{x^Tx})，特征向量的长度为 1，所以分母略去了。也就是说，对称矩阵是其特征向量投影矩阵的线性组合。

2. 实矩阵的复特征向量

[Ax=lambda x o ar Aar x=ar lambdaar x o Aar x=ar lambdaar x ]

针对对称矩阵，其特征值和特征向量都是实的。但是，非对称矩阵非常容易得到虚的特征值和特征向量。在这种情况下，(Ax=lambda x) 和 (Aar x=ar lambdaar x) 是不同的，我们得到了一个新的特征值 (ar lambda) 和新的特征向量 (ar x)。

针对实矩阵，复数的特征值和特征向量总是一对共轭对。

3. 特征值和主元

矩阵的主元和特征值是非常不同的，主元是通过消元得到的，而特征值是通过求解 (det(A-lambda I)=0) 得到的。到目前为止，它们唯一的联系就是：所有主元的乘积等于所有特征值的乘积，都等于矩阵的行列式值。

针对对称矩阵，还有一个隐藏的关系：主元的符号和特征值的符号一致，也就是正的主元个数等于正的特征值的个数。

证明

对称矩阵可以被分解为 (A=LDL^T) 的形式。

当 (L) 变成 (I) 的时候，(LDL^T) 就变成了 (IDI^T)，也就是由 (A) 变成了 (D)。(A) 的特征值为 4 和 -2，(D) 的特征值为 1 和 -8。当 (L) 中左下角的元素从 3 变到 0 的时候， (L) 就变成了 (I)。在这个过程中，如果特征值符号发生改变的话，那肯定会有一个中间时刻，这时候特征值为 0，也就意味着矩阵是奇异的。但是最后的矩阵 (D) 一直有两个主元，始终是可逆的，从来不可能是奇异的，因此特征值的符号不会发生改变。

特别地，所有的特征值都大于零，也就是所有的主元都大于零，这种情况下，矩阵就称之为是正定的。

4. 重复的特征值

当没有重复特征值的时候，特征向量一定是线性不相关的，这时候矩阵一定可以被对角化。但是一个重复的特征值可能会导致特征向量的缺乏，这有些时候会发生在非对称矩阵上，但是对称矩阵一定会有足够的特征向量来进行对角化。

证明

获取更多精彩，请关注「seniusen」!