【高等代数】03

  线性函数也是线性代数的重点知识,尤其是双线性函数,本质上定义了向量之间的二元运算。然后在非退化线性替换下,引出了矩阵的合同关系(B=P'AP)(记作(Acong B)),类似于线性变换的标准型讨论,这里同样需要讨论合同关系下的等价类和标准型。对称双线性函数是最常见的向量运算,它的度量矩阵是对称矩阵,利用初等变换和归纳法,不难证明任何数域上的对称矩阵都合同于一个对角矩阵。这个结论为对称矩阵的讨论提供了非常便利的方法,而对于实对称矩阵正交分解(A=T^{-1}DT),更是完美地横跨相似变换和等价变换两个完全不同的领域,这使得实对称矩阵在线性代数中有着重要的位置。

1. 二次型

1.1 惯性指数

  对角线上依次是(1,-1,0)的合同矩阵称为原矩阵的标准型,由初等变换易知复对称矩阵(A)的标准型是(egin{bmatrix}I_r&0\0&0end{bmatrix}),其中(r)是(A)的秩。当(A)为实对称矩阵时,它的标准型则为( ext{diag}{I_r,-I_s,0}),其中(r,s)分别称为正(负)惯性指数。由于惯性指数的唯一性,再结合对称矩阵的正交变换(T'DT),可知正负惯性指数分别是(A)正负特征值的个数。这还说明了,相似变换不改变矩阵的惯性指数。

  由于惯性指数是合同对称矩阵的“完全不变量”,那么对对称双线性函数的讨论完全可以脱离精确的线性函数范畴。尤其是其对称性,使得更简单常用的二次型便可以完全代表原矩阵,而正(负)定矩阵的概念更是根据二次型的特点命名的。现在站在二次型的角度,看看惯性指数还有什么特殊的意义。对二次型(f(x_1,cdots,x_n)),假设某个线性替换(不一定非退化)可以把它变成形式(1)左,下面证明(pgeqslant r,qgeqslant s)。

[f(x_1,cdots,x_n)=z_1^2+cdots+z_p^2-z_{p+1}^2-cdots-z_{p+q}^2;Rightarrow;pgeqslant r,qgeqslant s ag{1}]

  另外设(f(x_1,cdots,x_n))标准型是(y_1^2+cdots+y_r^2-y_{r+1}^2-cdots-y_{r+s}^2),以及(HX=Z,GX=Y),则有(HG^{-1}Y=Z)。如果(p<r),取(Y=(y_1,cdots,y_r,0,cdots,0)'),并令(Z)的前(p)个元素为(0),则由(p<r)可知这样的(Y e 0)是存在的。但这时(f(Y)>0)而(f(Z)leqslant 0),矛盾,这就证明了(pgeqslant r),同样可以证明(qgeqslant s)。这个结论说明惯性指数是所有“标准型”中(pm 1)个数最少的。

  要知道实对称矩阵的惯性指数,一般要计算所有特征值,计算复杂度较高。参考下面的2.1段,可知顺序主子式不为(0)的矩阵,可以有分解(A=R'DR),其中(R')为对角全为(1)的上三角矩阵,(D)为对角非零的对角矩阵。且其中(A)的顺序主子式和(D)的顺序主子式完全相同,而(D)的惯性指数显然可以由顺序主子式完全确定,最终就是说(A)的惯性指数它的顺序主子式完全确定。完整地讲,如果(A)的顺序主子式(A_k)都非零,则序列(1,A_1,A_2,cdots,A_n)的变号次数就是(A)的负惯性指数,不变号次数就是正惯性指数。

1.2 (半)正定矩阵

  正负惯性指数中有一项为(0)时,二次型在所有非零向量上表现出明显的符号特点(恒正、恒负、非正、非负),它们分别称为正定、负定、半负定、半正定,对应的矩阵也有相应的名称。尤其正定矩阵的恒正性,使得他很适合用来作为向量的度量,来定义向量的范数和距离。另外,对这类矩阵(二次型)的讨论有着非常实际的意义,由于对称性,这里仅讨论正定矩阵和半正定矩阵。

  注意到正定矩阵合同于单位矩阵(I),也就是说正定矩阵存在分解(A=C'C),其中(C)可逆。也可以换个说法,存在可逆矩阵(C)可把正定(A)对角化为(C'AC=I)。对另外任意的实对称矩阵(B),(C'BC)仍然是实对称矩阵,故存在实正交矩阵(T),使得(T'C'BCT=D= ext{diag}{mu_i})。

  设(P=CT),则有结论:当(A)为正定矩阵,(B)为实对称矩阵时,存在实可逆矩阵(P)使得(P'AP=I,P'BP=D)。这时容易有式(2)成立,当(B)是半正定矩阵时有(mu_igeqslant 0),从而得到(|A+B|geqslant|A|+|B|),其中等号成立的充要条件是(B=0)。

[|A+B|=|P^{-1}|^2prod_{i=1}^n(1+mu_i);;;|A|+|B|=|P^{-1}|^2(1+prod_{i=1}^nmu_i) ag{2}]

  现在考察正定矩阵(A=egin{bmatrix}B&C\C'&Dend{bmatrix}),用初等变换可将它对角化为(egin{bmatrix}B&0\0&D-C'B^{-1}Cend{bmatrix}),从而(B,D,D-C'B^{-1}C)都是正定矩阵。另一方面有式(3)左成立,再由刚才的不等式可有式(3)右成立,从而对正定矩阵(A),总有估计式(|A|leqslantprod a_{ii})成立。

[egin{vmatrix}B&C\C'&Dend{vmatrix}=|B||D-C'B^{-1}C|leqslant|B||D| ag{3}]

1.3 判定条件

  正定(半正定)矩阵的典型特点就是,它的合同对角矩阵的对角元为正数(非负),故它的行列式为也为正数(非负)。再从二次型的角度考察正定(半正定)矩阵(A),它使得任意(X'AX)为正数(非负)。取(X)为某(k)个维度的向量(其它(n-k)个维度为(0)),(X'AX)仍然是正定(半正定)的,其对应的行列式是(A)的一个主子式,这就证明了正定(半正定)矩阵的所有主子式为正数(非负)。

  反之,对所有主子式为正数(非负)的实对称矩阵(A),如果它不是正定(半正定)的,则存在特征值(lambda<0)。现在来考察特征多项式(f(lambda)),前面知道它的每一项是((-1)^klambda^{n-k}B_k),其中(B_k)是(A)的所有(k)阶主子式之和。由于(B_k)不可能全部为(0)(除非全(0)矩阵,而它是半正定的),故有(f(lambda) e 0),这与(lambda)是特征值矛盾,从而证明了逆命题也成立。

  以上证明了正定(半正定)矩阵的充要条件是所有主子式为正数(非负)。2.1节中还有结论:顺序主子式皆非零的实对称矩阵,它的惯性指数由顺序主子式完全确定,从而对于正定矩阵而言,它的充要条件可以弱化为顺序主子式皆为正数。但要注意顺序主子式皆非负,并不是半正定的充分条件,最简单的反例就是(egin{bmatrix}0&0\0&-1end{bmatrix})。

  除了以上正定的充要条件,有时也可以综合正定矩阵的性质来判定。正定矩阵的一个典型特点是它合同于单位矩阵(I),由此它可以分解为(P'P),其中(P)可逆。设(A,B)皆为正定矩阵,来考察(AB)的正定的充要条件,首先必须得有(AB)对称,由此可以推出(AB=BA)。反之如果(AB)对称,设(A=CC'),其中(C)可逆,则(C^{-1}ABC=C'BC)。由(B)正定知(C'BC)正定,所以它的特征值皆为正,从而(AB)的特征值也为正,证得(AB)正定。

   再看一个复杂一点的情况,假设(A,B)正定,考察矩阵(C={a_{ij}b_{ij}})。设(B)有正交分解(T'DT),其中(D= ext{diag}{mu_i}),(mu_i>0)是(B)的特征向量。这样可有(b_{ij}=sumlimits_kmu_kt_{ki}t_{k_j}),这样可有(C=sumlimits_kmu_kC_k),其中(C_k=[t_{ki}t_{kj}a_{ij}])。对任意列向量(X),(X’C_kX=delta'_kAdelta_k),其中(delta_k=[t_{k1}x_1,cdots,t_{kn}x_n]')。易知(delta_k)不全为(0),从而(X'CX=sumlimits_kmu_kX'C_kX>0),这就证明了(C)也是正定矩阵。

1.4 实可逆矩阵

  前面提到,任何正定矩阵都可以分解为(C'C),其中(C)是实可逆矩阵。反之,对任意实矩阵(C)(不一定是方阵),来考察对称矩阵(C'C)。设有(C'Calpha=lambdaalpha),两边左乘(alpha')得到(|Calpha|^2=lambda|alpha|^2),从而可以得到(lambdageqslant 0)。即(C'C)是半正定矩阵,尤其当(C'C)可逆时,它还是正定矩阵。

  另外,如果令方阵(C)有特征值(mu)和特征向量(alpha),则(alpha'C'Calpha=mu^2|alpha|^2)。再由上一篇式(18)可得(alpha'C'Calphain[lambda_1,lambda_n]|alpha|^2),其中(lambda_1,lambda_n)是(C'C)的最小(大)特征值,从而(mu^2in[lambda_1,lambda_n])。由于(C'C)的特征值非负,则可以得到估算式(sqrt{lambda_1}leqslant|mu|leqslantsqrt{lambda_n})。当(C)可逆时,由于(A=C'C)为正定矩阵,由1.2节的估计式可得到(|C|^2=|C'C|leqslant prodlimits_i a_{ii}),其中(a_{ii}=sumlimits_j c_{ji}^2),这就得到式(4)的Hadamard不等式

[|C| e 0;Rightarrow;|C|^2leqslant prod_{i=1}^nsum_{j=1}^n c_{ij}^2 ag{4}]

2. 矩阵的分解

  矩阵的分解是矩阵计算的主要课题,它的任务是把一般性的矩阵分解为一些特殊矩阵(对角矩阵、三角矩阵、正交矩阵等)的乘积、或特殊形式的乘积(相似、合同等)。这不仅能帮助分析矩阵的本质,分解得到的特殊矩阵还能便于计算、分析复杂的表达式。这里再举一些一般性的例子,在“矩阵计算”(也叫“矩阵分析”)这门课中,我们会见到更广泛的应用。

2.1 初等矩阵分解

  先来看一个基础的,我们知道任何可逆矩阵都可以通过初等变换变成(I),这就是说可以矩阵都可以分解为一些初等矩阵的乘积((P(j,i(k)),P(i(k)),P(i,j)))。另外由式(5)可知,(P(i,j))可以由其它两个初等矩阵表示,从而可逆矩阵都可以表示为两类初等矩阵之积((P(j,i(k)),P(i(k))))。其实不难发现,只用(P(j,i(k)))就可以把(A)对角化,且除了最后一个(a'_{nn})外都可以化为(1),也就是说(P(i(k)))只要在最后出现一下就可以了。特别地,当(|A|=1)时,连最后这个(P(n(1/|A|)))都不需要,(A)可以拆分为若干(P(j,i(k)))之积。

[P(i,j)=P(i,j(-1))P(j,i(1))P(i,j(-1))P(i(-1)) ag{5}]

  继续加强以上条件,先假设(a_{11} e 0),那么可以只用下三角的(P(j,i(k))),将(A)的第一列的后(n-1)个数变成(0)。如果变换后的(a'_{22} e 0),这个过程还可以继续下去,直到把(A)变成一个上三角矩阵(U)。注意到这样的变换并不改变顺序主子式的值,从而加入的一系列条件等价于(A)的所有顺序主子式都不为(0)。而根据所有(P(j,i(k)))变换特点,可知它们组合后的矩阵(B)是一个下三角矩阵,且对角线皆为(1)。

  结论可以总结为:如果(A)的所有顺序主子式都不为(0),则存在下三角矩阵(B)和上三角矩阵(U),使得(BA=U)。从而矩阵(A)有分解(A=LU),其中(L=B^{-1})为对角全为(1)的下三角矩阵(单位下三角矩阵),(U)是可逆上三角矩阵。满足条件的矩阵(A)显然都存在LU分解,并且用反证法还可知这样的分解是唯一的。设有两个分解(L_1U_1=L_2U_2),则有(L_2^{-1}L_1=U_2U_1^{-1})。等式左边是单位下三角矩阵,右边为上三角矩阵,从而等式为单位矩阵,进而有(L_1=L_2,U_1=U_2),故LU分解唯一。

  当以上结论作用于有同样性质(顺序主子式非零)的对称矩阵(A)时,同样可得到唯一分解(A=LDL'),其中(L)同上、(D)为可逆对角矩阵。这个结论在第一段中已经被使用过两次,请再回头品味它的应用。

  关于初等变换,当然还有一个浅显的结论值得一提。对于一般的矩阵(A_{m imes n}),通过初等变换可以把它变成(egin{bmatrix}I_r&0\0&0end{bmatrix})的形式。这就是说(A_{m imes n})可以分解为(P_megin{bmatrix}I_r&0\0&0end{bmatrix}Q_n),其中(P,Q)可逆、(r)为(A)的秩。

2.2 正交分解

  根据Schmidt正交化方法可知,任何可逆矩阵(A)都可以分解为(QR),其中(Q)为正交矩阵、(R)为上三角矩阵,这样的分解称为QR分解。另外,假设存在两个不同的分解(Q_1R_1=Q_2R_2),则有(Q_2^{-1}Q_1=R_1R_2^{-1}),等式左边是正交矩阵,右边为上三角矩阵。而显然三角正交矩阵只能是(I),故有(Q_1=Q_2,R_1=R_2),这说明QR分解是唯一的。其实对于一般的列满矩阵(A_{m imes n}),一样可以证明它有唯一分解(Q_{m imes n}R_n),其中(Q)为列满秩矩阵,(R)为上三角方阵。

  对于任意复矩阵(A),先找到任意特征值(lambda)及特征向量(alpha),将(alpha)单位化并开展为正交基({eta_1,cdots,eta_n})。考察正交矩阵(T_0=[eta_1,cdots,eta_n])下的正交变换(B=T_0^{-1}AT_0),易知(B)有形式(egin{bmatrix}lambda&eta\0&Cend{bmatrix})。利用归纳法可以证明,(A)正交相似于一个上三角矩阵(U),即存在正交矩阵(T)使得(A=T^{-1}UT)。

  对任意实矩阵(A),如果假设它的特征值都是实数,类似刚才的推论可以得到相同的结论。这时如果再附加对称的条件,则同样证得(A)正交相似于对角矩阵。这是我们熟悉的结论,这里从另一个视角再看到它。当然这个条件也可以以其它形式给出,比如假设(A'A=AA')(正规矩阵),可以得到(UU'=U'U),依次对比等式两边的对角线可知(U)为对角矩阵(从而(A)为对称矩阵)。

2.3 正定矩阵的分解

  由于实对称矩阵可以有正交变换(A=T^{-1}DT),如果(A)正定,则可以有拆分(D=D_0^2),其中(D_0= ext{diag}{sqrt{lambda_i}})。这样就可以说正定矩阵可以有分解(A=C^2),其中(C)为正定矩阵。(C=T^{-1}D_0T)是显然的一个分解((A=C^2)),那它是不是唯一分解呢?设有两种分解(C_1=T_1^{-1}D_1T_1,C_2=T_2^{-1}D_2T_2),由(C_1^2=C_2^2)可得(D_1^2S=SD_2^2),其中(S=T_1T_2^{-1})为正交矩阵。这样就有(d_{1i}^2s_{ij}=s_{ij}d_{2j}^2),不管怎样都有(d_{1i}s_{ij}=s_{ij}d_{2j}),从而(D_1S=SD_2)。再按原路返回便得到(C_1=C_2),分解的唯一性得证。

  另外,当(A)为实可逆矩阵时,(A'A)是正定矩阵,从而可以有唯一分解(A'A=S_1^2),其中(S_1)是正定矩阵。容易验证((A')^{-1}S_1)是正交矩阵,从而存在分解(A=TS_1),其中(T)为正交矩阵。取(S_2=TS_1T^{-1}),则有(A=S_2T),其中(S_2)也是正定矩阵。另外不难证明(S_1,S_2)的唯一性,从而得到极分解定理:实可逆矩阵有唯一分解(A=TS_1=S_2T),其中(T)为正交矩阵、(S_1,S_2)为正定矩阵。进一步地,可以将(S_1)进行正交分解,从而实可逆矩阵(A)有分解(T_1DT_2),其中(T_1,T_2)为正交矩阵、(D= ext{diag}{sqrt{lambda_i}})((lambda_i)为(A'A)特征值)。

2.4 矩阵分解总结

  以下式(6)~(11)总结了至今讲到的重要矩阵分解,其中(P)是可逆矩阵、(T,Q)是正交矩阵、(S)为正定矩阵、(L)为对角线全为(1)的下三角矩阵、(U,R)为可逆上三角矩阵,(overset{*}{=})表示分解唯一。(D)为对角矩阵,其中式(8)中(D)的对角元素为所有特征值,(11)式中(D)可逆。

[|A| e 0;Rightarrow; Aoverset{*}{=}QRoverset{*}{=}TS_1overset{*}{=}S_2T=T_1DT_2 ag{6}]

[A=A'Rightarrow A=P'DP ag{7}]

[A=A',Ain mathbb{R}_{n imes n}Rightarrow A=T'DT ag{8}]

[Acong I,Ain mathbb{R}_{n imes n};Rightarrow;A=P'Poverset{*}{=}S^2 ag{9}]

[A_k=egin{vmatrix}a_{11}&cdots&a_{1k}\vdots&ddots&vdots\a_{k1}&cdots&a_{kk}end{vmatrix} e 0,(k=1,cdots,n);Rightarrow; Aoverset{*}{=}LU ag{10}]

[A=A',A_k e 0;Rightarrow;A=LDL' ag{11}]

原文地址:https://www.cnblogs.com/edward-bian/p/12846736.html