[北航矩阵理论A]课程笔记

[北航矩阵理论A]课程笔记

一、特征值

1. 特征根相关：
   设任一方阵 (A = (a_{ij})_{n imes n} in C^{n imes n})

   • 特征多项式 (T(lambda)=|lambda I- A| = Pi(lambda-lambda_i))
   • 全体特征根（含重复）：(lambda(A) = {lambda_1,cdots,lambda_n})，叫做矩阵的 “谱”
   • 特征值两个性质：
     • (Sigma lambda_i = tr(A)) 特征根和等于矩阵迹和
     • (Pi lambda_i = det(A)) 特征根积等于行列式值
     • (P可逆，P^{-1}AP = B)，叫做A的一个相似变换，相似变换特征值不变

2. 分块求特征值：

   • 当矩阵可化为分块上（下）三角时，求主对角线上的矩阵块的特征值，并求并集，保留重复
   [A = igg( egin{matrix} B & O \ C & D end{matrix}igg) ]
   [A = igg( egin{matrix} B & C \ O & D end{matrix}igg) ]

3. 特征根观察法：(A = (a_{ij})_{n imes n})

   • 若 (A) 中每行和恒为常数 (a)，则(lambda_1 = a in lambda(A))，且 (X = igg(egin{matrix} 1\...\1end{matrix}igg))为对应的特征向量
   • 若 (A) 中每列和恒为常数 (a)，则...........,但(X = igg(egin{matrix} 1\...\1end{matrix}igg))不一定为特征向量

4. 平移法则：特征向量不变

   • (A pm CI)与 (A)有相同的特征向量，且((A pm CI)X_i = (lambda_i pm C)X_i)

5. 多项式法则：

   • (f(A))与(A)的特征向量相同，特征值分别为(f(lambda),lambda)

二、Jordan形

1. 三角阵定理：

   • 任一方阵 (A)，存在可逆阵 (P) 使A相似于 (D) （上三角）

2. 接三角阵定理：

   • 可选取P使三角形简化为双线上三角，此时(D)被称为(A)的(Jordan)形
     • 其中，重复根排在一起 ，(* = 0/1)；不同根之间 (* = 0)
     [exists P,P^{-1}AP = D = left( egin{matrix} lambda_1 & * & cdots & 0\ vdots & lambda_2 & * &vdots\ vdots & vdots & ddots &*\s 0 & 0 & 0 & lambda_n \ end{matrix} ight)_{n imes n} ]

3. 若当块定义：

   • 一阶若当块是一个数 ((a))
   • k阶若当块(k重根(lambda))形为：
     [J_k(a) = left( egin{matrix} a & 1 & cdots&cdots & 0\ vdots & a & 1 &cdots &vdots\ vdots & vdots & ddots &ddots &1\ 0 & 0 & 0 & 0 & a end{matrix} ight)_{k imes k} ]

4. Jordan形定理：

   • 任一 ：(A = (a_{ij})_{n imes n} in C^{n imes n}，exists P)
     • (A)共有(t)个不同的特征根，每个特征根分别为(k_i)重特征根
     • 其中(J_{k_i}^{(lambda_i)})为若当块
     [p = left( egin{matrix} J_{k_1}^{(lambda_1)} & 0 & cdots&cdots & 0\ vdots & J_{k_2}^{(lambda_2)} & 0 &cdots &vdots\ vdots & vdots & ddots &ddots & 0 \ 0 & 0 & 0 & 0 & J_{k_t}^{(lambda_t)} end{matrix} ight)_{n imes n} ]

三、一些基础

1. 共轭转置：

   • (A^H = overline{A}^T)
   • 一些性质：
     • (overline{AB} = ar A ar B)
     • ((AB)^H = B^HA^H)
     • ((ABC)^H = C^HB^HA^H)
     • ((A+B)^H = A^H + B^H)
     • ((kA)^H = ar k A^H)
   • 几个公式：
     • (r(A^HA) = r(A) = r(AA^H))
     • (AX = 0,A^HAX = 0) 有相同解：(X^H(A^HAX) = 0 Rightarrow |AX|^2 = 0)，所以这两个方程解空间维数相同，所以上一行三个矩阵的秩相同

2. 向量模长：

   • 模公式：(|X|^2 = X^HX = Sigma ar x_i x_i = Sigma |x_i|^2)
   • 一些性质：
     • (|kX| = |k||X|)
   • 一些公式：
     • (frac{X}{|X|})为(vec X)方向的单位向量
     • (tr(X^HX) = tr(XX^H) = |X|^2)
     • (A = (a_{ij})_{n imes n} in C^{n imes n},tr(A^HA) = tr(AA^H) = sum sum |a_{ij}|^2)
       • 若 (tr(AA^H) = 0或tr(A^HA) = 0,则A = 0)
       • 若 (AA^H = 0或A^HA = 0,则A = 0)

3. (C^{n imes n})内积：

   • 定义((X|Y) = Y^HX)，(X)，(Y)为列向量
   • 内积公理
     • (X eq 0,(X|X)>0)
     • (overline{(Y|X)} = (X|Y))
     • ((kX|Y) = k(X|Y),(X|kY) = ar k(X|Y))
     • ((X+Y|Z) = (X|Z) + (Y|Z),(X|Y+Z) = (X|Y) + (X|Z))

4. 正交：

   • 正交则内积为0
   • 正交组一定是线性无关组
   • 菱形对角线在实空间内正交

5. 酉阵

   • 定义：
     • (A = A_{n imes p})中各列相互正交，称(A)为预备半酉阵
     • (B = B_{n imes p})中各列相互正交且都为单位向量，即 (B^HB = I_P),称(B)为半酉阵
     • 方阵(C)中各列相互正交且都为单位向量，即 (C^HC = I_P),称(C)为半酉阵
   • 常用酉阵等价条件：
     • (A^HA = I_n Leftrightarrow A^{-1} = A^H)
     • (A^HA = AA^H = I)
   • 性质：
     • 保内积：((AX,AY) = (X,Y))
     • 保长：(|AX|^2 = |X|^2)
     • 保正交：(X_1 perp X_2 perpcdotsperp X_n Rightarrow AX_1 perp AX_2 perpcdotsperp AX_n)

6. 镜面阵

   [A = I - frac{2XX^H}{|X|^2} ]
   • 性质：
     • (A^H = A)
     • (A^2 = I)
     • (A)为酉阵，(A^{-1} = A^H)
     • (AX = -X)
     • (if X perp Y,AY = Y)
     • (lambda(A) = {-1,1,cdots,1},det(A) = -1)
   • 结论：
     • ((alpha,eta))为实数，两向量不相等，则存在镜面阵使得 (Aalpha = eta)且
     [A = I - frac{2(alpha-eta)(alpha-eta)^H}{(alpha-eta)^2} ]
     • 证明：由镜面公式，取(X = alpha - eta)，使用性质4、5
   • 引理(构造镜面阵)
     • (C^{n})中任一 (alpha = (alpha_1,cdots,alpha_n)^T eq vec 0)，令(eta = (lambda|alpha|,0,cdots,0)^T)
     [lambda = egin{cases} frac{alpha_1}{|alpha_1|}& alpha_1 = 0\ 1& alpha_1 eq 0 end{cases}]
     则存在镜面阵 (A) 使得 (Aalpha = eta)

7. Hermite阵

   [A^H = A,Ain C^{n imes n} ]

   斜Hermite：(A^H = -A)，则(frac{A}{i},Ai)为Hermite

   • 一些性质：
     • 若A为Hermite，则存在酉阵Q使得(Q^{-1}AQ = D)为正线上三角，且主对角线元素均为实数
     • (f(X) = X^HAX)只取实数
     • (lambda_1 = frac{X^HAX}{|X|^2})，其中X为非零特征向量
     • (A = A^H,A ge 0 Leftrightarrow lambda_i ge 0)
     • (A = A^H,A > 0 Leftrightarrow lambda_i > 0)
       • (Rightarrow : X^HAX > 0,lambda_i = frac{X^HAX}{|X|^2}>0)
       • (Leftarrow : A = A^H Rightarrow Q^HAQ = D)，D的主对角线为特征值，(Y^H(Q^HAQ)Y = Y^HDY = sumlambda_i|y_i|^2>0)，记((QY)^HA(QY)>0,X = QY)
     • 若(Age0 Rightarrow exists B B^2 =A,B ge 0,)
       • (A = A^H Rightarrow Q^HAQ = D,Q)为酉阵，D的主对角线为特征值，且均大于等于0，令(B = Qsqrt{D}Q^H)，易得B为Hermite，且B相似于(sqrt{D})，B为半正定
     • 任一(A = A_{m imes n},A^HA,AA^H ge 0)，且都是Hermite
     • 任一方阵(A = A_{n imes n},A + A^H)是Hermite
   • 定理：
     • 若(A = A^H in C^{n imes n})，则A恰有n个正交的特征向量$
       • (A = A^H Rightarrow Q^HAQ = D,Q)为酉阵，且Q每一列都是特征向量，且正交

8. 正定性：

   • 半正定：定义：(A = A^H in C^{n imes n},f(X) = X^HAX ge 0)，记为(Age 0)

四、QR分解

1. 求法：
   (A = A_{n imes p})，且(A)列满秩，如何求 (A = QR):

   • 其中 (Q = (epsilon_1,...epsilon_p)_{n imes p}) 为半酉阵（或酉阵）
     • 对A使用施密特正交化方法：
       [Y_1 = X_1 ]
       [Y_2 = X_2 - frac{(X_2,Y_1)}{|Y_1|^2}Y_1 ]
       [Y_3 = X_3 - frac{(X_3,Y_1)}{|Y_1|^2}Y_1 - frac{(X_3,Y_2)}{|Y_2|^2}Y_2 ]
       [Y_p = X_p - sum^{p-1}_{j = 0} frac{(X_n,Y_i)}{|Y_i|^2}Y_i ]

     • 对 (Y_i) 进行单位化，得到 (epsilon_i)
   • R为正线上三角，且主对角线上元素 (b_i = |Y_i|)
     • (A = QR Rightarrow Q^HA = R)

2. 结论

   • 任一方阵(A in C^{n imes n})，存在酉阵(Q)与上三角阵(R)，使得(A = QR)
     • 取(A)第一列，利用镜面阵引理构造镜面阵(P)
     • (PA = R,A = P^{-1}R) 形如 (A = QR)

五、常见矩阵分解

1. 秩1分解：设 (A = A_{m imes n},r(A) = rank(A) = 1)，即(A)各列成比例，记 (A = alphaeta,alpha = (alpha_1,cdots,alpha_m)^T,eta = (eta_1,cdots,eta_n))

   • 当A为方阵时，(lambda(A) = {tr(A),0,cdots,0})，且(Aalpha = tr(A)alpha)，解(Sigma b_ix_i = 0)，得到另外的特征向量

2. 满秩分解（高低分解）：设 (A = A_{m imes n},r(A) = rank(A) = P(P ge 1)Rightarrow A = BC)，其中(B = B_{m imes p})，为列满秩(r(B) = P) （B叫高阵）；(C = C_{p imes n})，为行满纸(r(C) = P) （C叫低阵）

   • 解法：行变法，将A转化为形如D的矩阵，取(oldsymbol{D})的前(P)行为(C)，取(oldsymbol{A})中前(P)列为(B)：
   [D = left( egin{matrix} 1 & cdots & 0& * &cdots & * \ vdots & ddots & vdots & * &cdots & * \ 0 & cdots &1 & * &cdots & * \ 0 & cdots & 0 & 0 &cdots & 0 \ vdots &vdots &vdots &vdots &vdots &vdots \ 0 &0 &0 &0 &0 &0 & \ end{matrix} ight)_{m imes n}\ ]
   • 几个性质：
     • 高阵(B)有左侧逆(B_L)：(B_LB = I_P,B_L = (B^HB)^{-1}B^H)
     • 低阵(C)有右侧逆(C_R)：(CC_R = I_P,C_R = C^H(CC^H)^{-1})
   • 用法：
     • 若 (BCX = 0)，B为高阵，则 (B_LBCX = 0 Rightarrow CX = 0)
     • 若 (BX = BY)，B为高阵，则 (B_LBX = B_LBY)

六、换位公式

(A = A_{n imes p},B = B_{p imes n},AB in C^{n imes n},BA in C^{p imes p})

• 则 (|lambda I_n - AB| = lambda^{n-p}|lambda I_p - BA|)
  [令 M = left( egin{matrix} AB& O\ B&O_p\ end{matrix} ight)_{n+p},N = left( egin{matrix} O_n& O\ B&BA\ end{matrix} ight)_{n+p},P = left( egin{matrix} I_n& A\ O&I_p\ end{matrix} ight)]
  [MP = left( egin{matrix} AB& ABA\ B&BA\ end{matrix} ight) = PN,且P^{-1} = left( egin{matrix} I_n& -A\ O&I_p\ end{matrix} ight)]
  [MP = PN Rightarrow P^{-1}MP = N Rightarrow |lambda I - M| = |lambda I -N| Rightarrow |lambda I_n - AB| = lambda^{n-p}|lambda I_p - BA| ]

• (AB)与(BA) 只差 (n-p) 个 (0) 根
• (tr(AB) = tr(BA) = sum {lambda_i})

七、奇异值分解

正奇值：设 (A = A_{m imes n}, r(A) = P > 0) ，则 (A^HA) 与 (AA^H) 恰有(P)个正特征根，称(sqrt{lambda_1},cdots,sqrt{lambda_p})为(A)的正奇异值，记为(S^+ (A) = {sqrt{lambda_1},cdots,sqrt{lambda_p}})

简奇异值分解：任意 (A = A_{m imes n},r(A) = r >0)，则有分解 (A = PDelta Q^H)，其中 (Delta) 为正线上三角，主对角线上依次为(sqrt{lambda_1},cdots,sqrt{lambda_p})，且(P = P_{m imes r},Q = Q_{n imes r})都是半酉阵：(P^HP = Q^HQ = I_r)

• 已知简奇异值分解 (A = PDelta Q^H,则A^H = QDelta P^H为A^H)的简化奇异值分解
• 令(P = (Y_1,cdots,Y_r),Q = (X_1,cdots,X_r))，可写(A = sum sqrt{lambda_i}Y_iX_i^H)

解法：求(A^HA)的正特征值，与对应的特征向量，令(Q = (frac{X_1}{|X_1|},cdots,frac{X_p}{|X_p|}),P = (frac{AX_1}{|AX_1|},cdots,frac{AX_p}{|AX_p|}))

奇异值分解：将简奇异值分解的(P,Q)扩充为酉阵，并将(Delta)扩充为与A同型

八、单纯阵

(A = A_{n imes n})为单阵(Leftrightarrow A sim D,D)为正线上三角，对角线上为特征值 (Leftrightarrow P^{-1}AP = D)，也叫做可对角化

• (A = A_{n imes n})为单阵(Leftrightarrow A) 有 (n) 个线性无关的特征向量
• (A = A_{n imes n})为单阵(Leftrightarrow) 每个 (k) 重根，恰有(k)个线性无关的特征向量
• 若(n)阶方阵(A)有n个互异根，则(A)为单阵
• 若每个 (k>1) 重根，恰有 (k) 个特征向量，则 (A) 为单阵
• (A = A_{n imes n})恰有(k)个互异根，且(Pi (A-lambda_i) = 0)，则(A)为单阵，反之亦然
• 任意一个(k>1)重根(lambda_i in lambda(A))
  • 若 (r(A-lambda_i I) = n-k)，则(A)为单阵，反之亦然

补充定义：若方阵(A)与多项式(f(x))，(f(A) = 0)，则称(f(x))为(A)的一个0化式，(A)叫做(f(x))的一个矩阵根

• 可求出矩阵(A)次数最低的0化式，叫做(A)的极小式(m_A(x))

Cayley定理：方阵(A)的特征多项式(T(x) = |xI-A|)，使得(T(A) = 0)

• 若(f(x))无重根且为(A)的0化式，则(A)为单阵

谱分解公式：

• 记(P^{-1}AP = D,D)为正线上三角，记(D = sum lambda_iE_i)，有：
  • (sum E_i = I_n)
  • (E_iE_j = 0, i e j)
  • (E^2_i = E_i)
  • (E^H_i = E_i)
• 记(P^{-1}AP = D Rightarrow A = PDP^{-1} = sum lambda_i(PE_iP^{-1}))
  • 记(F_i = PE_iP^{-1})
  • 可写(A =sum lambda_iF_i)（即A的原谱分解），且：
    • (sum F_i = I_n)
    • (F_iF_j = 0, i e j)
    • (F^2_i = F_i)
    • 但(F^H_i e F_i)，当且仅当P为酉阵时成立(F^H_i = F_i)
• 单阵谱分解公式：若A为单阵，全体不同根为(t_1,cdots,t_k,k le n)有：
  • (A =sum t_iG_i)，这些G叫做谱阵
  • (sum G_i = I_n)
  • (G_iG_j = 0, i e j)
  • (G^2_i = G_i)
  • (A^p =sum t^p_iG_i)
  • 任意多项式(f(x))，有(f(A) = sum f(t_i)G_i)
  • 且(G_i = frac{(A-t_1)(A-t_2)cdots(A-t_k)}{(t_i-t_1)(t_i-t_2)cdots(t_i-t_k)})，其中分子中不含((A-t_i))，分母中不含((t_i-t_i))