线性代数回顾
- 对角矩阵：只有对角线元素的矩阵，记为diag(a, b, c ...)
- 矩阵的基本变换是可逆的过程
- 矩阵的秩：矩阵非零子式的最高阶数。
- 矩阵的内积：
[(a, b) = sum_{i=1}^na_i*overline{b_i}
]
- 矩阵的范数：
[||a|| = sqrt{(a, a)}
]
- 矩阵的范数满足：
[||ca|| = |c| ||a||
]
其中c是常数。
- Schwarz不等式：
[|(a, b)| leq ||a||·||b||
]
当a和b线性依赖时等号成立。
- 三角不等式：
[||a+b|| leq ||a|| + ||b||
]
当存在实数c使得b = ca或a = 0
- 共轭转置矩阵A*的性质
- 对(m, n)型矩阵A满足(Ax, y) = (x, A*y)
- 对于Hermite矩阵满足A* = A
- 满足A*A = AA* = E的矩阵称为幺正矩阵或酉矩阵
- 满足A'A = AA' = E的矩阵称为正交矩阵 - 对于复数方块矩阵A，以下4个条件等价
- A是幺正矩阵。
- 对于任意的n次向量x有||AX|| = ||x||
- 对于任意的n次向量x、y有(Ax, Ay) = (x, y)
- A = (a1 a2 ... an)的情况下，满足(ai, aj) = (delta_{ij})，其中(delta_{ij})为克罗内克符号。 - Cramer公式：一个线性方程组可以用矩阵与向量的方程来表示：
[Ax = c
]
其中的A是一个n×n的方块矩阵，而向量(x=(x_1,x_2,⋯x_n)^T)是一个长度为n的列向量，(c=(c_1,c_2,⋯c_n)^T)也相同。Cramner公式说明如果A是一个可逆矩阵，那么方程有解(x=(x_1,x_2,⋯x_n)^T)，其中
[x_i = frac{det(A_i)}{det(A)}
]
其中(A_i)是被c取代了A的第i列向量后得到的矩阵。为了方便我们通常用(Delta)来表示det(A)，用(Delta_i)来表示det((A_i))，所以可以写作：
[x_i = frac{Delta_i}{Delta}
]
- 空间向量的外积：有(x=(x_1,x_2,x_3)^T)、(y=(y_1,y_2,y_3)^T)，有如下的公式
[x imes y = (x_2y_3 - x_3y_2, x_3y_1 - x_1y_3, x_1y_2 - x_2y_1)^T
]
- 空间向量的外积有如下的性质：
- $b imes a = - a imes b
- (a x b, a) = (a x b, b) = 0
- a, b线性相关则a x b = 0
- a, b线性独立则||a x b|| = ||a|| ||b|| (sin heta)
- 3次行列式的列向量(a_i)，满足如下的条件
[(a_1 imes a_2, a_3) = det A = det(a_1, a_2, a_3)
]
未完待续
本博文参考书目：
- Deep Learning Chapter 2
- 大学院入試問題<数学＞ 数理工学社
- 演習 大学院入試問題 サイエンス社
- 线性代数与空间解析几何 高等教育出版社