如果需要小编其他数学基础博客，请移步小编的GitHub地址
传送门：请点击我
如果点击有误：https://github.com/LeBron-Jian/DeepLearningNote
这里我打算再补充一下关于线性代数的基础。
（注意：目前自己补充到的所有知识点，均按照自己网课视频中老师课程知识点走的，同时一些公式是网友辛辛苦苦敲的，这里用到那个博客均在文末补充地址，不过这里首先表示感谢！！）
1，行列式
1.1 行列式的定义
行列式在数学中，是一个函数，其定义域为det的矩阵A，取值为一个标量，写作 det(A) 或 |A|。无论是在线性代数，多项式理论，还是微积分学中（比如换元积分法），行列式作为基本的数学工具，都有着重要的应用。
下面先看看二次线性方程组的求解：
当 a11a22 - a12a21 ≠ 0 方程组有唯一解：
我们看行列式，发现其好像有点规律：
表达式 a11a22 - a12a21 即为二阶行列式。
其中 aij (i=1,2；j=1,2) 称为元素。 i 代表行标， j 代表列标。
三阶行列式如下：
所以可以得到行列式的定义为：n阶行列式是由 n 阶方阵形式的 n2 个数 aij（i,j=1,2,...n）确定的一个数，其值为 n!项之和。若n阶方阵A=(aij)，则A相应的行列式D记为：D=|A|=detA=det(aij)；若矩阵A相应的行列式D=0，称A为奇异矩阵，否则称为非奇异矩阵。
下面尝试计算一个三阶行列式，根据如上算法，计算过程如下：
1.2 行列式的性质
- 1，行列式A中某行（或者列）用同一数 k 乘，其结果等于 kA
- 2，行列式A等于其转置行列式AT（AT的第i行为A的第i列）
- 3，若 n 阶行列式 |aij| 中某行（或列）；行列式则 |aij| 是两个行列式的和，这两个行列式的第 i 行（或列），一个是 b1, b2,...bn，另一个是 c1, c2,...cn，其余各行（或列）上的元与 |aij| 的完全一样
- 4，行列式A中两行（或列）互换，其结果等于-A
- 5，把行列式A的某行（或列）中各元同乘一数后加到另一行（或列）中对应元上，结果仍然是A
1.3 矩阵与数据之间的关系
我们学习矩阵的目的，最终是要应用到机器学习，而不是单纯的学习数学推导，下面看矩阵和数据之间关系。
比如A，B，C，D 代表四座城市，他们之间可通行的关系为：
如果有表格的形式表示，则表示如下：
2，矩阵
2.1 矩阵的定义
在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的方阵，这一概念由19世纪英国数学家凯里首先提出。
何谓矩阵就是输入的数据就是矩阵，对数据做任何的操作都是矩阵的操作。
定义：矩阵是由行和列组成的，即 m*n 个数 aij 排成 m 行 n 列 的表格称为矩阵，简记为 A，或者（aij）m*n，若 m = n，则称A是 n 阶矩阵或 n 阶方阵，矩阵如下：
元素是实数的矩阵称为实矩阵，元素是复数的矩阵称为复矩阵
矩阵的特殊形式
行向量和列向量：
n阶矩阵（n阶方阵）：n阶方阵就是行和列一样，即 m=n，我们称A为 n 阶矩阵或 n 阶方阵：
三角矩阵（上三角矩阵与下三角矩阵）：在线性代数中，三角矩阵是方形矩阵的一种，因其非零系数的排列呈三角形状而得名。三角矩阵分为上三角和下三角。若i>j，则 uij=0的矩阵称为上三角矩阵；若i<j，则 uij=0的矩阵称为下三角矩阵。
对角阵与单位矩阵：（对角矩阵是对于m*m的居住，当i!=j时，有aij=0，此时所有非对角线上的元素均为0，此时的矩阵称为对角矩阵，当对角线的元素为1时，称为单位矩阵。）
同型矩阵：两个矩阵行列数相同的时候：
在同型的前提下，并且各个元素相等，这就是矩阵相等了：
对称矩阵：如果满足 AT = A ，那么 A就是对称矩阵。
如下行列式，均为对称矩阵：
2.2 矩阵的线性运算
矩阵运算在科学计算中非常重要，而矩阵的基本运算包括矩阵的加法，减法，数乘，转置，共轭和共轭转置。
下面通过两个 m*n 的矩阵来看一下其基本运算： A = (aij)，B = (bij)
矩阵的加减法
设 A = (aij) ，B = (bij) 是两个 m*n 矩阵，则 m*n 矩阵 C = (cij) = aij + bij ，称为矩阵 A 和 B 的和，记为 A + B = C。
矩阵的加法满足以下运算律（A，B，C都是同型矩阵）：
应该注意的是只有同型矩阵之间才可以进行加法。
矩阵的数乘
设 A = (aij) 是 m*n 矩阵，k 是一个常数，则 m*n 矩阵 (kaij) 称为数 k 与矩阵 A 的数乘，记为 kA ，如下：
矩阵的数乘满足以下运算律：
矩阵的加减法和矩阵的数乘合成矩阵的线性运算。
2.3 矩阵的转置
矩阵的转置就是行和列互相交换所产生的矩阵，记做AT，如下：
矩阵的转置有如下性质：
2.4 矩阵的逆
有关 A-1 的结论：
分块求逆公式：
这里 A， B 均为可逆方阵。
2.5 矩阵的秩
对于一个 S*N 的矩阵：
矩阵 A 的每一行可以看作一个 N 维向量：
α1， α2， ... αs 叫做 A 的行向量。
矩阵 A的每一列可以看作一个 S 维向量：
β1， β2， ... βn 叫做 A的列向量。
矩阵的秩表示什么呢？
对于下面的A矩阵：
行向量为：
求其极大线性无关组假设有：
则：
解得： k1 = k2 = k3 = 0，即 α1， α2， α3 线性无关。
由于含有零向量，必线性相关，所以向量组α1， α2， α3 ，α4 的秩为 3。
对于列向量同理可得：
但是 β1， β2， β3 ， β4 的秩为3。
矩阵的行秩 = 矩阵的列秩。
那么秩该如何理解呢？
可以对二维图像进行旋转，比如用旋转矩阵：
变换后的矩阵依然是二维的，所以旋转矩阵的秩为2，如下图：
或者对于下面的矩阵：
变换后的矩阵为一维的，所以矩阵的秩为1，如下图：
矩阵中最大不相关向量的个数就是秩，比如相册里有很多张图片（N），但是只有三个类（R），我们就把 R 当做矩阵的秩。
有关矩阵秩的结论：
2.6 矩阵的乘法
设 A = (aij) 是 m*n 矩阵，B = (bij) 是 n*s 矩阵，那么 m*s 矩阵 C = (cij) ，Cij 称为 AB 的乘积，记为 C = AB 。（注意两个矩阵的乘法仅当第一个矩阵A的列数和另一个矩阵B的行数相等时才能定义）
其中：
矩阵乘法有如下的运算规则（注意：矩阵乘法不满足交换律）包括左分配律，右分配律，结合律：
举个例子：有两个商场，三种电视机，求两个商场的销售额？（注意：A的列数要与B的函数相等）
注意：矩阵乘法没有交换律
举个简单的例子，当我们交换的时候，会出现下面结果：
2.7 行列式与矩阵的区别
行列式与矩阵的区别：
具体区别如下：
1，运算结果不同
矩阵是一个表格，行数和列数可以不一样；而行列式是一个数，且行数必须等于列数。只有方阵才可以定义它的行列式，而对于长方阵不能定义它的行列式。
两个矩阵相等是指对应元素都相等；两个行列式相等不要求对应元素都相等，甚至阶数也可以不一样，只要运算代数和的结果一样就可以了。
2，运算方式不同
两矩阵相加是将各对应元素相加；两行列式相加，是将运算结果相加，在特殊情况下（比如有行或列相同），只能将一行（或列）的元素相加，其余元素照写。
3，性质不同
数乘矩阵是指该数乘以矩阵的每一个元素；而数乘行列式，只能用此数乘行列式的某一行或列，提公因数也如此。
两矩阵相等指两同型矩阵的对应元素相等；两行列式相等指只要其值相等，不要求它们是同阶行列式，也不要求对应元素相等。
4，变换后的结果不同
矩阵经初等变换，其秩不变；行列式经初等变换，其值可能改变；换法变换要变好，倍法变换差被数，消法变换不改变。
2.8 矩阵方程
矩阵方程如何做呢？
如下：A是系数矩阵，X是未知数矩阵，B是常数矩阵
矩阵方程是未知数为矩阵的方程，对于矩阵方程，当系数矩阵为方阵时，先判断是否可逆。如果可逆，则可以利用左乘或者右乘逆矩阵的方法求出未知矩阵，如果方阵不可逆或系数矩阵不是方阵，则需要用矩阵的广义逆来确定矩阵方程有界的条件，进而在有解的情况下求出通解。
3，向量
3.1 向量的定义
在数学中，向量（也称为欧几里得向量，几何向量，矢量），指具有大小（magnitude）和方向的量。它可以形象的表示为带箭头的线段。箭头所指：代表向量的方向；线段长度：代表向量的大小。与向量对应的量叫做数量（物理学中称为标量），数量（标量）只有大小，没有方向。
在物理学和工程学中，几何向量更常被称为矢量。许多物理量都是矢量，比如一个物体的唯一，球撞向墙对其施加的力等等。与之相对的是标量，即只有大小没有方向的量。一些与向量有关的定义亦与物理概念有密切的联系，例如向量势对应于物理中的势能。
3.2 有关向量的线性表示
3.3 向量组的秩与矩阵的秩之间的关系
设 r(Am*n) = r ，则 A 的秩 r(A) 与 A 的行列向量组的线性相关性关系为：
3.4 n 维向量空间的基变换公式及过渡矩阵
若 α1， α2， ...α3 与 β1， β2，... βn 是向量空间 V 的两组基，则基变换公式为：
其中 C是可逆矩阵，称为由基 α1，α2，....αn到基β1，β2，...βn 的过渡矩阵。
坐标变换公式：
3.5 向量的内积（点积）
点积在数学中，又称数量积（dot product；scalar product），是指接受在实数R上的两个向量并返回一个实数值标量的二元运算。它是欧几里得空间的标准内积。
设有 n 维向量：
则当：
此时，我们就把 [x. y] 叫做向量的内积。
内积的性质如下：
3.6 向量的长度
几何空间中向量长度概念的推广，设 x 为欧式空间 V 的向量，非负实数（x, x）的算法平方根 √ (x, x) 称为向量 x 的长度或长，也称为 x 的模，记为 ||x||。
向量的长度具有如下性质：
- 1，对于任意的 x 属于 V，|x| >=0， |x|=0 当且仅当 x=0
- 2，对于任意的 k 属于 R，x属于V，|kx|=|k||x|，其中 |k| 是 k的绝对值。
老师的PPT如下：
3.7 向量的正交
两两正交的非零向量组成为正交向量组。若 a1, a2,....ar 是两两正交的非零向量，则 a1, a2,....ar 线性无关。
例如，已知三维向量空间 R3 中两个向量a1, a2 正交，试求一个非零向量 a3，使得a1, a2 ，a3 两两正交：
3.8 正交基及规范正交基
向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。
其性质如下：
4，线性方程组
4.1 克莱姆法则
对于线性方程组：
如果系数行列式 D = |A| ≠ 0，则方程有唯一解，
其中 Dj 是把 D 中第 j 列元素换成方程组右端的常数类所得的行列式。
n阶矩阵 A 可逆 r(Am*n) = m 只有零解 <==> 对于任意b，Ax = b 总有唯一解，一般地，r(Am*n) <==> Ax=0 只有零解。
4.2 非齐次线性方程组有解的充分必要条件，线性方程组解的性质和解决的结构
4.3 齐次线性方程的基础解析和通解，解空间，非其次线性方程组的通解
参考链接：https://zhuanlan.zhihu.com/p/36584206