线性代数

一、矩阵篇

1、Jacobian矩阵（雅可比）

yi是关于x=(x1, x2...)的多元函数, yi对x的导数矩阵就是雅可比矩阵

$[\begin{matrix} \frac{\partial y_{1}}{\partial x_{1}} & \dots & \frac{\partial y_{1}}{\partial x_{n}} \\ ⋮ & ⋱ & ⋮ \\ \frac{\partial y_{m}}{\partial x_{1}} & \dots & \frac{\partial y_{m}}{\partial x_{n}} \end{matrix}]$

2、Hessian矩阵

海森矩阵是函数的二阶偏导矩阵

3、正定、半正定矩阵 4、奇异矩阵 5、协方差矩阵 协方差是用来衡量两个向量之间的相关性，记作cov（ X ， Y ） = E[(Xi - EX) T (Yi - EY)], 如果是正数表示正相关，如果是负数表示负相关。 对于多元变量来说，如果想要每个维度之间的关系就会产生协方差矩阵，其中协方差矩阵是一个对称方阵，它的的秩是 样本的维度，注意是维度不是个数。 对于中心化后的样本来说， 协方差矩阵求解方法为\sum = \sum 1,n X i T Xi, Xi 是一个样本行向量 协方差矩阵详解参考 https://www.cnblogs.com/chaosimple/p/3182157.html