高数
梯度与法向量的关系
求曲面$f(x^{(1)},...,x^{(n)})=0$在$(x^{(1)}_0,...,x^{(n)}_0)$处的法向量(有$f(x^{(1)}_0,...,x^{(n)}_0)=0$),实际上就是求$z = f(x^{(1)},...,x^{(n)})$在$(x^{(1)}_0,...,x^{(n)}_0)$处的梯度。而显式函数的梯度通常是很好求的,只要求偏导数即可。
这是因为,原本的低维函数$f(x^{(1)},...,x^{(n)})=0$,实际上就是拓展后的高维函数$z = f(x^{(1)},...,x^{(n)})$在$z=0$处的等高线,而与等高线垂直也就是增长最快的方向,就是它的梯度了。
另外,由于梯度指向的是函数增大的方向,所以这样求出的法向量方向指向的是$f(x^{(1)},...,x^{(n)})>0$的区域。
求和与乘积
$sumlimits_i^n a_i sumlimits_j^m b_j = sumlimits_i^nsumlimits_j^m a_ib_j$,这是因为:
$(a_1+...+a_n)(b_1+...+b_m) = [a_1(b_1+...+b_m)+...+a_n(b_1+...+b_m)]=(a_1b_1+...+a_nb_m) $
线代
内积
内积$xy$的实际上就是$x$在$y$方向的轴上的坐标,如果$y$是单位向量的话。
对称矩阵正定
对称矩阵$A$一定能分解为某个矩阵与其转置的乘积:
$A = BB^T$
但因为$B$不一定是实数矩阵,如:
$ left[ egin{matrix} -1&0 \ 0& 1\ end{matrix} ight]=left[ egin{matrix} i&0 \ 0& 1\ end{matrix} ight]cdot left[ egin{matrix} i&0 \ 0& 1\ end{matrix} ight]$
所以不能由
$x^TAx=x^TBB^Tx=(B^Tx)^TB^Txge0$
得出对称矩阵一定半正定。而如果对称矩阵由实数矩阵与其转置的乘积定义,就能得到该对称矩阵半正定,比如协方差矩阵:
$Sigma = (X-mu)(X-mu)^Tsucceq0$