【代数】
Moore-Penrose 伪逆
【概率信息论】
自信息，香农熵，衡量两个分布的差异：kl散度 交叉熵
【数值】
溢出： softmax计算的时候要关注上溢和下溢，如果所有X都相等且为很小的负数的话，有分母为零的风险。
病态条件： 矩阵求逆对输入的误差可能很敏感，这样由于输入的不精确，会导致结果的不精确。
用条件数来衡量。条件数定义为
Jacobian和Hessian阵：
Jacobian阵，m维 to n维， nxm矩阵，yi To xj。多维输出的一阶导数
Hessian阵：m维 to 1维， mxm矩阵，二阶导数，对称阵。将其进行特征值分解，可以得到在哪个方向下降的比较快。正定的时候是局部最小值。
梯度下降法无法包含曲率信息，如果Hessian矩阵条件数过大，一阶方法往往会出问题。
如何计算Hessian阵？ / 如何评估是否需要二阶优化？二阶优化在鞍点是有害的。
深度学习背景下凸优化重要性大大减少。
KKT条件，有空自己推一遍。。。