1.机器学习中的微积分和矩阵

极限:

函数 f 在 x0 处的极限为 L:limx→x0 f(x) = L

精确描述:ϵ − δ 语言:对于任意的正数 ϵ > 0, 存在正数 δ, 使得任何满足 |x − x0| < δ 的 x, 都有 |f(x) − L| < ϵ

极限中的无穷小阶数(Definition):

**表示无穷小逼近的精确度,逼近速度

当x ->0 时:

  如果lim x→0 f(x) = 0而且lim x→0 f(x)/xn = 0 那么此时 f(x) 为n阶以上无穷小,计为f(x) = o(xn ), x → 0(如果一个函数趋近于0的速度和x趋近于0的速度一样那么我们称之为n阶以上的无穷小

  如果 lim x→0 f(x) = 0 而且 lim x→0 f(x)/xn 存在且不等于零,那么 此时 f(x) 为 n 阶无穷小,记为 f(x) = O(xn ), x → 0 为了方便,在不至于引起误解的时候我们回省略掉 x → 0.

微分学:

微分学的核心思想:逼近

如果一个函数 f(x) 在 x0 附近有定义,而且存在极限 L = lim(x→x0) (f(x) − f(x0))/(x − x0) . 那么 f(x) 在 x0 处可导且导数 f ′ (x0) = L.等价定义,无穷小量表述: 线性逼近 如果存在一个实数 L 使得 f(x) 满足, f(x) = f(x0) + L(x − x0) + o(x − x0), x → x0. 那么 f(x) 在 x0 处可导且导数 f ′ (x0) = L.

求导法则:

原文地址:https://www.cnblogs.com/coolcold/p/7588385.html