【笔记】Sigmoid函数

Preface

我们在高中的时候学习过,有一种曲线叫做 S型生长曲线
还有一个叫做什么逻辑斯谛方程的东西
生物学意义上,Logistic Equation 是指这样的一个微分方程:

[frac{dN}{dt}=rNcdotleft(1-frac{N}{K} ight) ]

里面几个字母分别是种群数量 (N)、时间 (t)、“种群增长潜力指数”(r) 和环境容纳量 (K)

试着把这个微分方程解一下?


Sigmoid Function

总之呢。
Sigmoid Function 是指:

[egin{equation} sigma:mathbb R o(0,1)quad s.t.quadsigma(z)=frac{1}{1+e^{-z}} label{1} end{equation}]

有一个特性:

[sigma'(z)=frac{e^{-z}}{(1+e^{-z})^2}=sigma(z)cdot(1-sigma(z)) ]

Sigmoid函数的图像(部分):



Logit Function(Log Odds)

The logit function is the inverse of the sigmoidal “logistic” function.

对于某发生概率为 (p) 的事件,事件的几率(Odds)

[frac{p}{1-p}inmathbb{R_+} ]

事件的对数几率(Log Odds)

[ell(p)=logfrac{p}{1-p}inmathbb{R} ]

这样的话,就有

[egin{equation} ell(\,P(y=1|oldsymbol x)\,)=oldsymbol{omega^dagger x} label{2} end{equation}]

其中 (P(y=1|oldsymbol x)) 表示当输入为 (oldsymbol x) 时,实例被分到 (1) 类中的概率;
(oldsymbolomega) 为权重向量。现在暂时先不确定它是什么。

现在要搞分类。就是要由 (oldsymbol{omega^dagger x}) 得到 (ell(\,P(y=1|oldsymbol x)\,)) 得到 (P(y=1|oldsymbol x))
(z=oldsymbol{omega^dagger x}) 就有 (z=ell(p)),由 (eqref{2}) 得到

[p=ell^{-1}(z)=frac{1}{1+e^{-z}}=sigma(z) ]

(eqref{1})

原文地址:https://www.cnblogs.com/ccryolitecc/p/13908025.html