激活函数

激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式;激活函数最终决定了要发射给下一个神经元的内容。

在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出.

======>>>>>

(1)Sigmoid 函数

 在什么情况下适合使用 Sigmoid 激活函数

• Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到 1，因此它对每个神经元的输出进行了归一化；

• 用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1，因此 Sigmoid 函数非常合适；

• 梯度平滑，避免「跳跃」的输出值；

• 函数是可微的。这意味着可以找到任意两个点的 sigmoid 曲线的斜率；

• 明确的预测，即非常接近 1 或 0。

(2). Tanh / 双曲正切激活函数

 

(3.) ReLU 激活函数

 

 (4). Leaky ReLU

【注】：

1. Leaky ReLU 通过把 x 的非常小的线性分量给予负输入（0.01x）来调整负值的零梯度（zero gradients）问题；

2. leak 有助于扩大 ReLU 函数的范围，通常 a 的值为 0.01 左右；

3. Leaky ReLU 的函数范围是（负无穷到正无穷）。

（5）. ELU 

 

 （6）. PReLU（Parametric ReLU）

 

 

（ 7）. Softmax

 

 （8）. Swish

y = x * sigmoid (x)

(9) Maxout

 

 (10). Softplus

 Softplus 函数：f（x）= ln（1 + exp x）
Softplus 的导数为
f ′(x)=exp(x) / ( 1+exp⁡ x )
= 1/ (1 +exp(−x ))