[ML]常用激活函数、优化函数、损失函数总结

一、激活函数：

1、sigmoid: y = 1 / (1 + exp(-x))

2、tanh: y = (exp(x) - exp(-x)) / (exp(x) + exp(-x))

3、relu: y = max(0,x)

4、leaky relu: y = max(0.01x,x)

二、优化函数

1、梯度下降算法

2、动量梯度下降算法（优势：使寻找最优值的过程曲线更平滑）

3、RMSPROP

4、Adam: momentum + RMSPROP

三、损失函数

1、MSE: L = (-1 / m) * sum(y_i - y_hat{i})^2（回归）

2、绝对值误差：L = (1 / m) * sum(|y_i - y_hat{i}|)（回归）

3、逻辑回归：L = (-1 / m) * sum(y* log(y_hat) + (1-y) * log(1- y_hat))（二分类）

4、交叉熵：L = (-sum(y_i * log (y_hat{i})))（多分类）

5、hinge loss(SVM): L = -(1/m) sum(1- y_i * y_hat{i})  (二分类)