3. 损失函数和优化介绍

损失函数和优化介绍

1. Loss function

A loss function tells how good our current model classifier is.

1.1 Multiclass SVM loss

$$L_i=\sum _{j�=y_i}max(0,s_j-s_{y_i}+\Delta )$$
notation: $s=f(x_i,W),\Delta$ is safety margin

1.2 Regularization

$$L(W)=\underset{Dataloss}{\underbrace{\frac{1}{N}\sum _{i=1}^N{L}_i(f(x_i,W),y_i)}}+\underset{Regularization:Modelshouldbe"simple"}{\underbrace{\lambda R(W)}}$$

1.3 Softmax Classifier

 这里计算的是Softmax的损失函数，其实和交叉熵损失是一个东西。交叉熵损失也就是下面这个公式，其目的是为了保持模型预测的概率与ground truth是同分布的。交叉熵公式如下：
$$J=-\sum _{i=1}^K{y}_{i}log(P_i)$$

2. Optimization

 这里介绍了数值计算梯度下降和公式计算梯度下降。虽然数值计算梯度下降计算很慢，但是这个可以用来做一个参考，来检测我们写的公式计算梯度是否正确。