CS231N笔记之损失函数和优化

注意:该笔记是基于上一部分的笔记——线性分类器(linear classfier)而做,线性分类器由于太过简单,并没有
专门的进行笔记,而是略去。

首先,基于线性分类器,就需要获得权重矩阵W究竟是什么,此时需要用到两个策略,损失函数(loss function)和优化(optimization)。
首先回顾上一次的:
TODO
我们需要通过损失函数找到差距,之后利用优化策略改善权重矩阵的值已获得最好的效果。
如下图所示:
损失函数表示
x_i可以看作是图片数据,y_i可以看作是对应的标签,所以一个数据集可以如右图表示,此时函数f(x_i,W)代表线性分类器预测的结果,
而L_i()则表示第i个样本下的损失的量,对L_i取样本均值,即可得到总体的损失。

原文地址:https://www.cnblogs.com/liangzid/p/10910146.html