【CS231N】2、多类SVM

一、疑问

1. assignments1

• linear_svm.py文件的函数 svm_loss_naive中，使用循环的方式实现梯度计算

• linear_svm.py文件的函数 svm_loss_vectorized中，梯度的向量化实现

SVM的损失函数在某个数据点上的计算：

对函数进行微分，比如对进行微分得到：

在代码实现的时候，只需要计算没有满足边界值的分类的数量（因此对损失函数产生了贡献），然后乘以就是梯度了。注意，这个梯度只是对应正确分类的W的行向量的梯度，那些行的梯度是：

二、知识点

1. 数据集划分

• 训练集：训练模型用；

• 验证集：用以最优参数的调试选择；

• 测试集：测定训练好的模型的表现情况；

• 开发集：在实际开发中，训练集往往包含很多数据，为了节省计算时间，往往使用训练集的一小部分子集，用作模型的训练。

2. 梯度检查

​ 数值梯度和解析梯度的值有时候在某个维度会相差较多。这是因为数值梯度的计算采用的是用前后2个很小的随机尺度（比如0.00001）进行计算，当loss不可导的时候，两者会出现差异。**

3.损失函数

• SVM只关心正确分类的得分与错误分类的得分至少要高于边界值，若不满足，便计算相应的损失值。
• 折叶损失：(max(0, -))函数。
• 平方折叶损失：(max(0, -)^2)**。更强烈得惩罚过界的边界值。在某些数据集会工作得更好，可以通过交叉验证来决定使用哪个损失计算函数。
• 由于max操作，损失函数中存在一些不可导点（kinks），这些点使得损失函数不可微，因为在这些不可导点，梯度是没有定义的。但是次梯度依然存在且常常被使用。

4. 设置Delta

​ 超参数delta和(lambda)一起控制损失函数中数据损失和正则化损失之间的权衡。但是对于通过缩小或扩大权重矩阵的值，改变不同分类值之间的差异，因此，在一定程序上改变delta是没有意义的。真正的权衡是通过正则化强度来控制权重能够变大到何种程度。

5. 在初始形式中进行初始化

​ 损失函数的最优化的始终在非限制初始形式下进行。很多这些损失函数从技术上来说是不可微的（比如当时，函数就不可微分），但是在实际操作中并不存在问题，因为通常可以使用次梯度。