斯坦福《机器学习》Lesson6感想———1、函数间隔和几何间隔

    这一课主要是从怎样推断一个机器学习分类算法里拟合的參数是最佳參数引出函数间隔和几何间隔的定义。

 

1、函数间隔

    如果假想函数，，那么能够知道y=1；反之则y=0 。所以当。我们能够非常确定的觉得y=1；当，能够非常确定地觉得y=0。

所以在分类算法中。我们在训练样本时得到这两个结果的时候，就能够知道选择的參数能非常好的拟合数据。能非常有自信地觉得我们的分类器是符合数据事实的。因此我们数据能够引出函数间隔的定义。

    给定某一个数据案例。假想函数为（用(w,b)表示。表示为b，表示为w，整个假想函数的结果表示为{-1,1}）。我们能够定义基于參数（w,b）的这个数据案例的函数间隔为：

因此可知，假设要得到一个值尽可能大的函数间隔。在时，须要为一个尽可能大的正数即为。在时，须要为一个尽可能大的负数即为。所以我们能够推出

当函数间隔大的时候，算法选择的參数能更好的模拟数据的现实能对測试数据集做出更好的猜測。

    在给定的整个训练数据集上。函数间隔为:

 

2、几何间隔

图1

    假设假想函数，图1中的线表示，称为分隔超平面(用来将数据集分隔开来的直线，也叫决策边界)。

图1中全部数据点都在二维平面上。所以此时分隔超平面为一条直线。可是假设全部数据点是在三维空间里。则分隔超平面为一个平面。

假设数据在n维空间里。则分隔超平面为n-1维的超平面。

    可知数据点里决策边界越远，其最后的预測结果就越可信。

图1中的A点离决策边界最远，说明能够很确定的觉得它属于y=1；而c点最靠近决策边界，仅仅要略微改变下决策边界就能够推断其属于y=0。

因此。可知分隔超平面（决策边界）的选择取决于离分隔超平面近期的点与分隔超平面之间的间隔。这间隔就是几何间隔。支持向量就是离分隔超平面近期的点。

几何间隔越大。说明分类器越可信。

图2

    按图2可定义几何间隔，已知A为，假想函数为，可知w是分隔超平面的法向量，w/||w||为分隔超平面的单位法向量。点A能够代表y=1的情况，如果AB= ，所以B（，0）。所以能够得到例如以下等式：

所以求解可得：

这个求解的仅仅是y=1的情况。所以综合y=-1的情况可定义A点的几何间隔为：

在给定的整个训练数据集上。几何间隔为

 

3、函数间隔和几何间隔的关系

函数间隔/||w|| =几何间隔

函数间隔会随着w和b的缩放而缩放。可是对于算法的參数选取没有意义。几何间隔不会随着w和b的缩放而缩放。