Linear SVM和LR的区别和联系

首先,SVM和LR(Logistic Regression)都是分类算法。SVM通常有4个核函数,其中一个是线性核,当使用线性核时,SVM就是Linear SVM,其实就是一个线性分类器,而LR也是一个线性分类器,这是两者的共同之处。

不同之处在于,第一,LR只要求计算出一个决策面,把样本点分为两类就行了,不要求分得有多好;而Linear SVM要求决策面距离两个类的点的距离要最大。

第二,Linear SVM只考虑边界线附近的点,而LR要考虑整个样本所有的点,如果增加一些样本点,只要这些样本点不在Linear SVM的边界线附近(即在支持向量外),Linear SVM的决策面是不会变的,而LR的决策面是会发生变化的,即LR中每个样本点都会对决策面产生影响。

第三,由于指导思想的不同,两者的Loss function是不同的。

原文地址:https://www.cnblogs.com/mstk/p/8065639.html