感知机学习笔记

1、用于分类,是一个二类分类方法;
2、前提数据是线性可分的,如果数据线性不可分,则不能使用感知机,算法不收敛;
对比:SVM 可以使用核函数的技巧处理线性不可分的情况。
3、目标是学习到一个超平面,这个超平面有 (n + 1) 个参数,(n) 是样本数据的特征数;
4、感知机得到的超平面不唯一,跟初始点有很大的关系;
5、感知机 = 线性模型 + sign 符号函数;对比:逻辑回归 = 线性模型 + sigmoid 函数;
6、研究方法:定义模型、定义损失函数、选取训练方法(随机梯度下降)
7、定义正负两类的符号是 1 和 -1
对比:逻辑回归:1 和 0
SVM :1,-1
8、固定分母的技巧,因为 2x + y = 3 与 4x + 2y = 6 表示一个超平面;
9、每次选取一个误分类点进行随机梯度下降法,因为全部的样本点里有正确分类的样本,不属于训练数据集
10、为什么要有对偶形式
对偶形式是为了计算上更快,一定要把它们搞清楚。

参考资料:
1、李航《统计学习方法》
感知机原理小结 - 刘建平Pinard - 博客园 http://www.cnblogs.com/pinard/p/6042320.html

原文地址:https://www.cnblogs.com/liweiwei1419/p/8594142.html