统计学习方法读书笔记

感知机(perceptron)

没啥说的,感知机就是寻找一个将空间分为两部分的超平面(前提可分),学习过程既是损失函数极小化的过程。

模型:

     (激活函数)

损失函数:

推导:

首先考虑任意一点X0到超平面的距离: ,对于误分类点(Xi,Yi)来说

,所以误分类点到超平面的总距离:

损失函数:

损失函数极小化:简单的梯度下降即可求出。

 ,learning rate: n,每次迭代更新,再每次更新后计算损失函数。(如果是可分前提,最后验证没有误分类点)

需要注意的是,权重w和偏置b的初始化是个经验数值。且根据初值设定不同感知机存在无数解。

感知机是个简单线性分类模型,无法处理异或问题(后面MLP再说这个问题)

           

原文地址:https://www.cnblogs.com/jellyj/p/9867046.html