机器学习十讲——第三讲分类

今天学习了第三讲:分类。

首先引入了初中知识,点到直线的距离,之后进一步上升到点到空间的距离,还给出了距离公式。

 随后引入了最重要的梯度下降法,这种方法在下面被反复使用:

 在大数据时代,要对每一个数据进行计算根本不现实,所以随机选取一个样本进行测试,所以更新参数只用一个样本梯度即随机梯度下降法,经过大佬们的证明这是科学的!而振幅与根号下学习率成正比

下面是概率论中学过的极大似然值的知识回归,有点忘了回头还要看一看:

随后提问什么是分类,对分类进行了定义,那么,如何分类呢?

介绍完三种算法,开始引入新概念,相互结合。

概率与上面式子中的f有关,还和图中的点有关,离得越近,概率越接近1。

这是训练集的矩阵表示:

其中,f通过x的映射得到。

 

关于感知机和优化中,感知错误时在式子前面加一个负号。

下面是一个小例子,6次成功,成功将两种数据分开,但是并不太好,因为离数据集太近了,间隔,离数据集越远越好

在这里面有两个优化目标,一个是第一个是让的平方和最小,第二个是让惩罚函数最小。

 

核技巧是低纬向高纬的映射,它的好处是映射之后计算量还是低纬的计算量。

 之后又引入一些公式:

用梯度下降法去更新函数:

下面是损失函数的对比:

 然后是分类问题的评价指标和一些Python中的常用函数、工具:

 

之后开始了实例环节,又让我见识了很多Python的函数,比如生成二分类数据集的make_classification()和接受用户输入的perception()等等!课程结束。

原文地址:https://www.cnblogs.com/zhangxinyue/p/14351073.html