来源：1、https://zhuanlan.zhihu.com/p/72040253
knn算法matlab实现：https://blog.csdn.net/Justin_bibo/article/details/83903682#comments_13734376
感知机模型
感知机介绍：https://blog.csdn.net/Dream_angel_Z/article/details/48915561
感知机：假设输入空间（特征空间）是$chi subseteq R^n$，输出空间是$y={+1,-1}$．输入$xin chi$表示实例的特征向量，对应于输入空间（特征空间）的点;输出$yin gamma$表示实例的类别．
由输入空间到输出空间的函数：$f(x)=sign(w*x+b)$称为感知机。
tips:对于线性可分的训练集，最终可以找到针对训练集准确率100%的模型。若训练集不是线性可分，则训练就会产生震荡。
感知机学习算法会由于采用不同的初值或选取不同的误分类点(每次梯度下降只随机选取一个误分类点进行$w,b$的更新)，最终的解会不同。
损失函数的一个自然选择是误分类点的总数。但是，这样的损失函数不是参数w,b的连续可导函数，不易优化.损失函数的另一个选择是误分类点到超平面S的总距离，这是感知机所采用的.
感知机学习算法是误分类驱动的，具体采用随机梯度下降法（ stochastigradient descent)．首先，任意选取一个超平面$w_0,b$,然后用梯度下降法不断地极小化目标函数.极小化过程中不是一次使M中所有误分类点的梯度下降而是一次随机选取一个误分类点使其梯度下降.
【以上计算过程中，对$w,b$的更新是在$y_i(w*x_i+b)le 0$的情况之下】
感知机算法举例：https://blog.csdn.net/Dream_angel_Z/article/details/48915561
感知机matlab实现：https://blog.csdn.net/xmu_jupiter/article/details/21884501
算法的收敛性
为便于叙述和推导，将偏置b并入权重向量w，则$hat{w}*hat{x}=w*x+b$,其中$hat{w}=(w^T,b)^T$,$hat{x}=(x^T,1)^T$
前馈神经网络：以上⼀层的输出作为下⼀层的输⼊
递归神经网络：有可行的反馈环路