4.人工神经网络（多层）

sigmoid单元：阈值输出是输入的连续函数--挤压函数

导数：

反向传播算法：

误差：

 

 缓解局部极小值：

1.增加冲量

2.使用不同的随机权值初始化每个网络

解决过度拟合:

1.训练数据  验证数据

2.小数据集   k-fold 交叉验证

其他可选误差和最小化过程