漫谈机器学习经典算法—人工神经网络

更新:文章迁移到了这里。http://lanbing510.info/2014/11/07/Neural-Network.html,有对应的PPT链接。

注:整理自向世明老师的PPT



内容提要

1 发展历史
2 前馈网络(单层感知器,多层感知器。径向基函数网络RBF)
3 反馈网络(Hopfield网络。联想存储网络,SOM。Boltzman及受限的玻尔兹曼机RBM,DBN,CNN)


发展历史






单层感知器

1 基本模型

2 假设激励函数是线性的话。可用最小二乘直接计算
3 假设激励函数是sifmoid function,可迭代更新(一次性或者逐样本更新)
上式仅仅做了简单的求导展开。非常easy推导





多层感知器

1 基本模型


2 举例(含有一个隐含层的多层感知器MLP)

模型:

y=h(v)=h(h(u))

求解:
这里怎么转换到6k(xi)的?


然后分别对两个层的权值求导:

然后更新就可以,反向传播(BP)




3 经验
4 优缺点



RBF神经网络

1 模型
2 求解

3 长处和视角





深度学习简单介绍

1 前向神经网络

2 发展历程
3 总体一览

4 一些值得关注
学术
工业







Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥

1 Belief Network
2 Hopfield Network
3 Boltzman机
4 RBM 受限的玻尔兹曼机





RBM

1 模型



利用上图中公式。能够得到


2 求解 CD算法









DBN

1 模型
2 训练
面向特征提取
面向分类






DBM

模型



CNN

1 模型

2 训练




參考文献


原文地址:https://www.cnblogs.com/zhchoutai/p/7109838.html