1986年由Rumelhart和McCelland为首的科学家小组提出，解决了多层神经网络的学习问题，极大促进了神经网络的发展。
BP神经网络也是整个人工神经网络体系中的精华，广泛应用于分类识别，逼近，回归，压缩等领域。在实际应用中，大约80%的神经网络模型采取了BP网络或BP网络的变化形式。
BP神经网络灵感的来源就是我之前提到的delta学习规则和梯度下降法。
多层网络
这里介绍两个网页
手写体识别: http://yann.lecun.com/exdb/lenet/index.html
如何教计算机理解图片: http://open.163.com/movie/2015/3/Q/R/MAKN9A24M_MAKN9QAQR.html
激活函数:
Sigmoid函数
BP网络模型以及算法讲解推导
BP网络模型=====================================================================
BP学习算法======================================================================
BP算法推导======================================================================
