包括记忆在内的所有生物神经功能，都存储在神经元及其之间的连接上。
神经网络中关于学习的过程是 神经元之间建立新的连接或对已有连接进行修改的过程。
神经网络的起源：Ｍ-Ｐ模型 是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型。
同时研究证明了神经网络可以模拟任何复杂的函数， 双隐层感知器就足以解决任何复杂的分类问题。
Neural Networks and Deep Learning: A visual proof that neural nets can compute any function
BP反向传播算法的发明进一步推动了神经网络的发展。
生物神经元的简图
在生物神经网络中，一些神经结构是与生俱来的，而其他的部分则是在学习过程中形成的。在学习的过程中会产生一些新的连接，一些连接也可能会消失。神经结构在整个生命周期中不断进行着改变，后期的改变主要是增强或减弱突触的连接。新记忆的形成是通过改变突触强度来实现的。
人工神经网络却没有人脑那么负责，但是他们之间有关键的相似之处，首先两个网络的构成都是可计算单元的高度互连；其次是处理元之间的连接决定了网络的功能。
神经网络设计的目标就是在人工神经网络中采用合适的连接来解决特定的问题。