1.神经元
神经元和感知器本质上是一样的，只不过我们说感知器的时候，它的激活函数是阶跃函数；而当我们说神经元时，激活函数往往选择为sigmoid函数或tanh函数
2.神经网络的训练
现在，我们需要知道一个神经网络的每个连接上的权值是如何得到的。我们可以说神经网络是一个模型，那么这些权值就是模型的参数，也就是模型要学习的东西。然而，一个神经网络的连接方式、网络的层数、每层的节点数这些参数，则不是学习出来的，而是人为事先设置的。对于这些人为设置的参数，我们称之为超参数(Hyper-Parameters)。
3.反向传播算法(Back Propagation)
其中
是误差项，ai是每个节点的输出
个人理解：在全连接神经网络中，加入误差项，误差项来源于每个节点的输出，通过误差项影响权值w的更新，此为反向传播算法
具体的反向传播算法的推导在此不作详解。