p67 02 神经网络结构

 

 

 左起一：杨乐昆，卷积神经网络的发明者，hinton的学生

左起二：神经网络的发明者

 

•  第一层是特征，不是神经元。
• 最后一层一定是全连接层，最后一层的神经元的个数一定等于要预测的类别数量。

 

 

 

 

 

 

 

 

 

 

 

 

 

如果预测的结果和样本的One-hot编码一致，则交叉熵为0，最小，此时样本预测的预测值和真实值相同，即预测的最准确。

所以，交叉熵越大，证明预测结果和样本真值差的越大。交叉熵越小，证明预测结果越靠近真实值。

权重更新准则就是使得交叉熵最小。