梯度下降——神经网络如何学习?(深度学习第二章)

https://www.youtube.com/watch?v=IHZwWFHWa-w

1.Gradient Descent(梯度下降)

反复地将一个函数的输入按照负梯度的倍数来输入的过程被称为梯度下降,它是让成本函数向局部最小值收敛的方法。
神经网络学习就是减小成本方程

2.Analyse this network(神经网络如何工作)

建议读Michael Nielsen关于深度学习和神经网络的数
https://twitter.com/michael_nielsen
就是要找到特定的权重偏置,从而使一个代价函数最小化
计算一个训练样本的价值,需要求出网络的输出,和期待的输出之间每一项的差的平方和,然后对于成千上万个训练样本都这么算一遍,最后取平均,这样就得到了整个网络的代价值。

原文地址:https://www.cnblogs.com/bryce1010/p/9387032.html