一个batch的数据如何做反向传播

一个batch的数据如何做反向传播

对于一个batch内部的数据,更新权重我们是这样做的:
假如我们有三个数据,第一个数据我们更新一次参数,不过这个更新只是在我们脑子里,实际的参数没有变化,然后使用原始的参数更新一次第二个例子,然后使用原始参数更新一次第三个例子。这样一个batch完了之后,我们把这三次计算出来需要的update的参数量求和或者求平均,从而更新一次参数。

所以一个batch对应一次反向传播,只不过参数对应batch内部数据计算处理的更新的和或者平均
How are weights updated in the batch learning method in neural networks?

How to update weights in Batch update method of backpropagation.

深度学习一个batch的反向传播怎样同时进行呢?不是应该一个样本对应一次反向传播吗? - 纳兰涟漪的回答 - 知乎
https://www.zhihu.com/question/300368708/answer/520277918

原文地址:https://www.cnblogs.com/lzida9223/p/10972730.html