Epoch、Iteration、Batchsize

Epoch：时期。

• 一个时期=所有训练样本的一个正向传递和一个反向传递。

Iteration：迭代。迭代是重复反馈的动作。神经网络中我们希望通过迭代进行多次的训练以达到所需的目标或结果。

• 每一次迭代得到的结果都会被作为下一次迭代的初始值。
• 一个迭代=一个正向通过+一个反向通过。

Batchsize：批大小（批尺寸）。一次训练的样本数目。影响到模型的优化程度、速度。(∵内存有限，会崩溃，跑着跑着掉小企鹅了)mini-batch

• 过小，难以收敛
• 增大，所需内存大(处理速度加快)
  ——————————————————————————————————————
  通俗理解：
  举个例子，训练集有1000个样本，batchsize=10，那么：
  训练完整个样本集需要：
  100次iteration，1次epoch。
  （单次epoch=(全部训练样本/batchsize)/iteration=1） 即(全部训练样本/batchsize)=iteration
  （1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；
  （2）iteration：1个iteration等于使用batchsize个样本训练一次；
  （3）epoch：1个epoch等于使用训练集中的全部样本训练一次；