from http://www.cnblogs.com/qggg/p/6876942.html
转自 http://blog.csdn.net/sinat_30071459/article/details/50721565
深度学习中经常看到epoch、 iteration和batchsize，下面按自己的理解说说这三个的区别：
（1）batchsize：批大小。在深度学习中，一般采用SGD(随机梯度下降法SGD)训练，即每次训练在训练集中取batchsize个样本训练；
（2）iteration：循环。个iteration等于使用batchsize个样本训练一次；
（3）epoch ：一个纪元。1个epoch等于使用训练集中的全部样本训练一次；
举个例子，训练集有1000个样本，batchsize=10，那么：
训练完整个样本集需要：
100次iteration，1次epoch。
关于随机梯度下降法SGD看这里
关于batchsize可以看这里。