Dropout层作用:

组队比赛两个人都以为对方不行,所以都很努力的做任务。快交稿时,交流进展,就变成强强联手啦~~

methods:When training,以概率p 暂时 丢弃,
∴每次训练不同的网络(防止过拟合)
∵有些样本不好呀

在训练时,随机失活随机选择一部分神经元,使其置零,不参与本次优化迭代。
随机失活减少了每次参与优化迭代的神经元数目,使网络的有效大小变小。
  随机失活的作用有两点。
  1. 降低神经元之间耦合。因为神经元会被随机置零,所以每个神经元不能依赖于其他神经元,这会迫使每个神经元自身要能提取到合适的特征
  2. 网络集成。随机失活可以看作在训练时每次迭代定义出一个新的网络,这些网络共享权值。在测试时的网络是这些网络的集成。

原文地址:https://www.cnblogs.com/icemiaomiao3/p/14682957.html