深层网络结构的意义

为什么深层网络比浅层网络更优秀?答案或许很多,我介绍几点。

减少训练参数

以卷积为例,5x5的卷积核把25个像素变成1个,需要25个权重,

而两个3x3的卷积核,也可以把25个像素变成1个,只需要18个权重

5x5  ==> 3x3 ==> 1

提高学习效率

之前讲到权重就是过滤器,学习就是生成过滤器的过程。

假如我们想做个“狗”的过滤器,那难了去了,因为狗各种各样,品种多,大小不同,站着的,躺着的,蹲着的,太多了,没法做,

那我们可以分开做,什么意思呢,我先找个比较明显能区分狗的特征,比如脚,特征明显,训练会很快,这里其实就对应了小型卷积核,

先拿脚把样本过滤一遍,这样下一轮就是在脚符合特征的情况下进行筛选,这样效率更高。

对应到网络模型上,一下子做出整个狗的过滤器,就是浅层网络,

而分层识别,就是深层网络。

原文地址:https://www.cnblogs.com/yanshw/p/10551376.html