检测网络搜索算法

名字:DetNAS: Neural Architecture Search on Object Detection

地址:https://arxiv.org/pdf/1903.10979.pdf

深度学习进展到当今,新东西很少了,就是拼应用,拼结构。为了发论文凑了一堆各种各样的结构,

使用了一些直觉的东西,底层的特征包含细节,高层具有抽象特征等,跨连接,注意力模型等。

当办法想完后,有个想法就是,神经网络就是搜索最优解的,直接把神经网络当目标搜索?

该论文就是如何搜索神经网络的。

要搜索,就要定义搜索空间。改论文使用了shufflenet型作为搜索空间。

搜索的目标是,搜索一个用于检测的特征提取骨干网络。

搜索方法使用: 进化算法 (没仔细看,估计就是基因算法的别称吧)

搜索方法也没有什么可说的,可以说简单粗暴,直接有效。但是搜索空间还是不大,只是在shufflenet一类里。

搜索结果,也是参数少,结果好。

结论:

搜索的结果揭示:分类网络,往往在底层使用较小的卷积核(3*3),高层使用大的卷积核(5*5,7*7)

                           检测网络,往往底层需要大的卷积核(5*5,7*7), 高层使用(3*3)

                           这是值得注意的,这里能看出蕴含着什么样的直觉?  

这里的搜索空间shufflenet类里的shufflenet见:

https://blog.csdn.net/u011974639/article/details/79200559

原文地址:https://www.cnblogs.com/yjphhw/p/10608005.html