学习mobilenet

论文网址:https://arxiv.org/abs/1704.04861

mobilenet主要工作是用depthwise sparable convolutions替代过去的standard convolutions来解决卷积网络的计算效率和参数量的问题。

在该方法中,把标准卷积分为了 深度卷积以及点态卷积,这么做的好处是可以大幅度降低参数量和计算量。

分解过程示意图如下:标准卷积如图(a),深度可分离卷积如图(b)(c)

 

计算量减少了:

标准卷积和MobileNet中使用的深度分离卷积结构对比如下

:

mobilenet的具体结构如下

两个超参量——宽度因子α和分辨率因子ρ

  则深度卷积和逐点卷积的计算量:

问题:对于为什么可以这么分解,分解原理存在问题,为什么卷积核减少后, 并不会大幅度减少正确率?

解决:这个问题我在阅读参考博文四时得到了解答。

mobilenet默认一个假设,就是常规卷积核在feature maps的channels维度映射中,存在一种类似线性组合的分解特性。

我们用K表示一个常规卷积核,则

                                     

直观表示如下:

                

M是一个n×mn×m的数值矩阵, n行数表示输出feature maps的维度(output channels number),m表示输入feature maps的维度(input channels number)。

b是一个m维矩阵”向量”(Matrix Spaces),它的每个元素(element)是一个 s×s大小的2维卷积核

 kij=μijbjj是一个 s×s的数值矩阵,表示4维常规卷积核中的一个2维小卷积核。

即M可等效于常规卷积操作,b矩阵表示深度卷积,μ矩阵表示1x1卷积

常规卷积核K的参数量是  s×s×n×m

 而MobileNet的Separable卷积的参数量是  s×s×m+n×m
 则压缩率是
      
 
 

参考:

一、GEMM:  https://blog.csdn.net/qq_32998593/article/details/86177151?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.channel_param

二、翻译:https://blog.csdn.net/qq_32768091/article/details/80778815?utm_medium=distribute.pc_relevant_download.none-task-blog-baidujs-1.nonecase&depth_1-utm_source=distribute.pc_relevant_download.none-task-blog-baidujs-1.nonecase

三、讲解:https://blog.csdn.net/u011974639/article/details/79199306?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160482948319724835858586%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=160482948319724835858586&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-1-79199306.pc_first_rank_v2_rank_v28&utm_term=mobilenet%E8%AE%BA%E6%96%87

四、https://blog.csdn.net/sun_28/article/details/78170878?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160532300619724835813359%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=160532300619724835813359&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v28-8-78170878.pc_search_result_cache&utm_term=shufflenet&spm=1018.2118.3001.4449

 五、mobilenet2:https://blog.csdn.net/sun_28/article/details/80561964

 

原文地址:https://www.cnblogs.com/kyshan/p/13966377.html