代办项

代办项:

    把自己做的实验全部总结一次

    1.浅层和深层concat和eltwise相加性能上有啥区别

    把dssd和fpn做一个对比,既然没办法在fpga上用deconvolution,如果dssd效果好,那可以用dssd

    统计数据的所有size大小,然后把anchor改了

    2.把backbone从stage4升到stage3去做检测,看对小物体到底提升了多少

    3.小物体为什么不好检测?两个方面:a.如果像素小于16,你在1/16的feature map进行roi-pooling,region proposal缩小映射后可能在最后一层feature map上就没有像素点了------这种情况,只要继续延用roi-pooling这种方式,那就必然无法在最后一层检测小于16,所以fpn这种在多测检测的模型很合理

                       b.如果像素大于16小于32,你在1/16的feature map进行roi-pooling,region proposal缩小映射后可能在最后一层feature map上只有1、2个像素点,当然算上channel还是有不少信息(因为这1个像素在众多channel上都有值),但相对于大物体,输入进最后类别判断的信息太少了------相对应的,我可不可以通过增加最后一层feature map的channel来增加最后的信息,可以肯定无论任何网络你增加了channel都会增加信息输入和计算量,性能提升肯定是必然,但会不会小物体的提升会比其他大物体的多,比如警示柱比路锥多?

     我之前觉得16像素以下的小物体,经过1/16的卷积后,信息就丢了(因为我从视觉的直观感受上来看的,比如8个像素缩小1/2变成4个像素,缩小1/4后变成2个像素,1/8后变成1个像素,1/16后就没有了),但我忽略了channel层本身是可以携带一些信息的,并且我这种想法是直接把这个8个像素框成1个框,然后缩小1/2,1/2这样来,但是卷积本身不是直接这样刚刚把你这16个像素这样缩小1/2。比如8个像素最左上角的点,可能在前一个卷积就把他卷进去利用了。所以信息本身还是进行了传递。

     针对小物体,把周围信息加进来效果很好    

验证方法:去看看resnet stage4和stage5,是性能上是否有提升?看32像素以下的框是否能检测出来

    4.我的模型的大小、速度

    5.看一下我的路锥警示柱的测试的图片,看看道理哪里出了问题

    6.我的ap测量是16以下的不测试,但是依旧性能这么差,why

    7.个人觉得fpn这种在浅层做小物体检测是小物体必须的,为什么这么说?因为15像素的rigion proposal做roi-pooling可能本身就没有信息了,还有就是小目标携带的信息本身就少,经过卷积后,留在最后一层做pooling的信息就更少,信息输入少,当然性能就可能下降。因为浅层的细节信息更多一些,语义信息更少,所以fpn把高层的语义加到浅层,这样让浅层既有浅层的细节信息,又有高层的语义信息,或者说保证输入信息多(或者说特征多)且输入的信息进行了进一步提炼。

     有两个idea?1.fpn为何要用eltiwise而不使用concat?实际上把浅层和高层concat起来,做相关实验

           2.从上面看来,做小物体预测,在feature map尺寸比较大的地方进行预测是个必然选择,那我可以借鉴dssd这种方式,把1/16进行反卷积进行放大feature map,这样既有高层的语义信息,又有低层的尺度,至于细节信息,这一层会不会有,其实不好说,相应的我可以制定一个实验看是不是欠缺细节信息:a.我把整个网络变成1/8进行检测,然后借鉴dssd直接把最后一层放大到1/8,然后做pooling,看两个性能的对比     b.  a中的dssd做对比实验,把浅层1/8的信息和最后一层1/8的信息eltiwise加起来,个人觉得先不要用concat,其实concat也是在增加信息的输入

       其实感觉这样也不是能很好验证!毕竟是增加了计算量!

    8.我觉得小物体对周围像素更加敏感,那去看一下我做的放大roi框,是不是小物体提升更加明显?并且看一下这种方式做出来,速度上会不会降?

      既然觉得小物体对周围像素更加敏感,那为什么我不用defomable来尝试小物体

    9.做路锥警示柱的ion网络或者hyper-net,看是否上下文信息对小物体影响更大  https://blog.csdn.net/jesse_mx/article/details/55212179?utm_source=itdadao&utm_medium=referral这个文章说了上下文信息对小物体影响更大,其实通过看警示柱,路锥就可以看出来,或者把以前铁道栏杆用的红绿灯拿来和铁道栏杆比也可以

小物体对周围信息敏感,其实人有时候看小东西,也经常根据周围来看的。警示柱其实可以只往下拉,做对比试验

小物体对anchor的size是不是很敏感?其实可以只看rpn的准确率相关的可以判断,这个方式同样适用于我的focal

原文地址:https://www.cnblogs.com/ymjyqsx/p/9492876.html