神经网络的基础

1.实现直接通过文件夹分类来读取数据集:https://blog.csdn.net/u012193416/article/details/79368855

   keras 搭建基础多分类网络:http://blog.sina.com.cn/s/blog_d76227260102wxbj.html

   keras中ImageDataGenerator用法:https://blog.csdn.net/u012969412/article/details/76796020

2. 如何理解反卷积

两个问题;

  1. 假如是 0 padding的,X4,这4个数由一个数反卷积得来的,那么这些参数是怎一样的还是学习得到的,学习到的一定和之前正卷积一样吗?

  2假如是 0 padding的,X4,这4个数是怎么通过不通过的数叠加得到的?

  a.数学上来看,卷积可以转化为矩阵操作im2col,用空间换时间:

而反卷积就是将参数矩阵反置,乘以结果就得到输入

b.直观上看比如2*2得到1,也就是感受野是2*2, 4个参数,(x1,X2,x3,x4)*(h1,h2,h3,h4)T=(y)  =====>  y*((h·1,h·2,h·3,h·4)T)T=(x1,X2,x3,x4)注意类型一样,值不一样,所以叫转置卷积,反卷积并不准切

  感受野内的输出只由1个输入乘以不同参数得到(在0padding情况下)

3.理解Global average Pooling (GAP)

     GAP的真正意义是:对整个网路在结构上做正则化防止过拟合

   

                  全连接的替换,减少参数的数量,这样计算的话,global average pooling层是没有数据参数的

maxout,NIN:

 总的来说,maxout和NIN都是对传统conv+relu的改进。
maxout想表明它能够拟合任何凸函数,也就能够拟合任何的激活函数(默认了激活函数都是凸的)
NIN想表明它不仅能够拟合任何凸函数,而且能够拟合任何函数,因为它本质上可以说是一个小型的全连接神经网络

原文地址:https://www.cnblogs.com/chenbaoliang/p/8874780.html