如何设计神经网络结构

1. start small
2. gradually increase the model size
3. small parameter, deep is better than wider; deep network is hard to optimize, 使用resnet的思想进行优化
4. kernel size ： 3*3 and 1*1 work the best
5. stride :
   1. 保留空间分辨率使用 stride = 1
   2. 下采样使用stride = 2
   3. 上采样使用stride = 1 or 2
6. batch Size:
   1. 通常使用32为batch
   2. Noisy gradient : larger batch
   3. local minima : smaller batch
7. 划分数据集
   1. 大的数据集如10W+: 99% train 1% test and valid
   2. 小的数据集如1W: 80% train 20% test and valid