参考：https://zhuanlan.zhihu.com/p/89566632
http://josh-tobin.com/assets/pdf/troubleshooting-deep-neural-networks-01-19.pdf
做模型 90% 的时间在于 debug & tune。10% 在于推导和实现。
模型为什么会表现糟糕
- bug
- 超参数的选择
- 数据集常见问题
- 分布原始论文分布不一致，例如图片过于相似，原始的paper中长得差异性很大。
- 没有足够的数据
- 类别不平衡
- 噪声标签
- 训练和测试的分布不同
- debug 策略
- start simple： 从最简单的实现开始，建议先去除掉 normalization, smaller dataset
- overfit a simple batch
- compare to a known result