深度神经网络基础

(本文记录深度神经网络中最基本最重要的内容,想要快速复习这些内容,阅读这些笔记即可)

1.反向传播

     反向传播理解:https://zhuanlan.zhihu.com/p/21407711?refer=intelligentunit

     最好的向量反向传播理解:http://www.cnblogs.com/coldyan/p/8288727.html 第四部分(关于反向传播的心得体会)

     手写笔记

2.激活函数

     手写笔记

     http://www.cnblogs.com/coldyan/p/8309014.html  第二部分(常见激活函数及其特点)

3.BN,各种正则化,各种优化:

     手写笔记

4.数据预处理

     https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit    

     PCA的原理这篇文章讲的很清楚:http://blog.csdn.net/zhongkelee/article/details/44064401 

5.权重初始化

    https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit

6.迁移学习

     http://cs231n.github.io/transfer-learning/

7.实践技巧(很重要)

     梯度检查,合理性检查,学习过程检查:https://zhuanlan.zhihu.com/p/21741716?refer=intelligentunit

     调参技巧:https://zhuanlan.zhihu.com/p/21798784?refer=intelligentunit   

原文地址:https://www.cnblogs.com/coldyan/p/8327921.html