深度学习是目前非常火热的一门学科，开始受到越来越多的人关注。如果你是一个刚刚入门深度学习领域的人，这份学习笔记或许可以帮你少走很多弯路；如果你不是学生，这些笔记还可以在你忘记某些模型或算法时供你快速查阅。
本着由浅入深的步骤，分为这几大块内容，主要目录如下：
1、激活函数
主要包含：Sigmoid、tanh、Relu、Leaky Relu 等
详细内容，可参考该链接：机器学习之激活函数
2、梯度下降
主要包含：计算图、反向传播、L2 正则化梯度、梯度消失和梯度爆炸等
详细内容，可参考该链接：梯度下降算法及优化方法
3、参数
主要包含：可学习参数和超参数、参数初始化、超参数调优等
4、正则化
主要包含：L2 正则化、L1 正则化、Dropout、早停等
5、模型
主要包含：逻辑回归、多类分类（Softmax 回归）、迁移学习、多任务学习、卷积神经网络（CNN）、序列模型、Transformer 和 BERT 等
卷积神经网络（CNN）的详细内容，可参考该链接：目标检测历年最佳模型，语义分割历年最佳模型
6、实用窍门
主要包含：训练/开发/测试数据集、不匹配的数据分布、输入归一化以及误差分析等