2017-08-15
这节课个人感觉没有怎么听懂，大概主要讲了一下几个点：
神经网络的历史、激活函数之间的优缺点对比、数据的预处理、权重的初始化注意事项、正则化、学习过程种的监督（学习率）、超参数的优化
1.历史：
从最早的二元分类器感知机，到后面的多层感知机，神将网络，再到后面的改个名字深度学习。2012Hinton的CNN在ImageNet获得第一名，深度学习又一次火了起来；
2.激活函数：
主要有 Sigmoid, tanh, ReLu, leak-ReLu, ELu
各有各的优缺点，现在一般用ReLu比较好，不用Sigmoid因为他的题都消失问题，阻碍了梯度再网络中的传播，还有输出不是以0为中心，为什么不好我也不知道；
tanh就是再sigmoid函数的基础上变化过来的，除了输出以0为中心，其他的缺点他也有；
ReLu收敛速度快， f(x) = max(0, x) 但是也不输出不是以0为中心；
3.数据预处理：
这里对于图片而言，主要是抽取平均值；
3.权重初始化：
不能初始化为0，这样所有的神经元会产生相同的输出，使得不能发挥它们的各自的作用；要用其他的方法打破这种对称型；
4.正则化：
一般是L1正则化，L2正则化；
5.学习率：
主要体现再学习率太低，loss几乎不变，太高的话loss为nan
6.没看懂再干啥；