吴恩达 深度学习 纪要(1.4)

有一些函数,只有非常深的神经网络能学会,而更浅的模型则不行

所以先去尝试逻辑回归,尝试一层然后两层隐含层,然后把隐含层的数量看做是另一个可以自由选择大小的超参数,然后再保留交叉验证数据上评估,或者用你的开发集来评估。

超参数:比如算法中的learning rate (学习率)、iterations(梯度下降法循环的数量)、L(隐藏层数目)、n(隐藏层单元数目)、choice of activation function(激活函数的选择)都需要你来设置,这些数字实际上控制了最后的参数的值,所以它们被称作超参数。

深度学习的应用还很经验性,基本通过Idea->Code->Experiment循环的方式进行提升,即测试不同的值然后看是否能收敛在更小的损失函数上。

另外,最优值可能会变化,由于电脑也会变化。文中提出一条经验规律:经常试试不同的超参数,勤于检查结果,看看有没有更好的超参数取值,你将会得到设定超参数的直觉。

原文地址:https://www.cnblogs.com/61355ing/p/10676130.html