神经网络训练收敛的解决办法

不能得出结论是局部极小的情况下:

第一种方案: 修改网络结构或loss function

第二个是,多次随机初始化,看看网络输出情况,如果多次随机初始化收敛到同一个极小值,那有可能网络overfitting了,这个时候,在网络里加入dropout,可以试试rate 0.1的dropout

另外,learning rate decay这个参数也很重要,多调调

原文地址:https://www.cnblogs.com/northernmashiro/p/14810164.html