用SGD训练神经网络时, 怎样决定初始化参数的方式? 主要有两个考虑点: 一: 最终是否能得到想要的学习结果, 即是否能得到一个符合预期目标的分类器；二: 训练时间, 好的参数初始化可以有效缩短训练时间, 如预训练.
不加思考时, 将所有参数都初始化为0是最省力的做法. 有些情况下可行, 但大部分情况下会导致学习失败, 得不到可用的模型.
先看最简单的例子: 用逻辑回归算法识别手写数字MNIST. 逻辑回归模型可以算作为一个Single-Layer Perceptron(SLP):
- (28 imes 28 = 784)个输入单元, 激活函数为(identity)
- 10个输出单元, 激活函数为(softmax)
它由两组参数组成: (W)和(b), 前者是一个(10 imes 784)维的权值矩阵, 后者是长度为(10)的bias 列向量.
现将它们全部初始化为0,分析一下学习过程: - 第一次forward过程中, 输出层的所有输出为0.5. 反向时, 如之前描述输出层神经元的敏感度为输出值与目标值的差值: (delta = a - y). 假如(y_i = 1), 即输入(x)对应的数字为(i), 那么除了第(i)个神经元的敏感度为(-0.5), 其它神经元都为(0.5). (w_{ij})的梯度值(Delta w_{ij} = delta_i x_j), 由于输入向量(x)的元素之间的不同, 最终得到的10个梯度值有很大概率是不同且非0的, 所以第一次BP过程可以取得成效并将一些(w)和所有的(b)变成非0值.
- 于是, 后面的训练显然也可以顺利进行.
可以看出, 没有隐层时, 可以将所有的参数初始化为0.
如果有隐层呢?
对于隐层使用了ReLU: (f(net) = max(0, net))为激活函数的MLP, 除了输入层的输出值为(x)本身, 不为0, 其余的所有层的输出都为0. BP时所有梯度也都为0, 包括输出层. 这意味着所有的非输入神经元都是dead neurons. 学习失败.
假如为使用了sigmoid激活函数呢? 可以推测:
-
第一个BP过程
- 输出层的第(i)个神经元的敏感度与其他9个不同
- 隐层所有的神经元的敏感度和权值梯度都相同, 但权值梯度为0
-
然后第二次BP时:
- 隐层所有的神经元的敏感度仍然相同, 所有权值的梯度仍然相等但非0.
-
最后学习得到的模型中, 所有的隐单元都是相同的. 学习失败.
其他的激活函数如tanh应该也是类似的情况.
所以, 最后的结论是, 一般只在训练SLP/逻辑回归模型时才使用0初始化所有参数., 更实用的结论是, 深度模型都不会使用0初始化所有参数.