整理并翻译自吴恩达深度学习视频：
https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001702118
梯度消失和梯度爆炸
y
h
a
t
=
w
L
w
L
−
1
w
L
−
2
.
.
.
w
3
w
2
w
1
x
y^{hat}=w^{L}w^{L-1}w^{L-2}...w^{3}w^{2}w^{1}x
yhat=wLwL−1wL−2...w3w2w1x
这里简化了激活函数 g ( z ) g(z) g(z)， g ( z ) g(z) g(z)是线性函数或者干脆 g ( z ) = z g(z)=z g(z)=z
I I I表示单位矩阵， W W W表示权重矩阵。
因此
W
>
I
W>I
W>I时，
y
h
a
t
y^{hat}
yhat就以指数级别增长(因为L个w相乘)，对应梯度爆炸。
同理
W
<
I
W<I
W<I时，
y
h
a
t
y^{hat}
yhat就以指数级别降低(因为L个w相乘)，对应梯度消失。
如何解决梯度消失和梯度爆炸
基本的思想即尽量使每个w取接近1的值，即不过分大于1，也不过分小于1.初始化w时：
采用ReLU即作为激活函数：
w
[
l
]
w^{[l]}
w[l] = np.random.randn(shape) * np.sqrt
(
2
n
[
l
−
1
]
)
(frac{2}{n^{[l-1]}})
(n[l−1]2)
采用tanh作为激活函数：
w
[
l
]
w^{[l]}
w[l] = np.random.randn(shape) * np.sqrt
(
1
n
[
l
−
1
]
)
(frac{1}{n^{[l-1]}})
(n[l−1]1)
这被称为Xavier Initialize。
或者有些论文也会采用：
w
[
l
]
w^{[l]}
w[l] = np.random.randn(shape) * np.sqrt
(
2
n
[
l
−
1
]
+
n
[
l
]
)
(frac{2}{n^{[l-1]} + n^{[l]}})
(n[l−1]+n[l]2)