深度网络中的正向传播

如何在深度网络中灵活应用正向和反向传播

 

先看对其中一个训练样本x,该怎么应用正向传播,之后讨论向量化的版本

在第一层里需要计算

z[1] = w[1]x + b[1]= z[1] = w[1]a[0]+ b[1]

(w[1]和b[1]就是会影响在第一层的激活单元的参数)

a[1]= g[1] ( z[1])    ( 激活函数)

在第二层里需要计算

z[2] = w[2]a[1]+ b[2]

a[2]= g[2] ( z[2])

后面几层以此类推,直到计算到第四层,也就是输出层

z[4] = w[4]a[3]+ b[4]

a[4]= g[4] ( z[4])

基本规律就是:

z[L] = w[L]a[L-1]+ b[L]

a[L]= g[L] ( z[L])

标黄部分就是正向传播公式了

上述就是针对一个训练样本的过程,下面是怎么用向量化的方法训练整个训练集

我们要做的只是在把所有的z或者a向量叠起来

原文地址:https://www.cnblogs.com/nhdmmdxq/p/9559129.html