18：激活函数与GPU加速

1：激活函数

(1.1)Tanh和Sigmoid函数

[注]sigmoid函数的取值区间为[0,1],适合概率和RGB值的重建。Tanh函数的取值区间为[-1,1]，多用于循环神经网络。

sigmoid和Tanh函数存在的问题：当w的取值无穷大或者无穷小的时候会出现梯度弥散的现象。

(1.2)ReLU，softplus,Leaky ReLU，SELU函数

 

 [注]ReLU函数解决了自变量>0时梯度消失的问题，Leaky ReLU通过设置α来解决自变量<0时梯度消失的问题

 2:GPU加速

 

 [注]0.3版本之前的GPU加速使用：.cuda()函数。0.4版本之后则使用device=torch.device('cuda:0')0为显卡的编号，这要根据自己有多少张显卡。通过to(device)将运算搬运到GPU上。