张量的限幅

1.clip_by_value --------根据值进行裁剪

 2.rule函数

 3.clip_by_norm根据范数来裁剪 保持向量的方向不变，就是梯度不变，只改变向量的模 根据二范数 （可以使神经网络的梯度下降更好）

 

 

裁剪之前梯度明显过大

 

 裁剪之后梯度明显变小

【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/ymj11/p/13960997.html