3.5.1tensorflow2.x为什么要变量归一化

自己开发了一个股票智能分析软件,功能很强大,需要的点击下面的链接获取:

https://www.cnblogs.com/bclshuai/p/11380657.html

1.1.1         变量归一化

归一化定义

由于实际求解往往使用迭代算法,如果目标函数的形状太“扁”,即变量之间的数量级相差太大,迭代算法可能收敛得很慢甚至不收敛。所以对于具有伸缩不变性的模型,最好也进行数据标准化,即归一化让数值在同一个数量级内。

归一化优点

(1)提升模型的收敛速度,变量数量级相差大,成椭圆形梯度下降,走之路线,收敛速度慢,数量级相同,成圆形梯度下降,垂直于圆心迭代,所以收敛速度快。

 

(2)提高模型的精度,数量级相差太大,波动对结果的影响大,造成精度损失。

归一化方法

线性归一化,线性归一化会把输入数据都转换到[0 1]的范围,公式如下

 

原文地址:https://www.cnblogs.com/bclshuai/p/14252673.html