Normalization

数据标准化。

基本上是指把数据缩放……
其中有一类叫做归一化就是指缩放到 [0,1] 。
一般来说可以提升模型的收敛速度(避免比如说 x[0,1e8] y[0,1e-8] 导致梯度下降巨慢);
提升模型的精度(比如说需要计算距离的时候,标准化之后或可让不同的数据按某种更合理的方式产生贡献)。

数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。
数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。
数据无量纲化处理主要解决数据的可比性。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。


Min-Max Normalization

[x'=frac{x-min}{max-min} ]

上面这个映射到 ([0,1])
根据需要映射到哪个区间也可以自己调整一下。
比较大的缺点就是不好支持数据的添加。


log变换

[x'=frac{log_{10}x}{log_{10}max} ]

需要 (xge1) 或者自己加上1 或者加上min
映射到 ([0,1])


atan变换

[x'=frac{2operatorname{atan}(x)}{pi} ]

映射到 ([-1,1])


Z-Score

即zero-mean,标准差标准化
经过处理的数据符合标准正态分布,即均值为0,标准差为1。

[x'=x-mucdotsigma ]

(mu) 是均值,(sigma) 是标准差


小数定标

Demical Scaling

[x'=10^{-c}cdot x ]

c 自己取。


Logistic/Softmax变换

前者家喻户晓
Softmax咋做呢

[forall jin[1,n],quad S_j=frac{e^{x_j}}{sumlimits_{i=1}^n e^{x_i}} ]

原文地址:https://www.cnblogs.com/ccryolitecc/p/14365293.html