1、协方差:
计算两个变量在变化过程中的相似度,同向运动程度越高,值越大。
2、相关系数:
标准差:反映数据的离散程度,数据离散度越大,标准差越大。
通过标准差,将协方差的值约束到一定范围内,去除协方差运动幅度的影响,只保留运动的相似度(相关度),这就是相关系数。
>0 and <=1 正相关; =0 不想关 ;>-1 and <0 负相关 。
3、方差
描述样本与均值的偏离程度
4、标准差
代表了样本的散度,值越小,散度越低。
5、均方差
评价观测值和真实值之间误差,常用做线性模型的损失函数。
6、熵、kl散度(Kullback-Leibler (KL) divergence)、交叉熵
熵:
p(x)每一种可能的概率
kl散度:
p(x)、q(x) 两种分布下的,同一个变量的概率(训练样本/测试样本?)
H(p(x))为熵,做为训练样本时,是常数,因此剩余部分可以代表散度,即交叉熵。
交叉熵:
常用做损失函数,用来评价样本差异度。
参考:https://blog.csdn.net/tsyccnh/article/details/79163834
---待不断完善