稀疏表示字典学习与L1、L2范数

两个流程:训练字典+重建。

相关:L1、L2范数

L1使权值稀疏。L2防过拟合。

L1范数可以使权值稀疏,方便特征提取。 L2范数可以防止过拟合,提升模型的泛化能力。

L1和L2正则先验分别服从的分布:L1是拉普拉斯分布,L2是高斯分布。

L0 范数是 ||x||0 = xi (xi不等于0)代表非0元素的个数,[1,2,3,4,5]  非0个数为5,[0,1,2,0,3]非0 个数为3。

L1范数是||x||1=Σ|xi|  x与0之间的曼哈顿距离,[1,2,3,-2,-1] =1+2+3+2+1 =9,为个数字的绝对值的和。

L2范数是||x||2=Σ|xi|^2为x与0之间的欧式距离,[1,2,-3]=1^2+2^2+(-3)^2=1+4+9=14,为各个数字的平方和在开方。

Lp范数是||x||p=√∑(xi)^p。控制模型复杂度减少过拟合。一般在损失函数中加入惩罚项。

 

LASSO-线性回归的L1正则

Least Absolute Shrinkage and Selection Operator(LASSO)

Lasso算法(最小绝对值收敛和选择算子套索算法)是一种同时进行特征选择和正则化(数学)的回归分析方法,旨在增强统计模型的预测准确性和可解释性,最初由斯坦福大学统计学教授Robert Tibshirani于1996年基于Leo Breiman的非负参数推断(Nonnegative Garrote, NNG)提出。

【转载自】

稀疏表示(Sparse Representations) - yif25 - 博客园 https://www.cnblogs.com/yifdu25/p/8128028.html

Dictionary Learning(字典学习、稀疏表示以及其他) - Mario-Chao - 博客园 https://www.cnblogs.com/hdu-zsk/p/5954658.html

l1 和l2范数的真实意义 - limingqi - 博客园 https://www.cnblogs.com/limingqi/p/11621879.html

Lasso算法_xgxyxs的博客-CSDN博客 https://blog.csdn.net/xgxyxs/article/details/79436212

原文地址:https://www.cnblogs.com/wxl845235800/p/10824690.html