机器学习中正则化项L1和L2的直观理解

机器学习中正则化项L1和L2的直观理解

一、总结

一句话总结:

l1正则化:$$operatorname { cost } = ( Wx - ext { real } y ) ^ { 2 } + ext { abs } ( W )$$
l2正则化:$$operatorname { cost } = ( W x - ext { real } y ) ^ { 2 } + ( W ) ^ { 2 }$$


L1正则化是指权值向量w中各个元素的绝对值之和,通常表示为∣∣w∣∣1
L2正则化是指权值向量w中各个元素的平方和然后再求平方根(可以看到Ridge回归的L2正则化项有平方符号),通常表示为∣∣w∣∣2

1、L1正则化和L2正则化的作用?

L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择
L2正则化可以防止模型过拟合(overfitting);一定程度上,L1也可以防止过拟合

二、机器学习中正则化项L1和L2的直观理解

转自或参考:机器学习中正则化项L1和L2的直观理解
https://blog.csdn.net/jinping_shi/article/details/52433975

 
 
 
我的旨在学过的东西不再忘记(主要使用艾宾浩斯遗忘曲线算法及其它智能学习复习算法)的偏公益性质的完全免费的编程视频学习网站: fanrenyi.com;有各种前端、后端、算法、大数据、人工智能等课程。
博主25岁,前端后端算法大数据人工智能都有兴趣。
大家有啥都可以加博主联系方式(qq404006308,微信fan404006308)互相交流。工作、生活、心境,可以互相启迪。
聊技术,交朋友,修心境,qq404006308,微信fan404006308
26岁,真心找女朋友,非诚勿扰,微信fan404006308,qq404006308
人工智能群:939687837

作者相关推荐

原文地址:https://www.cnblogs.com/Renyi-Fan/p/13531492.html