正则化与交叉验证用于模型选择
1 正则化
正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项(regularizer)或罚项(penalty iterm )。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。
比如，正则化项可以是模型参数向量的范数。
正则化一般形式：
正则化形式：
2 交叉验证
交叉验证的基木想法是重复地使用数据;把给定的数据进行切分，将切分的数据集组合为训练集与测试集，在此基础上反复地进行训练、测试以及模型选择。
2.1 简单交叉验证
2.2 s折交叉验证
2.3 留一交叉验证
