各种风险及其最小化的解释
对于给定的输入 (X) ，由 (f(X)) 给出输出 (Y) ，这个输出的预测值 (f(X)) 与真实值 (Y) 可能一致也可能不一致，用一个损失函数 (loss function) 来度量预测错误的程度，记作 (L(Y,f(X))) 。
常用的损失函数比如 0-1 损失函数：
[L(Y,f(X)) =left{
egin{aligned}
1, & & Y
eq f(X) \
0, & &Y = f(X)
end{aligned}
ight.
]
期望风险（expected loss）
[R_{exp} = E_p[L(Y,f(X))]
]
学习的目的就是选择期望风险最小的模型。
经验风险(empirical risk)
模型 (f(X)) 关于训练集的平均损失称为经验风险，记作：
[R_{emp} = frac{1}{N}sum_{i=1}^{N}L(y_i, f(x_i))
]
当样本容量很小时，经验风险最小化的学习效果未必好，会产生过拟合现象。
结构风险（Structural Risk Minimization）
结构风险最小化是为了防止过拟合而提出的策略。结构风险最小化在经验风险上加入了表示模型复杂度的正则化项。定义是：
[R_{srm}(f) = frac{1}{N}sum_{i=1}^{N}L(y_i, f(x_i)) + lambda J(f)
]