一、统计学习，统计机器学习statistical machine learning
1、统计学习方法：给定训练数据training data，在假设空间hypothesis spase（假设要学习的模型属于某个函数的集合），应用某个评价准则evaluation criterion，从假设空间中选取一个最优的模型。
最优模型的选取由算法实现。
2、统计学习方法的三要素：模型的假设空间model，策略strategy（模型选择的准则），模型学习的算法algorithm。
3、步骤：
（1）得到training data
（2）确定所有可能的模型的假设空间，即学习模型的集合
（3）确定模型选择的准则，即学习的策略
（4）实现求解最优模型的算法，即学习的算法
（5）实验
（6）预测或分析
二、监督学习
1、每个具体输入时一个实例instance，又特征向量feature vector表示。
特征空间的每一维对应于一个特征
2、分类
回归问题：输入变量与输出变量均为连续变量的预测问题
分类问题：输出变量为有限个离散变量的预测问题
标注问题：输入变量与输出变量均为变量序列的预测问题
三、三要素
1、模型：输入到输出符合什么模型
决策函数表示的模型为非概率模型
由条件概率表示的模型为概率模型
2、策略：按照什么样的准则学习或选择最优的模型
1、损失函数loss function，记做L(Y,f(X))，度量预测的错误程度
（1）0-1损失函数
（2）平方损失函数
（3）绝对损失函数
（4）对数损失函数
2、期望风险，期望损失，风险函数Rexp(f)，学习的目标就是选择期望风险最小的模型
3、经验风险，经验损失Remp(f)，用风险经验估计期望风险
4、用经验风险估计期望风险常常不理想，需要矫正。
5、经验风险最小化empirical risk minimization ERM，这个策略认为，经验风险最小的模型是最优模型。
极大似然估计就是风险经验风险最小化的一个例子。
当样本容量很小时，会出现过拟合over-fitting
6、结构风险最小化structural risk minimization SRM，是为了防止过拟合而提出的策略
结构风险最小化等价于正则化regularization