统计学习方法概论：
（一），统计学习
1，统计学习的特点
2，统计学习的对象
3，统计学习的目的
4，统计学习的方法（重点：模型的集合，策略（模型的选择），算法（模型的实现调优））
（二），监督学习重要概念
1，输入空间，特征向量空间，输出空间，预测问题分为（回归问题（输出为连续即可），分类问题，标注问题）
（三），统计学习三要素
1，模型
决策函数模型：
条件概率模型：
2，策略
2.1 损失函数：
2.2 经验风险最小化和结构最小化
如贝叶斯估计的最大后验概率就是一种结构风险最小化的一个例子，通过使用先验概率作为发现（复杂的模型先验概率大）
3，算法
（四）模型评估选择
1，训练误差和测试误差
2，过拟合
过拟合和欠拟合产生的原因及解决方式：
欠拟合的原因：模型复杂度过低，不能很好的拟合所有的数据，训练误差大；
避免欠拟合：增加模型复杂度，如采用高阶模型（预测）或者引入更多特征（分类）等。
过拟合的原因：模型复杂度过高，训练数据过少，训练误差小，测试误差大；
避免过拟合：降低模型复杂度，如加上正则惩罚项，如L1，L2，增加训练数据等。
4，正则化：L1和L2范式
5，交叉验证：训练集，验证集，测试集
6，泛化误差，泛化误差上界
7，生成模型（朴素贝叶斯）和判别模型（决策树，支持向量机）
8，分类模型
9，标注问题
