根据Andrew Ng在斯坦福的《机器学习》视频做笔记，已经通过李航《统计学习方法》获得的知识不赘述，仅列出提纲。
1 机器学习系统的设计
构建一个学习算法的推荐方法为：
- 从一个简单的能快速实现的算法开始，实现该算法并用交叉验证集数据测试这个算法
- 绘制学习曲线，决定是增加更多数据，或者添加更多特征，还是其他选择
- 进行误差分析：人工检查交叉验证集中我们算法中产生预测误差的样本，看看这些样本是否有某种系统化的趋势。（设定误差度量值）
偏斜类的误差度量
用分类精确度并不能准确衡量算法优劣
精确率（Precision）：预测为真，但是实际为真的占比
召回率（Recall） ：实际为真，但是预测为真的占比
将算法预测的结果分成四种情况：
真阳性（True Positive，TP）：预测为真，实际为真
真阴性（True Negative，TN）：预测为假，实际为假
假阳性（False Positive，FP）：预测为真，实际为假
假阴性（False Negative，FN）：预测为假，实际为真
[precision=frac{TP}{TP+FP}
]
[recall=frac{TP}{TP+FN}
]
高精确率和高召回率的模型是一个好的分类模型。
将出现较少的类设定为(y=1)，即真
精确率和召回率的权衡
高精确率，低召回率；低精确率，高召回率
自动选择：尝试不同的临界值，并根据评估度量值选择最优的
评估度量值
[F_1 scroe=2frac{PR}{P+R}
]
机器学习数据
通过一个具有很多参数的学习算法来解决偏差问题；
通过用非常大的训练集来解决方差问题。