只是学习笔记，杂乱。
在[https://blog.csdn.net/Cdd2xd/article/details/75635688]有更好的归纳和解释。
基本形式
线性模型，具有更好的可解释性，每个参数有表示的意义。
f(x) = wx + b
线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记。
要训练w使得代价函数最小，如何选一个w使得代价函数最小？
最小均方算法(LMS)。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”
w* = argmin (y-wx)T(y-wx)
//当XTX为满秩矩阵或正定矩阵时，可以得到下方等式。
w = (XT * X)-1 * XT * y
然而，显示生活中很多XTX不是满秩矩阵，需要引入正则化项。
广义线性模型
lny = wx + b
对数线性回归，形式上仍是线性回归，实质上已是在求取输入空间到输出空间的非线性函数映射。
对数几率回归
逻辑斯蒂回归，正例与反例的比值的对数。通过极大似然法估计w和b。
多分类学习
多分类学习的基本思路是将多分类拆为若干个二分类任务求解。为拆出的每个二分类任务训练一个分类器，最后对所有分类器的预测结果进行集成以获得最终的多分类结果。
关键是如何拆分？有三种策略：一对一，一对其余，多对多
一对一：将N个类别两两配对，产生N*(N-1)/2个二分类任务，最后结果通过投票得出。
一对其余：一个类的样例作为正例，其他类的样例作为反例，需要训练N个分类器
多对多：若干个作为正类，若干个作为反类。
类别不平衡
分类任务重不同类别的训练样例数目差别很大，正例少反例多，或正例多反例少。