生成式学习算法（一）之----概论

到目前为止，我们主要讨论给定(x)对(y)的条件分布(p(y | x ; heta))进行建模的学习算法。例如，对于逻辑斯蒂克（logistic）回归模型，这个条件概率为(h_{ heta}(x)=sigmoidleft( heta^{T} x ight))。对于二分类问题，logistic回归和感知机算法通过找一条直线，也就是决策边界，尽可能把这两个类分开来。像这种直接学习条件分布(p(y | x))（logistic回归模型），或者从输入空间(mathcal{X})到输出映射的算法（感知机算法）叫做判别式学习算法（discriminative learning algorithms）。

现在我们将讨论一种不同类型的学习算法。比如说现有二分类问题，区分大象和狗。则这种算法先看大象长什么样，然后对于大象长什么样建一个模型，然后再看狗长什么样，对于狗长什么样再建立一个模型。最后来了一个新的动物，算法就把这个动物和大象的模型和狗的模型分别匹配，看这个新动物更像更像哪种动物。

像这种直接对(p(x | y))和(p(y))（类先验，class priors）进行建模的算法叫做生成式学习算法（generative learning algorithms）。例如，如果 $ y=0$ 代表一个样例是是狗，或者大象$ y=1$，则 (p(x | y=0 )) 对狗的特征分布进行建模，而 (p(x | y=1)) 对大象的特征分布进行建模。有了这两个概率，我们就可以通过下面的贝叶斯法则（Bayes rule）推出给定(x)，(y)的后验概率分布（posterior distribution），

[egin{equation} p(y | x)=frac{p(x | y) p(y)}{p(x)} end{equation} ]

这里分母可以表示成(p(x)=p(x | y=1)p( y=1)+p(x | y=0)p( y=0))。也就是说可以表达成我们已经学到的(p(x | y)) 和 (p(y))的形式。事实上，如果我们要通过计算条件概率去做预测，则我们不需要计算分母，这是因为，

[egin{equation} egin{aligned} arg max _{y} p(y | x) &=arg max _{y} frac{p(x | y) p(y)}{p(x)} \ &=arg max _{y} p(x | y) p(y) end{aligned} end{equation} ]

https://www.pornhub.com/view_video.php?viewkey=ph5d349aa97e027 监禁过程有点漫长，学日语