生成模型与判别模型

监督学习分为生成方法和判别方法,而生成方法和判别方法又推导出生成模型和判别模型

常见的生成模型有:朴素贝叶斯法、马尔科夫模型、高斯混合模型。

常见的判别模型有:k临近法、感知机、决策树、逻辑回归模型、最大熵模型、支持向量机、boosting方法和条件随机场等

对于一个二分类问题,假设分类目标为q和qq,有一个测试用例x

我们直观的判断一个二分类问题属于q或者qq,从某种程度上说是比较P(q|x)和P(qq|x)的概率大小

在判别模型下我们是通过决策函数F(x)或者计算条件概率,来获取P(q|x)和P(qq|x)的概率的,通过决策函数可以设置阈值,当输入的x所计算出的结果大于某一阈值的时候我们将它分为一类,低于阈值分为另一类,可以说判别模型计算的数据是有限的。

在生成模型下,会先求出P(q,x)和 P(qq,x)的概率,然后由 P(q|x) = P(q, x) / P(x), P(qq|x) = P(qq, x) / P(x),这时他们的分母相同,P(q, x)和P(qq, x)的大小反应了最终结果的大小,也可以判断测试用例x是属于哪一分类。不过生成模型计算的是联合概率密度,需要较多数据才能较好的反映分类事件的概率。

参考链接https://blog.csdn.net/zouxy09/article/details/8195017  https://www.cnblogs.com/sddai/p/9588349.html

如果有错误的地方感谢纠正

原文地址:https://www.cnblogs.com/lalalatianlalu/p/11331776.html