生成模型和判别模型

1、定义:

生成模型(或称产生式模型)和判别模型(或称判别式模型)的本质区别在于模型中观测序列x和状态序列y的决定关系。前者假设y决定x,后者假设x决定y。

2、生成模型特点

2.1、生成模型以“状态序列y按照一定的规律生成观察输入序列x”为假设,针对联合分布p(x,y)建模,通过估计生成概率最大的生成序列来估计y。

2.2、生成模型是所有变量的全概率模型,因此可以模拟所有变量的值。

2.3、有严格的独立性假设,特征是事先给定的,并且特征之间的关系比较清楚,模型可以通过增量学习获得。可以用于数据不完整的情况。

2.4、弱点是推导和学习比较复杂。

2.5、常见的生成模型有:n-gram,HMM,NB等

2.6、收敛速度快(《统计学习方法》李航)

3、判别模型特点

3.1、y由x决定,直接使用p(y|x)建模;特征任意给定,通过函数表示。

3.2、优点:处理多类问题或分辨某一类问题与其他类之间的差异是比较灵活,模型简单,容易学习。

3.3、缺点:描述能力有限;变量之间的关系不清楚;大多数都是有监督模型,不能推广到无监督。

3.4、代表:ME(LR),CRF、SVM、MEMM、感知机。

3.5、准确度高(《统计学习方法》李航)

如果发现文中有问题,敬请联系作者批评指正,真诚欢迎您的指教,谢谢!

微信: legelsr0808

邮箱: legelsr0808@163.com

原文地址:https://www.cnblogs.com/ai1024/p/7293726.html