《数据挖掘:理论与算法》学习笔记(四)—贝叶斯分类

什么是分类

分类是一项生存的基本技能,例如,动物对天敌和猎物进行分类。

分类是一种有监督的学习,从数据中产生模型,输入一组样本特征后,能很好地将其归为某个类别。(包括二分类和多分类)
在这里插入图片描述

贝叶斯定理

如下所示,用于计算B事件发生的情况下A发生的概率
在这里插入图片描述

朴素贝叶斯

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法

朴素贝叶斯分类器基于一个简单的假定:给定目标值时属性之间相互条件独立。
在这里插入图片描述
理论上我们应该用第三个公式:即联合概率分布,但实际中我们采用的是最后一个边缘概率乘积的方式。

条件独立的概念
在这里插入图片描述
例子:男性更容易得癌症吗?
在这里插入图片描述
这是条件独立的一个经典例子,实际上性别没什么关系。

拉普拉斯平滑
加入拉普拉斯平滑,避免了出现概率为0的情况,又保证了每个值都在0到1的范围内,又保证了最终和为1的概率性质
在这里插入图片描述

参考文献:清华大学-数据挖掘:理论与算法(国家级精品课)

原文地址:https://www.cnblogs.com/cy0628/p/14126693.html