11.分类与监督学习，朴素贝叶斯分类算法

1.理解分类与监督学习、聚类与无监督学习。

简述分类与聚类的联系与区别。

简述什么是监督学习与无监督学习。

答：分类与聚类的联系与区别：两者联系为，都是为了将相似数据划分为区别与其他数据的一类，而且他们的都包含相同的过程，对于想要分析的目标点，都会在数据集中寻找离他最近的点，即都用到NN算法。

两者区别在于分类是为了确定一个点的类别，而具体有哪些类别是已知的，是有监督学习，而聚类的目的是不知晓有什么类别，将一系列点分成若干类，是无监督学习。

监督学习：根据已有的数据集，知道输入和输出结果之间的关系。根据这种已知的关系，训练得到一个最优的模型。

无监督学习：我们不知道数据集中数据、特征之间的关系，而是要根据聚类或一定的模型得到数据之间的关系。

2.朴素贝叶斯分类算法实例

利用关于心脏病患者的临床历史数据集，建立朴素贝叶斯心脏病分类模型。

有六个分类变量(分类因子)：性别，年龄、KILLP评分、饮酒、吸烟、住院天数

目标分类变量疾病：

–心梗

–不稳定性心绞痛

新的实例：–(性别=‘男’，年龄<70, KILLP=‘I'，饮酒=‘是’，吸烟≈‘是”，住院天数<7)

最可能是哪个疾病？

上传手工演算过程。

答：设p（x1）为患者性别概率，p（x2）为患者年龄概率，p（x3）为患者KILLP分数的概率，p（x4）为患者是否有喝酒的概率，p（x5）是否有吸烟的概率，p（x6）是患者住院天数的概率，p（y1）为患者是心梗的概率，p（y2）为患者是不稳定性心绞痛的概率

该男子各项数据的概率p（x）：0.4X0.25X0.5X0.2X0.45X0.3=0.00135

表中患有心梗疾病的个数y1为16，P(y1)为0.8；

　　在心梗的前提下是男性的个数为7，概率P(y1|x1)为：43.7%。

　　在心梗的前提下是年龄<70的个数为4，概率P(y1|x2)为：25%。

　　在心梗的前提下是KILLP=’1’的个数为9，概率P(y1|x3)为：56.2%。

　　在心梗的前提下是饮酒=‘是’的个数为2，概率P(y1|x4)为：18.7%。

　　在心梗的前提下是吸烟=‘是’的个数为7，概率P(y1|x5)为：43.7%。

　　在心梗的前提下是住院天数<7的个数为4，概率P(y1|x6)为：25%。

p(y1|x)=(p(x1|y1)p(x2|y1)p(x3|y1)p(x4|y1)p(x5|y1)p(x6|y1)p(y1))/P(x)

　　　=(43.7%*25%*56.2%*18.7%*43.7%*25%*0.8)/0.00135

　　　≈74.3%

表中患有心绞痛疾病的个数y2为4，P(y2)为0.2；

　　在心绞痛的前提下是男性的个数为1，概率P(y2|x1)为：25%。

　　在心绞痛的前提下是年龄<70的个数为1，概率P(y2|x2)为：25%。

　　在心绞痛的前提下是KILLP=’1’的个数为1，概率P(y2|x3)为：25%。

　　在心绞痛的前提下是饮酒=‘是’的个数为1，概率P(y2|x4)为：25%。

　　在心绞痛的前提下是吸烟=‘是’的个数为2，概率P(y2|x5)为：50%。

　　在心绞痛的前提下是住院天数<7的个数为2，概率P(y2|x6)为：50%。

p(y2|x)=(p(x1|y2)p(x2|y2)p(x3|y2)p(x4|y2)p(x5|y2)p(x6|y2)p(y2))/P(x)

　　　=(25%*25%*25%*25%*50%*50%*0.2)/0.00135

　　　≈14.5%

因为p(y1|x)>p(y2|x)，所以在同种临床数据下，该患者患有心梗的概率要大于患有心绞痛的概率。

3.使用朴素贝叶斯模型对iris数据集进行花分类。

尝试使用3种不同类型的朴素贝叶斯：

并使用sklearn.model_selection.cross_val_score()，对各模型进行交叉验证。

引入的包

引入数据集以及各自使用不同类型的朴素贝叶斯

结果为

进行交叉验证