贝叶斯分类器是基于概率计算的一种分类器，即测试特征分别算属于每个类别的概率，它里面也包含很多算法，比如，朴素贝叶斯、半朴素贝叶斯、EM算法等等。这里主要说朴素贝叶斯。
贝叶斯公式：
，对于分类也就是
。因为计算时，分母都一样，所以可以不用计算，故难点在于算右边分子P（特征|类别）。
朴素贝叶斯之所以叫朴素，因为它这里做了两个假设来简化P（特征|类别）的计算。假设：所有特征是独立的，即相互之间的概率不影响；且特征同等重要，即权重一样。
在假设条件下，P（特征|类别）=P（特征1|类别）*P（特征2|类别）*...*P（特征n|类别）。如果还不能理解，可以看这篇文章中嫁不嫁的例子。
书中这章将朴素贝叶斯主要是也三个例子为主，1）留言板文档分类（是不是侮辱性的）。2）过滤垃圾邮件。3）从个人广告中获取区域倾向。这里将也第一个例子编写贝叶斯模块。
步骤：1）因为是文档，里面的内容是单词，肯定先转换为数值向量。
(1)将所有训练集单词生成一个集合
(2)看测试集中的单词是否在训练集中出现过，并且创建向量
2）准备工作完成后，下面主要就是计算P（特征|类别）*P（类别）。这里P（类别）其实很好计算，就两类：是侮辱性留言文档，不是，根据标签那一列计算就好。P（特征1|类别）*P（特征2|类别）*...*P（特征n|类别）
的计算这里要考虑一下实际问题，第一：如果有一个因子为0，那乘积就是0了，所以这里所有词出现数初始话为1，而不是0；第二就是下溢出问题，即太多很小的数相乘因为计算机精度，会显示为0。用公式ln(a*b)=ln(a)+ln(b)改进一下。
3）分别根据测试数据集属于哪一类的概率，返回概率大的类别
对应代码：
1 def loadDataSet(): 2 """ 3 创建数据集 4 :return: 单词列表postingList, 所属类别classVec 5 """ 6 postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], #[0,0,1,1,1......] 7 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], 8 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], 9 ['stop', 'posting', 'stupid', 'worthless', 'garbage'], 10 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], 11 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] 12 classVec = [0, 1, 0, 1, 0, 1] # 1 is abusive, 0 not 13 return postingList, classVec
步骤1）中的1）：
1 def createVocabList(dataSet): 2 """ 3 获取所有单词的集合 4 :param dataSet: 数据集 5 :return: 所有单词的集合(即不含重复元素的单词列表) 6 """ 7 vocabSet = set([]) # create empty set 8 for document in dataSet: 9 # 操作符 | 用于求两个集合的并集 10 vocabSet = vocabSet | set(document) # union of the two sets 11 return list(vocabSet)
步骤1）中的2）：
1 def setOfWords2Vec(vocabList, inputSet): 2 """ 3 遍历查看该单词是否出现，出现该单词则将该单词置1 4 :param vocabList: 所有单词集合列表 5 :param inputSet: 输入数据集 6 :return: 匹配列表[0,1,0,1...]，其中 1与0 表示词汇表中的单词是否出现在输入的数据集中 7 """ 8 # 创建一个和词汇表等长的向量，并将其元素都设置为0 9 returnVec = [0] * len(vocabList)# [0,0......] 10 # 遍历文档中的所有单词，如果出现了词汇表中的单词，则将输出的文档向量中的对应值设为1 11 for word in inputSet: 12 if word in vocabList: 13 returnVec[vocabList.index(word)] = 1 14 else: 15 print("the word: %s is not in my Vocabulary!" % word) 16 return returnVec
步骤1）的调试：
data,lab = loadDataSet()
data_set = createVocabList(data)
print(data_set)
print(setOfWords2Vec(data_set, ['dog']))
结果：
['so', 'stupid', 'maybe', 'stop', 'problems', 'park', 'has', 'cute', 'ate', 'licks', 'worthless', 'not', 'take', 'love', 'is', 'him', 'flea', 'steak', 'dog', 'food', 'help', 'how', 'please', 'my', 'posting', 'I', 'buying', 'garbage', 'mr', 'to', 'quit', 'dalmation']
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
步骤2）与3）：
def trainNB0(trainMatrix, trainCategory): """ 训练数据优化版本 :param trainMatrix: 训练文件单词矩阵 :param trainCategory: 训练文件对应的类别 :return: """ # 总文件数 numTrainDocs = len(trainMatrix) # 总单词数 numWords = len(trainMatrix[0]) # 侮辱性文件的出现概率，也就是算P（类别） pAbusive = sum(trainCategory) / float(numTrainDocs) # 构造单词出现次数列表 # p0Num 正常的统计 # p1Num 侮辱的统计 # 避免单词列表中的任何一个单词为0，而导致最后的乘积为0，所以将每个单词的出现次数初始化为 1 p0Num = ones(numWords)#[0,0......]->[1,1,1,1,1.....] p1Num = ones(numWords) # 整个数据集单词出现总数，2.0根据样本/实际调查结果调整分母的值（2主要是避免分母为0，当然值可以调整） # p0Denom 正常的统计 # p1Denom 侮辱的统计 p0Denom = 2.0 p1Denom = 2.0 for i in range(numTrainDocs): if trainCategory[i] == 1: # 累加辱骂词的频次 p1Num += trainMatrix[i] # 对每篇文章的辱骂的频次 进行统计汇总 p1Denom += sum(trainMatrix[i]) else: p0Num += trainMatrix[i] p0Denom += sum(trainMatrix[i]) # 类别1，即侮辱性文档的[log(P(F1|C1)),log(P(F2|C1)),log(P(F3|C1)),log(P(F4|C1)),log(P(F5|C1))....]列表 p1Vect = log(p1Num / p1Denom) # 类别0，即正常文档的[log(P(F1|C0)),log(P(F2|C0)),log(P(F3|C0)),log(P(F4|C0)),log(P(F5|C0))....]列表 p0Vect = log(p0Num / p0Denom) return p0Vect, p1Vect, pAbusive def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1): """ 使用算法： # 将乘法转换为加法 乘法：P(C|F1F2...Fn) = P(F1F2...Fn|C)P(C)/P(F1F2...Fn) 加法：P(F1|C)*P(F2|C)....P(Fn|C)P(C) -> log(P(F1|C))+log(P(F2|C))+....+log(P(Fn|C))+log(P(C)) :param vec2Classify: 待测数据[0,1,1,1,1...]，即要分类的向量 :param p0Vec: 类别0，即正常文档的[log(P(F1|C0)),log(P(F2|C0)),log(P(F3|C0)),log(P(F4|C0)),log(P(F5|C0))....]列表 :param p1Vec: 类别1，即侮辱性文档的[log(P(F1|C1)),log(P(F2|C1)),log(P(F3|C1)),log(P(F4|C1)),log(P(F5|C1))....]列表 :param pClass1: 类别1，侮辱性文件的出现概率 :return: 类别1 or 0 """ # 计算公式 log(P(F1|C))+log(P(F2|C))+....+log(P(Fn|C))+log(P(C)) # 使用 NumPy 数组来计算两个向量相乘的结果，这里的相乘是指对应元素相乘，即先将两个向量中的第一个元素相乘，然后将第2个元素相乘，以此类推。 # 我的理解是：这里的 vec2Classify * p1Vec 的意思就是将每个词与其对应的概率相关联起来 # 可以理解为 1.单词在词汇表中的条件下，文件是good 类别的概率 也可以理解为 2.在整个空间下，文件既在词汇表中又是good类别的概率 p1 = sum(vec2Classify * p1Vec) + log(pClass1) #加是因为为前面sum()中的元素也是LOG p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1) if p1 > p0: return 1 else: return 0
主函数：
1 def testingNB(): 2 """ 3 测试朴素贝叶斯算法 4 """ 5 # 1. 加载数据集 6 listOPosts, listClasses = loadDataSet() 7 # 2. 创建单词集合 8 myVocabList = createVocabList(listOPosts) 9 # 3. 计算单词是否出现并创建数据矩阵 10 trainMat = [] 11 for postinDoc in listOPosts: 12 # 返回m*len(myVocabList)的矩阵， 记录的都是0，1信息 13 trainMat.append(setOfWords2Vec(myVocabList, postinDoc)) 14 # 4. 训练数据 15 p0V, p1V, pAb = trainNB0(array(trainMat), array(listClasses)) 16 # 5. 测试数据 17 testEntry = ['love', 'my', 'dalmation'] 18 thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) 19 print(testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb)) 20 testEntry = ['stupid', 'garbage'] 21 thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) 22 print(testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb))
详细的的看这里
以上等于是自己写的贝叶斯模块，sklearn中也有贝叶斯模块：看这里