1.读取
2.数据预处理
实现代码：
import nltk
import csv
from nltk.corpus import stopwords
from nltk.stem import WordNetLemmatizer
# 返回词性类别
def get_word_pos(tag):
if tag.startswith("J"):
return nltk.corpus.wordnet.ADJ
elif tag.startswith("V"):
return nltk.corpus.wordnet.VERB
elif tag.startswith("N"):
return nltk.corpus.wordnet.NOUN
elif tag.startswith("R"):
return nltk.corpus.wordnet.ADV
else:
return nltk.corpus.wordnet.NOUN;
#编写预处理函数
def preprocessing(text):
#1.进行分词并形成数组 nltk.sent_tokenize(text)按照句子进行分割 nltk.word_tokenize(sent) 对句子进行分词
tokens = [word for sent in nltk.sent_tokenize(text) for word in nltk.word_tokenize(sent)]
#2.去掉停用词
stops = stopwords.words("english")#停用词
tokens = [token for token in tokens if token not in stops]#去掉数组内存在的停用词
tokens = [token.lower() for token in tokens if len(token) >= 3]#将大写字母变为小写
#3.词性标注
tag = nltk.pos_tag(tokens)
#4.词性还原
lemmatizer = WordNetLemmatizer()
tokens = [lemmatizer.lemmatize(token,pos=get_word_pos(tag[i][1])) for i,token in enumerate(tokens)]
preprocessed_text = ' '.join(tokens)
return preprocessed_text
#读取数据集，获取邮件标签及本身
sms=open('./data/SMSSpamCollection','r',encoding='utf-8')
sms_data=[]
sms_label=[]
csv_reader=csv.reader(sms,delimiter=' ')
for line in csv_reader:
sms_label.append(line[0])
sms_data.append(preprocessing(line[1]))#对每封邮件做预处理
sms.close()
print("邮件类别:",sms_label)
print("
邮件特征:",sms_data)
运行结果：
3.数据划分—训练集和测试集数据划分
from sklearn.model_selection import train_test_split
x_train,x_test, y_train, y_test = train_test_split(data, target, test_size=0.2, random_state=0, stratify=y_train)
实现代码：
# 数据划分—训练集和测试集数据划分
import numpy as np
from sklearn.model_selection import train_test_split
sms_data = np.array(sms_data)
sms_label = np.array(sms_label)
# test_size 指定划分的测试集样本占比
x_train, x_test, y_train, y_test = train_test_split(sms_data, sms_label, test_size=0.2, random_state=0,
stratify=sms_label)
print("原数据集大小：",len(sms_data))
print("训练集大小：",len(x_train))
print("测试集大小：",len(x_test))
运行结果：
4.文本特征提取
sklearn.feature_extraction.text.CountVectorizer
sklearn.feature_extraction.text.TfidfVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
tfidf2 = TfidfVectorizer()
观察邮件与向量的关系
向量还原为邮件
实现代码：
# 文本特征提取
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer()
X_train = vectorizer.fit_transform(x_train)
X_test = vectorizer.transform(x_test)
print(X_train.toarray().shape)
print(X_test.toarray().shape)
print("第一份邮件的特征向量:",X_train.toarray()[0]) #查看第一份邮件的特征向量
va = np.nonzero(X_train.toarray()[0]) # 返回矩阵中非零元素的位置
print("第一份邮件的非零特征向量:",X_train.toarray()[0][va]) # 向量的非零元素的值
dic = vectorizer.vocabulary_
print("词汇频数：",dic)#查看词频
运行结果：
4.模型选择
from sklearn.naive_bayes import GaussianNB
from sklearn.naive_bayes import MultinomialNB
说明为什么选择这个模型？
选用多项式模型
因为在这里多项式模型可以以单词为单位，对文本进行分类；
特征为单词，值为单词的出现次数。
实现代码：
# 模型选择 # 多项式分布模型 from sklearn.naive_bayes import MultinomialNB mnb = MultinomialNB() mnb.fit(X_train, y_train) y_mnb_pre = mnb.predict(X_test) # x_test预测结果 print(y_mnb_pre.shape,y_mnb_pre)
运行结果：
5.模型评价：混淆矩阵，分类报告
from sklearn.metrics import confusion_matrix
confusion_matrix = confusion_matrix(y_test, y_predict)
说明混淆矩阵的含义
混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。
混淆矩阵的每一列代表了预测类别 ，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别 ，每一行的数据总数表示该类别的数据实例的数目。
矩阵中的这四个数值，经常被用来定义其他一些度量。
from sklearn.metrics import classification_report
说明准确率、精确率、召回率、F值分别代表的意义
指标的定义：
(1)若一个实例是正类，但是被预测成为正类，即为真正类(True Postive TP)
(2)若一个实例是负类，但是被预测成为负类，即为真负类(True Negative TN)
(3)若一个实例是负类，但是被预测成为正类，即为假正类(False Postive FP)
(4)若一个实例是正类，但是被预测成为负类，即为假负类(False Negative FN）
准确率是我们最常见的评价指标，而且很容易理解，就是被分对的样本数除以所有的样本数，通常来说，正确率越高，分类器越好。
精确率表示被分为正例的示例中实际为正例的比例。
实现代码：
# 模型评价：混淆矩阵-confusion_matrix
from sklearn.metrics import confusion_matrix
from sklearn.metrics import classification_report
cm = confusion_matrix(y_test, y_mnb_pre)
print(cm)
cr = classification_report(y_test,y_mnb_pre)
print(cr)
# 准确率（正确率）= 所有预测正确的样本/总的样本 （TP+TN）/总
# 精确率 = 将正类预测为正类 / 所有预测为正类 TP/（TP+FP）
# 召回率 = 将正类预测为正类 / 所有正真的正类 TP/（TP+FN）
# F值 = 精确率 * 召回率 * 2 / ( 精确率 + 召回率) （F 值即为精确率和召回率的调和平均值）
print('准确率：',(cm[0][0]+cm[1][1])/np.sum(cm))
print('精确率：',cm[0][0]/(cm[0][0]+cm[1][0]))
print('召回率：',cm[0][0]/(cm[0][0]+cm[0][1]))
运行结果：
6.比较与总结
如果用CountVectorizer进行文本特征生成，与TfidfVectorizer相比，效果如何？
CountVectorizer只考虑每个单词出现的频率；然后构成一个特征矩阵，每一行表示一个训练文本的词频统计结果。其思想是，先根据所有训练文本，不考虑其出现顺序，只将训练文本中每个出现过的词汇单独视为一列特征，构成一个词汇表(vocabulary list)，该方法又称为词袋法。
TfidfVectorizer则可以把原始文本转化为tf-idf的特征矩阵,从而为后续的文本相似度计算，还关注其他包含这个词的文本，挖掘更有意义的特征。相较于CountVectorizer更加比较灵活高效，且具有代表性和意义