1、贝叶斯公式
p(A|D)=p(A)*p(D|A)/p(D);
可以应用于垃圾邮件的过滤和拼写检查
例如：对于拼写检查，写出一个单词D，判断该单词为正确单词A的概率。为上述条件概率的描述。
其中p(A)为先验概率，可以根据现有的数据库中的单词，来获得A单词的概率p(A)。由于正确的单词不仅仅有A,还有可能有A1，A2....
最终比较p(A1|D)，p(A2|D)，p(A3|D)...由于分母比较时相同，可以只比较分子p(A)*p(D|A)
p(A|D)正比于p(A)*p(D|A)
分别计算p(A1)*p(D|A1)，p(A2)*p(D2|A)。其中p(D|A)，例如在写A=good，错写为D=gooe是的概率。是根据增删减距离获得。
若 p(A1)*p(D|A1)=p(A2)*p(D2|A)，则根据实际生活中先验概率的选择p(A1),p(A2)大小选择。
2、re和正则表达式的关系
1）re模块提供了对正则表达式的支持。
正则表达式式可匹配文本片段的模式
2）正则表达式
目的：通过匹配可以在文本查找，将特定的模式进行替换，将文本分割成片段。
正则表达式的表示形式：
a、最简单的正则表达式为普通字符串 ‘python’
b、通配符.-- 通过特殊字符串进行创建，可以将其表示为任意一个字符
‘.ython’ 可以匹配 ‘uthon’,....
c、当字符串本身含有特殊字符，利用两个\进行转义。‘python.org’可以用‘python\.org’表示
d、字符集[a-zA-Z0-9]只能将其作为一个字符使用
‘[pj]thon’与python 或jthon匹配但是不与‘pjthon'使用。
注意
例1 text='good morning! Today we will go to the park,please be quiet!'
re.findall('[a-z]+',text.lower()) 文中的子串为均为a-z表示的单词返回列表
['good','morning','Today','we', 'will', 'go','to','the', 'park','please', 'be', 'quiet']
例2
‘[python]’只能匹配‘p’,'y'....
['python']只能匹配‘python’
print(known(['will']))
输出{‘will’}
3、re模块中使用的函数
re常用的重要函数
findall(pattern,string) 返回一个列表。其中包含字符串中所有与模式匹配的子串
sub(pat,rel,string[,count=0]) 将字符串中与模式pat匹配的子串都替换为repl
split(pattern,string[,maxsplit=0]) 根据模式来分割字符串
match(pattern,string[,flags]) 在字符串开头匹配模式
search(pattern,string[,flags]) 在字符串中查找模式
compile(pattern[ ,flags]) 用字符串表示的正则表达式转换为模式对象
import re,collections
#清除特殊符号
def words(text):return re.findall('[a-z]+',text.lower())
def train(features):
model=collections.defaultdict(lambda :1)
for f in features:
model[f]+=1
return model
NWORDS=train(words(open('big.txt').read()))
alphabelt='abcdefghijklmnopqrstuvwxyz'
#编辑距离
def edits1(word):
n=len(word)
return set([word[0:i]+word[i+1:] for i in range(n)]+ #deletion
[word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)]+ #transposition
[word[0:i]+c+word[i+1:]for i in range(n) for c in alphabelt]+ #alteration
[word[0:i]+c+word[i:] for i in range(n+1)for c in alphabelt]) #insertion
def edits2(word):
return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)
#定义有优先顺序
def known(words):return set(w for w in words if w in NWORDS)
def correct(word):
candidates=known([word])or known(edits1(word)or edits2(word)or[word])
return max(candidates,key=lambda w:NWORDS[w])
print(correct('goode'))
good