Natural Language Processing with Python 1.1

from nltk.book import *

不知道这个过程的是否只是载入9个文本,在我的电脑上需要20秒时间才能完成。

text1.concordance(word, width=79, lines=25)

查找text1中word出现的上下文,每次出现打印一行,word在每行居中,默认每行宽度79个字符,最多打印25行。由于word在每行完全居中,开头和结尾的字符可能不完整。

text1.similar(word, num=20)

text1中与word出现情境相似的单词,默认最多打印20个。第一次调用时建立索引速度较慢,之后查询速度较快。如果word在text1中未出现,则打印“no matches”;若无与word出现情境相似的单词,则返回空。

text1.common_contexts(word, num=20)

word实际上是一个单词列表,查找列表中单词的共同上下文,默认最多打印20个。

text1.dispersion_plot(word)

画出word列表中每个单词在text中出现位置的离散图,每条竖线代表一个单词,每行代表整个文本。

text1.generate(length=100)

按照text的风格生成随机文本,默认为100个单词长。第一次执行时搜集词序列的统计信息运行较慢。每次输出内容都不同。标点符号与前面的单词分离。

len(text3)

text3的长度,以标识符为单位,标识符是我们希望放在一起处理的字符序列,包括单词和标点符号。

sorted(set(text3))

返回text3的有序项目类型,同一单词的不同拼写记为不同类型。

from __future__ import division

len(text3) / len(set(text3))

text3中平均每个词使用的次数。

text3.count(“smote”)

text3中smote出现的次数

100 * text4.count(‘a’) / len(text4)

text4中a占文本的百分比

100 *  text5.count(‘lol’) / len(text5)

text5中lol所占的百分比

def lexical_diversity(text):

    return len(text) / len(set(text))

def percentage(count, total):

    return 100 * count / total

原文地址:https://www.cnblogs.com/cbkun/p/3408041.html