TF-IDF与余弦相似性的应用

阮一峰老师的博客写的相当详细了,非常佩服,在这里记录一下链接

一):自动提取关键词

url: http://www.ruanyifeng.com/blog/2013/03/tf-idf.html

笔记:

分母+1目的是防止所有文档都不包含该词(未登录词)

利用tf-idf方法:

优点 是简单快速,结果比较符合实际情况。

缺点 是这种算法无法体现词的位置信息,出现位置靠前的词与出现位置靠后的词,都被视为重要性相同,这是不正确的。(一种解决方法是,对全文的第一段和每一段的第一句话,给予较大的权重。

二):找出相似文章

url: http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html

更详细的参看 吴军 《数学之美》 P127

三):自动摘要

url: http://www.ruanyifeng.com/blog/2013/03/automatic_summarization.html

原文地址:https://www.cnblogs.com/kaituorensheng/p/3364577.html