比如我们站点有一篇文章，搜索引擎想过来提取一篇文章的关键词，这是涉及到数据挖掘、文本处理、信息检索等很多的领域，但是出乎意料的是，有一个非常简单的经典算法，可以给出令人相当满意的结果。它简单到都不需要高等数学，普通人只用10分钟就可以理解，这就是我今天想要介绍的TF-IDF算法。
搜索引擎如果需要判断一篇文章主题，比如《细说PHP技术》，一个容易想到的思路，就是找到出现次数最多的词。如果某个词很重要，它应该在这篇文章中多次出现。于是，我们进行"词频"（Term Frequency，缩写为TF）统计。 比如文章中会有很多的 的 是 在 之类的词，我们会称呼他为“停用词”，那么停用词又是什么呢？百度百科中有详细的介绍：
这里其实可以理解为：搜索引擎他的存储空间内存是有一定的，使用他在处理时候，他会将页面中哪些无关的词去掉，这样他抓取的时候会比较更快速，也节省空间从而提升效率~
假设我们将它都过滤掉，只考虑剩下的实际意义的词，这样会出现一个新问题，我们可能会发现 细说 和 PHP 与 技术 这三个词出现的次数一样多，这样就会意味着他们的重要性是否一样呢？
显然不是，因为细说这个词这个词很常见，相对而言，PHP 和 技术 这个词他不是这么常见，如果这三个词在同一篇文章，且出现次数一样多，也有人认为细说中细说的重要程度大于PHP 和 技术 ，其实可以理解为 PHP技术 其实可以排在细说前面，因此我们就要衡量一个词是不是常见词，如果那个词比较少见，那么如果同时他在文章中出现的次数较多，那他讲反应了文章的特性，这就是我们所需要的关键词。
从统计学语言上表达，在次频基础上需要对每个词分辨一个重要的原则，给文章一个关键词分配一个重要的权重，最常见的 的 是 在 他们是停用词，给与较小的权重，细说 也给予较少的权重，那么很少见的词 PHP 和 技术 给予较大的权重，如果我们去创造一个词，那么这个词也是比较少见他的权重也会比较大，这个权重也叫做 逆文档频率 （Inverse Document Frequency，缩写为IDF）它的大小与一个词的常见程度成反比。
比如 细说 这个词比较常见，那么他的逆文档频率也将会是较低的，成反比，我们知道了 词频(TF) 和 逆文档频率(IDF) 后，将这两个词相乘，就得到一个我们所说的TF-IDF值了，某个词对文章的重要性越高，那么他的TF-IDF的值就越大，所以拍在前面的词就是文章的关键词了~ ~！
第一步、计算词频的方法：
词频（TF）=某个词在文章中的出现次数
文章有长度之分的，为了不同文章的比较，所以进行词频标准化：
词频（TF） = 某个词在文章中出现的次数 ÷ 文章的总词数
这里可以理解为比如我们要的 细说 这个词在一篇文章中值出现了一次，那么这篇文章内容系统会自动进行分词，分出大量的词数，比如 PHP 为一个词 技术 为一个词，如此类推，分出大量的词后的总关键词数量 进行一个除法计算即可算出 词频（TF）~~！
或者
词频（TF） = 某个词在文章中出现的次数 ÷ 该文出现次数量最多的词的出现次数
第二步、计算逆文档频率
这时，需要一个语料库（corpus），用来模拟语言的使用环境。
其实可以理解为 语料库 其实是搜索引擎的索引库，这里的的总数我们不得而知，这个要问度娘~~！
包含该次的文档数：
在搜索引擎搜索出来的结果 细说 明显是最小的，这里其实可以理解为我们的 包含该次的文档数。
逆文档频率（IDF） = log（语料库的文档总数 ÷ （包含该次的文档数 + 1 ））
如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有文档都不包含该词）。log表示对得到的值取对数。
第三步、计算IF-IDF
TF-IDF = 词频（TF） X 逆文档频率（IDF）
一个词在文档中出现的次数（词频TF），与该词在语料库中出现的次数成反比，如果出现的越少，那么逆文档频率将越高，IDF就越高，相乘那么TF-IDF的值就越大~ ~！
还是以《细说PHP技术》为例，假定该文长度为1000个词，"细说"、"PHP"、"技术"各出现20次，则这三个词的"词频"（TF）都为0.02。然后，搜索Google发现，包含"的"字的网页共有250亿张，假定这就是中文网页总数。包含"中国"的网页共有62.3亿张，包含"PHP"的网页为0.484亿张，包含"技术"的网页为0.973亿张。则它们的逆文档频率（IDF）和TF-IDF如下：
"PHP"的TF-IDF值最高，"细说"其次，"技术"最低。（如果还计算"的"字的TF-IDF，那将是一个极其接近0的值。）所以，如果只选择一个词，"细说"就是这篇文章的关键词。
TF-IDF算法的优点是：简单，快速，比附符合实际结果情况
TF-IDF缺点是：单纯以"词频"衡量一个词的重要性，不够全面，有时重要的词可能出现次数并不多。而且，这种算法无法体现词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为重要性相同，这是不正确的。（一种解决方法是，对全文的第一段和每一段的第一句话，给予较大的权重。）
搜索引擎的核心变化一直都是很小的，最多只是在基础上又一点延伸而已，所以上面的方法到目前还是很好使的 ~ ~！
本文其实是参考了阮一峰大神的一篇文章 http://www.ruanyifeng.com/blog/2013/03/tf-idf.html 来进行编写的。
早在2013年的时候阮一峰大神就已经玩的东西，小弟只是借鉴他的一篇文章来个TF-IDF玩法以便大家进行参考，如果有哪里写的不好，请大家多多指点，以便大家一起提升~ ~！
灰产玩法小提示：
如果做灰产行业，可以百度指向某一个站，然后给这个站增加一点权重，增加一点信任度，灰产行业玩法是这样而已，正规站点一般都不是这样玩的~~！
灰产还有一个玩法就是疯狂的去举报竞争对手的快照，这样百度就会认为这个页面有问题，会受到降权的，他就会进入一个观察期，但是目前大家都慢慢的转白了~~！
忙了一天，到USB电影网：http://www.usbdy.com/ 看看电影放松下，突然发现又更新了不少新电影，本期夺命雷公狗为大伙们推荐几部一篇放松下咯~~！
白鸟谷 ： http://www.usbdy.com/dm/73156/
最好的我们2019 ： http://www.usbdy.com/dy/aiqing/73155/
无主之城2019 ： http://www.usbdy.com/tv/dalu/73154/
密探 ： http://www.usbdy.com/dy/dongzuo/73153/
走到尽头 ： http://www.usbdy.com/dy/dongzuo/73152/
小公女 ： http://www.usbdy.com/dy/aiqing/73150/
有女朋友的老铁们可以去陪陪女朋友，木有女朋友的可以过来看看电影，放松一下，其实是挺不错的选择哟~~！