Data Flow ->> Term Extraction

中文意思是关键词抽取,用于计算在文本中哪些词汇或者词组出现的频率最高。其实算法有两张:1)Frequency 2)TFIDF

TFIDF的全称是Term Frequency and Inverse Document Frequency,是一个用于计算单词或词组在在整个文本中出现的几率。下面是这个公式的表达式:

TDIDF (of a term or phrase) = (frequency of term) * log((# rows in sample)/(# rows with term or phrase))

这里的输入栏位必须为DT_WSTR或者DT_NTEXT。

结果输出Term和Score两个字段。

原文地址:https://www.cnblogs.com/jenrrychen/p/4490810.html