所谓Stemming,可以称为词根化,这里有个overview。在英语这样的拉丁语系里面,单词有多种变形。比如加上-ed、-ing、-ly等等。在分词的时候,如果能够把这些变形单词的词根找出了,对搜索结果是很有帮助的。Stemming算法有很多了,三大主流算法是Porter stemming algorithm、Lovins stemming algorithm、Lancaster (Paice/Husk) stemming algorithm,还有一些改进的或其它的算法。
所谓Stemming,可以称为词根化,这里有个overview。在英语这样的拉丁语系里面,单词有多种变形。比如加上-ed、-ing、-ly等等。在分词的时候,如果能够把这些变形单词的词根找出了,对搜索结果是很有帮助的。Stemming算法有很多了,三大主流算法是Porter stemming algorithm、Lovins stemming algorithm、Lancaster (Paice/Husk) stemming algorithm,还有一些改进的或其它的算法。