盘古分词 V1.2 版本发布

V1.2 增加如下功能

1. 未登录词识别的开关,可以允许关闭未登录词识别功能

在搜索应用中,打开未登录词识别功能将会产生大量的新词,有些新词其实不是一个真正的词,这样将增加倒排索引的负担,所以盘古分词V1.2版本提供了这个选项,让用户可以关闭未登录词识别,关闭后,未登录词将转换为单字输出。


2. 英文忽略大小写功能

这个功能在处理英文时还是很有用的。

3. 过滤掉大于指定长度的英文的功能

有时候我们不想输出英文,这是只要打开这个开关,并将过滤长度设置为0,就可以了。有时候我们只想输出小于某个长度的英文,这个功能就可以用上。

4. 过滤掉大于指定长度的数字的功能

同上。

下载地址

http://pangusegment.codeplex.com/

原文地址:https://www.cnblogs.com/eaglet/p/1662571.html