IK 分词器是啥子?

IK 分词器介绍

IK Analyzer 是一个开源的,基于 java 语言开发的轻量级的中文分词工具包。最初,它是以开源项目 Luence 为应用主体的,结合词典分词和文法分析算法的中文分词组件。从 3.0 版本开始,IK 发展为面向 Java 的公用分词组件,独立 Lucene 项目,同时提供了对 Lucene 的默认优化实现。

IK 分词器类型

1、ik_smart:会做最粗粒度的拆分,比如会将【中华人民共和国】拆分为【中华人民】【共和国】。

2、ik_max_word:会做最细粒度的拆分,比如会将【中华人民】拆分为【中华】【华人】【人民】等各种可能的组合。

原文地址:https://www.cnblogs.com/feiqiangsheng/p/14590900.html