中文分词工具包 PKUSeg

GitHub地址:https://github.com/lancopku/PKUSeg-python

MSRA数据:http://sighan.cs.uchicago.edu/bakeoff2005/

参考文档:https://www.codercto.com/a/50439.html

PKUSeg提供了三个预训练模型,分别是在不同类型的数据集上训练的

一. 用MSRA (新闻语料) 训练出的模型:

https://pan.baidu.com/s/1twci0QVBeWXUg06dK47tiA

二. 用CTB8 (新闻文本及网络文本的混合型语料) 训练出的模型:

https://pan.baidu.com/s/1DCjDOxB0HD2NmP9w1jm8MA

三. 在微博 (网络文本语料) 上训练的模型:

https://pan.baidu.com/s/1QHoK2ahpZnNmX6X7Y9iCgQ

原文地址:https://www.cnblogs.com/yu121/p/13213192.html