比较好的一套处理工具吧，感谢作者，原文地址：https://github.com/ownthink/Jiagu
练习一下使用
""" Funciton: jiagu测试 Author: dyx DateTime: 20191021 """ import jiagu # 分词，词性标注，命名实体模块 def model_01(): text = '厦门市美亚柏科信息股份有限公司，邓叶勋任自然语言处理算法工程师一职' jieba_words = jiagu.seg(text) print(jieba_words) words = jiagu.seg(text) print(words) pos = jiagu.pos(words) print(pos) ner = jiagu.ner(text) print(ner) # 知识图谱关系抽取 def model_02(): # text = '吻别是由张学友演唱的一首歌曲' text = '新疆大学（Xinjiang University），简称“新大”，位于新疆维吾尔自治区首府乌鲁木齐，是世界一流大学建设高校、全国重点大学' knowledge = jiagu.knowledge(text) print(knowledge) # 关键词抽取 def model_03(): text = '新疆大学（Xinjiang University），简称“新大”，位于新疆维吾尔自治区首府乌鲁木齐，是世界一流大学建设高校、全国重点大学、国家“211工程”重点建设高校、国家西部大开发重点建设高校、中西部高校基础能力建设工程高校、中国政府奖学金来华留学生接收院校、国家建设高水平大学公派研究生项目高校、”卓越工程师教育培养计划“高校、”卓越法律人才教育培养计划“高校、教育部与新疆维吾尔自治区人民政府合作共建高校、中西部“一省一校”国家重点建设大学（Z14）联盟成员、中国—中亚国家大学联盟发起高校、全国深化创新创业教育改革示范高校。' keywords = jiagu.keywords(text) print(keywords) # 文本摘要 def model_04(): text = '新疆大学（Xinjiang University），简称“新大”，位于新疆维吾尔自治区首府乌鲁木齐，是世界一流大学建设高校、全国重点大学、国家“211工程”重点建设高校、国家西部大开发重点建设高校、中西部高校基础能力建设工程高校、中国政府奖学金来华留学生接收院校、国家建设高水平大学公派研究生项目高校、”卓越工程师教育培养计划“高校、”卓越法律人才教育培养计划“高校、教育部与新疆维吾尔自治区人民政府合作共建高校、中西部“一省一校”国家重点建设大学（Z14）联盟成员、中国—中亚国家大学联盟发起高校、全国深化创新创业教育改革示范高校。 新疆大学前身是创办于1924年的新疆俄文法政专门学校。1935年1月改建为新疆学院，1960年10月1日，正式成立新疆大学，1978年被国务院确定为新疆唯一的全国重点大学，1997年被列入国家“211工程”，2000年被确定为国家西部大开发重点建设高校。2000年12月30日，新疆大学与原新疆工学院合并组建新的新疆大学。2004年，学校成为新疆维吾尔自治区人民政府、教育部“区部共建”高校。2017年6月，新疆大学被教育部列入国家“双一流”建设战略布局中42所“世界一流大学”建设之列。2018年，列入“部省合作共建高校”序列。 ' summarize = jiagu.summarize(text, 1) print(summarize) # 情感分析 def model_05(): text = '艾略特波浪理论是我的最爱' text = '很讨厌还是个懒鬼' text = '我喜欢你' sentiment = jiagu.sentiment(text) print(sentiment) # 文本聚类 def model_06(): docs = ['百度深度学习中文情感分析工具Senta试用及在线测试', '情感分析是自然语言处理里面一个热门话题', 'AI Challenger 2018 文本挖掘类竞赛相关解决方案及代码汇总', '深度学习实践：从零开始做电影评论文本情感分析', 'BERT相关论文、文章和代码资源汇总', '将不同长度的句子用BERT预训练模型编码，映射到一个固定长度的向量上', '自然语言处理工具包spaCy介绍', '现在可以快速测试一下spaCy的相关功能，我们以英文数据为例，spaCy目前主要支持英文和德文'] cluster = jiagu.text_cluster(docs) print(cluster) if __name__ == '__main__': model_01() model_02() model_03() model_04() model_05() model_06()