在进行自然语言处理时候，遇到如下错误：
进行词语切分后，使用tfidf做词频矩阵，导致程序报出错误：MemoryError
报错原因：文本条数过大，导致内存超载，在这里 File "C:/Users/Administrator/Desktop/temp.py", line 49, in <module>weight=tfidf.toarray()
触发MemoryError
解决方法：对关键词库进行去重
具体操作为：1方案，将原有的null值通过remove删除
2方案：将原有的列表转化为集合，再转化为列表（此方法可能会删除重复的，但有用的词汇，再做tfidf时会有误差，不建议再自然语言处理中使用这种方法）
本文本为版权所有，如若转载，请注明转载来源