1 概述
虽说现在深度学习在文本分类上取得了很大的进步，但是很多时候在工业界没有与之匹配的数据量，在少量数据的情况下，使用深度学习很容易出现过拟合，而此时使用传统的TF-IDF加机器学习又无法取得良好的效果。针对这种情况，我们来看看在使用深度学习时有哪些方法也尽量地避免过拟合。
2 过拟合的处理方法
1）L1和L2正则化
对模型中的权重系数加上L1或L2正则处理，将无关的权重系数惩罚到一个很小的值，甚至为0。
2）Dropout 正则化
Dropout正则化一般使用在全连接层中。
3）提早停止
当发现在继续迭代时，验证集上的损失开始上升时，即使此时训练集上的损失在下降，也应该停止迭代。
4）数据增强
在图像中我们知道可以通过对图片进行翻转，裁剪，缩放，调整对比度等来进行数据增强，那么在文本中又该如何增强数据呢？
a）同义词替换
在有些论文中提出了同义词替换，但在使用word2vec词嵌入时，同义词之间的向量是非常相似的，也就是说你输入到模型中的数据实际上没有什么变化，此时的效果并不会很好。
b）反向翻译
利用机器翻译的技术将原始的句子翻译成一种目标语言，然后又将这种目标语言重新翻译回来，例如英文文本分类时，先将英文翻译成西班牙语，然后又反向翻译为英文，利用这种方法可以得到两个不同的句子。有时候能取得不错的效果。
c）文档裁剪
如果此时是长文本分类时，有时候一篇长文本中的主要思想会重复好几次，此时我们只要把这含有中心思想的几处给裁剪出来，就可以将一个长文本裁剪成多个文本。
d）生成对抗网络
生成对抗网络已经被用在图像中的数据增强中，也可以尝试用在文本中。
5）迁移学习
a）预训练词向量
例如常用的word2vec，glove等
b）句子向量
直接将文档用句子向量表示，例如facebook和谷歌的句编码器，或者skip-thought等。
c）预训练的语言模型
例如ULMFiT，BERT等。
d）多任务学习
可以构建多个任务协同学习
6）特征工程
人工从文本中抽取特征工程，然后利用较小的模型来建模。