针对深度学习的文本分类模型盘点

1.textCNN

优势:短文本分类

可参照:https://www.cnblogs.com/AntonioSu/p/11969386.html

2.fast Text

优点:训练速度快

3.HAN(Hierarchical Attention Network)

优点:对文档的分类

双向的LSTM,可以获得丰富的词汇表示

attention阶段:词在句子中的重要程度

4.TextRNN

 以双向lstm编码句子,获得句子的信息表征,将前向最后时刻和后向最后时刻拼接,乘以Fc之后,对tensor做softmax,得到类别。

5.RCNN(Recurrent Convolutional Neural Network for Text Classification)

优势:RNN捕捉上下文信息,而max-pooling选取最重要的信息给分类。 

模型数据流:每一个单词的embedding方式主要有3个部分concat组成:[left context ;word embedding;righ context],紧接着max-pooling,最后FC之后,softmax分类。

6.Transformer

可参考:https://www.cnblogs.com/AntonioSu/p/12019534.html

7.BERT

可参考:https://www.cnblogs.com/AntonioSu/p/12326426.html

8.XLnet

原文地址:https://www.cnblogs.com/AntonioSu/p/12333752.html