Style Transfer from Non-Parallel Text by Cross-Alignment 阅读

发表在 NIPS 2017

动机

作者聚焦于非平行语料文本的风格迁移,针对其研究难点:如何将文本内容与属性分离开来,提出假设跨不同文本语料库共享潜在内容分布,并利用潜在表示的精确对齐来执行风格迁移的方法

方法(交叉对齐)

[x_1、x_2为两个不同域的语料库 ]

[y_1、y_2 为其对应的风格标签 ]

[Z 为共享的隐空间(符合高斯分布) ]

说明:编码器 E 将句子进行编码并映射到隐空间 Z 中,得到句子的内容表示,当生成器 G 中输入的是原句子标签 y1 时,则生成与原风格相同的句子(重构,相当于AE),与原句子对齐;当生成器 G 中输入不同的风格时,则生成目标风格的句子,与目标句进行一个交叉对齐。

形式化

目的:学习一个风格迁移函数

主要包括两步:

第一步:编码,映射到隐空间 z 中。 z ~ p(z|x2,y2)

第二部:解码,生成目标句子。p(x1|y1,z)

损失函数

重构损失(VAE):

两部分相加

判别器(cnn 分类器):

算法

实验

论文中做了三个任务:

  • Sentiment modification

    数据集:YELP

    数据处理同 Hu et al 2017 (Toward Controlled Generation of Text)

评价指标(引入了人工评价):

​ Accuracy(预训练好的 TextCNN)

​ sentiment、fluency(human)-- 从测试集中随机选择 500 条句子由两个人来判断句子情感是否转换成功以及句子的流畅度

  • Word substitution decipherment
  • Word order recovery

源代码

https://github.com/shentianxiao/language-style-transfer

原文地址:https://www.cnblogs.com/alivinfer/p/13356926.html