paper169:2020CVPR文章解读:nestedVAE:Isolating common facters via weak supervision

初稿理解~~

要点总结:

1、基础思想

    1)现存深度模型对数据的敏感度、稳定性或者鲁棒性要求大,且不具备明确的可解释性。

    2)本文考虑的关键内容是实现模型减小对数据的敏感度,从而抓住数据的重要特征。

    3)本文对同一类别不同类型的数据进行采集,利用变分式自编码器原理中潜在的变量所处的空间进行获取分析,即:nestedVAE(巢状自编码器)通过对来自不同角度,不同domain的数据,得到共同潜在的变量。这个潜在变量是来自自编码器本身,从而降低模型对数据的敏感度,从而提升模型对来自不同角度数据的识别准确性。

    4)变分:统计相关的概率分布,自编码器:通过编码器对数据降维,通过解码器进行升维,是表示学习的一部分。对一个数据,如何去描述他,理论思想认为数据是存在于流行空间的,流行就是指数据在低维和高维之间存在变换的,可增可降。由于低维和高维之间不是一一确认的,所以就需要潜在的变量进行限制。由于是概率分布,不需要准确知道这个潜在的变量的值是多少。变分式自编码器就在于如何引入这种不确定性,同时又能引入这种约束,能够生成低维到高维更加灵活的投影数据。例如:图像的低分辨率到高分辨率,视频的插帧补帧等都属于生成模型,或者变分式自编码器这样的表述。

 2、动机(motivation)

     1)同一类别不同角度的数据,受采集或其他的影响,会有一种外在的不同表征。本文提出了nestedVAE(巢状变分式自编码器)来找到共同的潜在的变量,使用了变分中的KL散度,信息瓶颈理论(两年前文章,试图从信息熵的角度来解释)等来捕获潜在变量的空间,从而确定了该命题和定义。

     2)从文章看出,一个模型不需要对一种任务或者一种采集数据去训练一种专用模型,可以具备更好的泛化性。(方法)

3、Comments

     1)本文的初衷是非常好的,在一定程度上也缓和神经网络模型对数据的敏感性的限制,但是

,也考虑到本文的变分式自编码器,其中latent是可以因子化的,参数化进行表征,例如正态分布或者高斯分布,这种潜在变量进行分布化。我们认为潜在特征都是独立的,而这种假设就牺牲了这种独立性。

    2)性能上,一定程度克服数据敏感度的。但是理论框架上还需要重新讨论。

     3)基于变分式自编码器的限制还是比较大的,我们希望可以把这种不是变分式自编码器的模型中去,

原文地址:https://www.cnblogs.com/molakejin/p/13377700.html