论文-Joint Feature Selection and Subspace Learning for Cross-Modal Retrieval

 Joint Feature Selection and Subspace Learning for Cross-Modal Retrieval

 

跨模态索引就是根据一种类型的数据查询,可以检索出有关联的其他类型的数据。其中包含两个主要的问题:相关度的衡量和耦合特征的选取。

 

之前的很多工作主要是在解决第一个问题,相关度的衡量。但是这篇论文是同时针对两个问题来解决。

(1),Joint Learning Method很优雅地结合了一般的相同子空间和耦合特征到同一个框架中

(2),在Learning 映射矩阵时,一个多模态graph regularization term可以用来保持模态之间和模态内部的相似度,从而提高了性能

(3),针对解决joint learning object function,基于半二次最小化的迭代算法,可以取得比state-of-the-art 更好的效果。

文章首先是建立objective function:

对M种不同模态的data进行 min 化。同时加入正则化项目,作用是同时对不同特征空间进行特征选择。第三项是多模态图形正则化,保持模态之间和内部的相似度关系。

 

The Multimodal Graph Regularization

模态之间相似度关系:相似度矩阵W, Wij 表示模态i与模态j之间的相似度。

模态内部的相似度关系:相似度矩阵Wp,Wp(ij) 表示模态内部的两个不同样本之间的距离。

可以将上面的两种modal归并到同一个矩阵中,W,

其中B是平衡inter-modality 和 intra-modality相似度的影响的因子。

所以第三项被定义为:

其中N是所有模态的样本总数, F代表的是样本i映射在相同空间上的特征。

objective function被定义为:

最终可以写出是:

根据新的objective function,作者给出了一种新的迭代求优的算法。

个人感受:

作者根据多个模态之间的特征,建立了一个求优函数,并在这个求优函数上对其设计出了一套新的迭代算法,并对其函数进行了证明。

一个思路很清晰,内容很完备的paper。

原文地址:https://www.cnblogs.com/zhang-yd/p/7793988.html