Motivation
图像经过CNN进行分类，FC层内的权重向量往往具有很高的相关性。原因有二：①训练样本的分布不是标准的（non-uniform distribution of training samples），如图一中绿色和黑色的虚线向量经过权重矩阵映射后得到红色、紫红色和蓝色的实线向量，其中红色和紫红色就有很强的的相关性；二是样本经过CNN后的向量不是正交的，这样再利$l_2$进行距离计算就不够准确。
Proposed Method
如图2，在FC的倒数第二层添加一个Eigenlayer。这个Eigenlayer可以对FC中的权重做SVD变换使得输出向量正交。对于倒数第二个FC层的权重矩阵$W$，利用SVD进行分解，有$W=USV^T$，用$US$来代替W。
训练方法如下
实验结果
