Sparse Principal Component Analysis

背景:

sparse PCA 较 PCA来说更具可解释性,泛化性。

部分符号

(mathrm{X} in mathbb{R}^{n imes p})
假设样本已经中心化(每一个行为一个样本)
(mathrm{X}=[X_1,X_2,ldots, X_p])
(X_j = (x_{1j}, x_{2j},ldots, x_{nj}))
(mathrm{X = UDV^{T}})
(mathrm{Z=UD})为主成分(PCs)

创新点

1.将PCA问题转化为一个回归问题,利用最小角回归,可以高效求解Lasso问题。
2.二重迭代求解,sparse PCA问题。

文章梗概

The LASSO AND THE ELASTIC NET

普通的Lasso

在这里插入图片描述
(Y=(y_1,y_2,ldots,y_n)^{mathrm{T}})
这个方法的问题在于,当(p gg n)的时候,(hat{eta})最多有n个非零项(这是为什么呢?)

The elastic net

在这里插入图片描述

将PCA改造为回归问题

定理一 考虑单个向量(需要先进行SVD)

在这里插入图片描述

定理二 单个向量(无需进行SVD版本)

在这里插入图片描述

定理三 多个向量(无需进行SVD, 非LASSO,非elastic net)

在这里插入图片描述

目标函数(最终版)

在这里插入图片描述

俩步求解

在这里插入图片描述

定理四 A given B的理论支撑(存疑)

在这里插入图片描述

算法一

在这里插入图片描述

方差计算

因为稀疏化后的向量,既不具有空间上(往往)的正交性,也不具有概率上((mathrm{x^{T}Cy}=0))的正交性。这里,Zou 考虑的是概率上的正交性,将得到的向量正交化,把余量相加得最后的方差。
在这里插入图片描述

复杂度

(n > p)(np^2+mO(p^3)) #m是迭代次数

(p gg n) 算法改进

简单来说,就是把step2改进下,原来需要求解一个elastic net问题,现在直接进行截断,自然会减轻不少负担。
在这里插入图片描述

数值实验(pitprops)

在这里插入图片描述

在这里插入图片描述

原文地址:https://www.cnblogs.com/MTandHJ/p/10527979.html