Singular Value Thresholding

SVT（奇异值阈值）奇异值收缩（singular value shrinkage)

考虑一个秩为r的矩阵$X\in R^{n1*n2}$的奇异值分解如下：

$$X= U \Sigma V^*，\Sigma = diag(\{\sigma_i\}_{1 \le i \le r})$$

其中$U,V$分别是$n1r，n2r$的正交矩阵，奇异值$\sigma_i$非负。

对于每一个$\tau \ge 0$，有软阈值操作$D_\tau$：

$$D_\tau(X) ：= UD_\tau(\Sigma)V^*, \ \ \ D_\tau(\Sigma)= diag(\{(\sigma_i - \tau)_+\}_{1 \le i \le r})$$

可以看出，这个软阈值操作是作用在奇异值上的，使他们趋于0，这也是这个被叫做奇异值收缩的原因。

对于奇异值收缩$D_\tau$ 有一个重要的结论：

$$D_\tau（Y)= arg\ min_X \frac{1}{2} |X-Y|_F^2 + \tau|X|_*$$