soft-thresholding operator

让$f(x) = \lambda |x|_1$ ， 那么$f$的近似投影被定义为：

$$prox_f(x) = argmin_x\{\frac{1}{2}|x-z|_2^2 + \lambda|z|_1\}$$

该问题的最优性条件为：

$$0 \ \in \Delta(\frac{1}{2}|x-z|_2^2)+\partial (\lambda|z|_1)$$

由于$l1 \ norm$是可以分离的，因此我们可以单独考虑x中的每一个成分。

首先考虑$z_i \neq 0$的情况，此时有$\partial (\lambda|z|_1)=sign(z_i)$并且最优的$z_i^*$为：

$$0 = z_i - x_i + \lambda sign(z_i) \leftrightarrow 0 \in z - x + \lambda|x|_1$$

需要指出是，如果$z_i^ <0$那么$x_i <-\lambda$。同时如果$z_i^ >0$那么$x_i >\lambda$。因此，$|x_i| >\lambda$ 和$sign(z_i^*) = sign(x_i)$.代入道先前的等式得到：

$$z_i^* = x_i - \lambda sign(x_i)$$

然后考虑$z_i = 0$的情况。此时$l_1 \ norm$的次微分为区间$[-1,1]$，并且最优性条件为：

$$0 = - x_i + \lambda [-1,1] \leftrightarrow x_i \in [-\lambda,\lambda] \leftrightarrow |x|_1 \le \lambda$$

将两个情况放在一起得到了：

$$[porx_f(x)]_i = z_i^* = \begin{cases} 0\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ if |x_i| \le \lambda\\ x_i - \lambda sign(x_i) \ \ \ if |x_i| >\lambda\\ \end{cases}$$

等式(6)同样可以写为：

$$[porx_f(x)]_i = sign(x_i)max(|x_i|-\lambda,0) \\ \ \ \ \ \ \ \ \ \ \ = sign(x_i)(|x_i| - \lambda)_+$$