Softmax求导

softmax 可以看作是logistic “one versus all”的多分类版本，和普通的“one versus all”不同的是，softmax是通过选择最大的输出概率值来做最后的决策任务，因此不存在”混淆区域“

softmax的公式为：

$$p(Y=k|x)=\frac{exp(w_k * x)}{1+\Sigma_i^{K-1}{exp(w_i * x)}} \\ p(Y=K|x)=\frac{1}{1+\Sigma_i^{K-1}{exp(w_i * x)}}$$

为什么$p(Y=K|x)=\frac{1}{1+\Sigma_i^{K-1}{exp(w_i x)}}$？是因为，softmax是存在参数冗余的，即一开始所有的类别k都有一个$w_k$的，但是，如果对上面下面都除以一个$exp(w_Kx)$的话，就得到上面的公式：

$$p(Y=k|x)=\frac{exp(w_k * x)}{\Sigma_i^{K}{exp(w_i * x)}} \\ 上下都除以exp(w_K*x)得到： \\ p(Y=k|x)_{k\ne K}= \frac{exp((w_k-w_K)*x)}{\Sigma_i^{K}{exp((w_i-w_K) * x)}}=\frac{exp((w_k-w_K)*x)}{1+\Sigma_i^{K-1}{exp((w_i-w_K) * x)}}\\ p(Y=k|x)_{k = K}= \frac{exp((w_K-w_K)*x)}{\Sigma_i^{K}{(w_i-w_K) * x}}=\frac{1}{1+\Sigma_i^{K-1}{exp((w_i-w_K) * x)}}$$

令新的到的$w_i- w_K$为新的$w_i$即得到公式(1)。

得到softmax的参数的过程是通过最大似然函数得到的。

$$likelihood = \Pi_i^N\Pi_k^K1\{y_i=k\}p(Y=k|x)$$

其中$1\{y_i=k\}在$$\{\}$内表达式为真的时候取1。由于有多个连乘，做法是对其log，得到它的对数似然函数：

$$loglikelihood = \Sigma_i^N\Sigma_k^K \ log \ 1\{y_i=k\} \ p(Y=k|x)\\ =\Sigma_i^N\Sigma_k^K log \ \frac{1\{y_i=k\}*exp(w_k * x_i)}{1+\Sigma_j^{K-1}{exp(w_j * x_i)}}\\ =\Sigma_i^N\Sigma_k^K\{\{1\{y_i=k\}*w_k*x_i -log\{1+\Sigma_j^{K-1}{exp(w_j * x)}\}\}\}$$

此外，$log\{1+\Sigma_i^{K-1}{exp(w_i * x)}\}$对于$w_k$求导有：

$$\frac{\partial log\{1+\Sigma_j^{K-1}{exp(w_i * x_i)}}{\partial w_k}=\frac{1}{1+\Sigma_j^{K-1}{exp(w_j * x_i)}}*\frac{\partial (1+\Sigma_j^{K-1}{exp(w_j * x_i)})}{\partial w_k} \\ = \frac{1}{1+\Sigma_j^{K-1}{exp(w_j * x_i)}}*exp(w_k*x_i)*x=p(Y=k|x_i)*x_i$$

因此对对数似然函数求导为：

$$\frac{\partial loglikellihood}{\partial w_j}=\Sigma_i^N\Sigma_k^K\{1\{y_i=k\}w_k*x_i -log\{1+\Sigma_j^{K-1}{exp(w_j * x)}\}\} \\ = \Sigma_i^N \{1\{y_i=j\}x_i -x_i*p(Y=j|x_i)\}\}\\ =\Sigma_i^N x_i*(1\{y_i=j\} - p(Y=j|x_i))\}$$

可知，样本是否属于j类，样本i对于$w_j$的梯度贡献不同(这里假设是最小化log likelihood,需要对梯度取反）：

$$if \ x_i \in class_j \\ the \ contribution \ of \ x_i \ to \ \partial_{w_j} \ is: \ -x_i(1-p(y=j|x_i)) \\ else:\\ the \ contribution \ of \ x_i \ to \ \partial_{w_j} \ is: \ x_i*p(Y=j|x_i)$$

回顾到感知机的更新为用错误的样本对权重$w$进行更新，

$$W \leftarrow W - (-y_ix_i) \\ b \leftarrow W - (-y_i)$$

可以看到softmax除了对错误样本进行更新和感知机是吻合的，不同指出是softmax也用正确的样本来更新权重。

可以把$x_i(1-p(y=j|x_i))$ 重新写为：$-x_i(p(y=j|x_i) - 1)$