Multi-class Classification（以三分类为例）

Multi-class Classification（以三分类为例）

Step 1

$$C_1:\boldsymbol{w}^1,b_1\rightarrow z_1=\boldsymbol{w}^1\cdot x+b_1\\ C_2:\boldsymbol{w}^2,b_2\rightarrow z_2=\boldsymbol{w}^2\cdot x+b_2\\ C_3:\boldsymbol{w}^3,b_3\rightarrow z_3=\boldsymbol{w}^3\cdot x+b_3\\$$

Step 2：Softmax计算各分类概率

$$C_1:z_1\rightarrow y_1=\frac{e^{z_1}}{\sum_{j=1}^3e^{z_j}}\\ C_2:z_2\rightarrow y_2=\frac{e^{z_2}}{\sum_{j=1}^3e^{z_j}}\\ C_3:z_3\rightarrow y_3=\frac{e^{z_3}}{\sum_{j=1}^3e^{z_j}}$$

softmax后所得到的 $y_i$ 满足：$0<y_i<1,\sum_iy_i=1$

why softmax

max仅仅是取最大值，而softmax则是对最大值做了强化。

指数e拉大了数据间的差距，强化大值，换言之，softmax使最大值的辨识度更高。

< softmax的二分类情况就是sigmoid >

Step 3：交叉熵估计分布准确率

将计算所得的 $\boldsymbol{y}=[y_1,y_2, y_3]^T$ 与目标结果 $\hat{\boldsymbol{y}}=[\hat{y_1},\hat{y_2},\hat{y_3}]^T$ 作交叉熵：

$$-\sum_{i=1}^3\hat{y_i}\ln y_i$$

其中目标结果 $\hat{\boldsymbol{y}}$ 由one-hot编码表示：

$$C_1:\hat{\boldsymbol{y}}=[1,0,0]^T C_2:\hat{\boldsymbol{y}}=[0,1,0]^T C_3:\hat{\boldsymbol{y}}=[0,0,1]^T$$