Multi-class Classification（以三分类为例）

Multi-class Classification（以三分类为例）

Step 1

$$\begin{gathered} C_1:{\mathit{w}}^1,b_1\to z_1={\mathit{w}}^1\cdot x+b_1 \\ {C}_2:{\mathit{w}}^2,b_2\to z_2={\mathit{w}}^2\cdot x+b_2 \\ {C}_3:{\mathit{w}}^3,b_3\to z_3={\mathit{w}}^3\cdot x+b_3 \end{gathered}$$

Step 2：Softmax计算各分类概率

$$\begin{gathered} C_1:z_1\to y_1=\frac{e^{z_1}}{\sum _{j=1}^3{e}^{z_j}} \\ {C}_2:z_2\to y_2=\frac{e^{z_2}}{\sum _{j=1}^3{e}^{z_j}} \\ {C}_3:z_3\to y_3=\frac{e^{z_3}}{\sum _{j=1}^3{e}^{z_j}} \end{gathered}$$

softmax后所得到的 $y_i$ 满足：$0<y_i<1,\sum _i{y}_i=1$

why softmax

max仅仅是取最大值，而softmax则是对最大值做了强化。

指数e拉大了数据间的差距，强化大值，换言之，softmax使最大值的辨识度更高。

< softmax的二分类情况就是sigmoid >

Step 3：交叉熵估计分布准确率

将计算所得的 $\mathit{y}=[y_1,y_2,y_3{]}^T$ 与目标结果 $\hat{\mathit{y}}=[\widehat{y_1},\widehat{y_2},\widehat{y_3}{]}^T$ 作交叉熵：

$$-\sum _{i=1}^3\widehat{y_i}\ln y_i$$

其中目标结果 $\hat{\mathit{y}}$ 由one-hot编码表示：

$$C_1:\hat{\mathit{y}}=[1,0,0{]}^T{C}_2:\hat{\mathit{y}}=[0,1,0{]}^T{C}_3:\hat{\mathit{y}}=[0,0,1{]}^T$$