Classification

Classification

2021/03/23

为什么不能用regression的方法来处理classification问题：

1. 因为regression模型更在乎整体的Loss是否足够小，这会受到极端error点(“过于正确的点”)的影响
2. 涉及多分类问题，如果把Class i看作输出为i，那么就默认了各个Class之间其实是有联系的（比较接近等），但如果实际上这种关系并不存在的话，就无法得到好的结果

理想的选择

• Function f(x)

  内建函数g(x)，当g(x)>0时，输出class 1；否则输出class 2

• Loss Function L(f)

  训练集上预测错误的次数

  $$L(f)=\sum_n\delta((f(x^n)\neq\hat{y}^n)$$

  但是这个函数是不可微的，所以不能用Gradient Descent解决，而是一般用Perception（感知机），SVM（支持向量机）解决

从概率角度看问题

• 贝叶斯公式

  $$P(C_i|x) = \frac{P(x|C_i)P(C_i)}{\sum_{j=1}^nP(x|C_j)P(C_j)}$$

• Generative Model（生成模型）

  $$P(x)=\sum_{i=1}^nP(x|C_i)P(C_i)$$

• Feature：用一个向量 $\boldsymbol{x}$ 描述个体的特征

• 可以将样本数据（训练集）看作是从一个高斯分布中随机采样得到的，根据样本数据估计高斯分布的均值 $\boldsymbol{\mu}$ 和协方差矩阵 $\boldsymbol{\Sigma}$ ，从而得到该分布的概率密度。找到那个高斯分布，从中选出所有样本数据的概率是最大的，所用的方法就是极大似然估计（Maximum Likelihood）

• 极大似然估计

  $$L(\boldsymbol\mu,\boldsymbol\Sigma)=\prod_{i=1}^nf_{\boldsymbol\mu,\boldsymbol\Sigma}(\boldsymbol x^i) \\\\ \boldsymbol\mu^*,\boldsymbol\Sigma^*=arg\max\limits_{\boldsymbol\mu,\boldsymbol\Sigma}L(\boldsymbol\mu,\boldsymbol\Sigma)$$

  其中的 L 表示极大似然函数，f 表示该分布的概率密度函数。取对数求导求零点：

  $$\boldsymbol\mu^*= \frac{1}{n}\sum_{i=1}^{n}\boldsymbol x^i \\\\ \boldsymbol\Sigma^*=\frac{1}{n}\sum_{i=1}^n(\boldsymbol x^i-\boldsymbol\mu^*)(\boldsymbol x^i-\boldsymbol\mu^*)^T$$

• 存在的问题和解决方法

  因为协方差矩阵的参数很多，当特征函数维度增加时，参数个数会显著增长，从而容易导致过拟合。因此采用共享协方差矩阵的策略，也就是不同分类使用相同的协方差矩阵

  协方差矩阵表示的是特征向量与输出分类之间的线性相关关系，所以可以假设相同。

  又因为可将各分类视为相互独立，所以极大似然函数可改写为（$N$ 个分类，第 $i$ 分类数据个数为 $n_i$ ）：

  $$L(\boldsymbol\mu^1,...,\boldsymbol\mu^N,\boldsymbol\Sigma)=\prod_{i=1}^{n_1}f_{\boldsymbol\mu^1,\boldsymbol\Sigma}(x^i)\prod_{i=1}^{n_2}f_{\boldsymbol\mu^2,\boldsymbol\Sigma}(x^i)...\prod_{i=1}^{n_N}f_{\boldsymbol\mu^N,\boldsymbol\Sigma}(x^i)\\\\ \boldsymbol\mu^{i*}= \frac{1}{n_i}\sum_{i=1}^{n_i}\boldsymbol x^i \\\\ \boldsymbol\Sigma=\sum_{i=1}^N\frac{n_i}{\sum_{j=1}^Nn_j}\boldsymbol\Sigma^i$$

  因为共享协方差矩阵，最后分类的边界会呈线性，把这种模型也叫做线性模型

概率模型的三个步骤

• Function Set (Model) ：基于贝叶斯公式的概率分布
• Goodness of Function：对均值和协方差矩阵的极大似然估计

具体选择哪种概率模型是人为决定的

朴素贝叶斯分类（Naive Bayes Classifier）

前提假设：特征向量的各个维度相互独立（有较强的局限性）

$$P(\boldsymbol x|C_i) = \prod_{i=1}^kP(x_k|C_i)$$

每一项都是一个一维高斯

后验概率 $P(C_1|x)$ 与 sigmoid函数的关系 (假设当前二分类，共用协方差矩阵)

$$\begin{align} P(C_1|\boldsymbol x) &= \frac{P(\boldsymbol x|C_1)P(C_1)}{P(\boldsymbol x|C_1)P(C_1)+P(\boldsymbol x|C_2)P(C_2)}\\ &=\frac{1}{1+\frac{P(\boldsymbol x|C_2)P(C_2)}{P(\boldsymbol x|C_1)P(C_1)}}\\ &=\frac{1}{1+\exp(-z)}\\ &=\sigma(z) \end{align}\\\\ 其中，z=\ln\frac{P(\boldsymbol x|C_1)P(C_1)}{P(\boldsymbol x|C_2)P(C_2)}=...=\boldsymbol{w}\cdot\boldsymbol x+b （省略了一系列推导过程）$$

所以最后得到：

$$P(C_1|\boldsymbol x)=\sigma(\boldsymbol{w}\cdot\boldsymbol x+b)$$

所以，何不直接找我们需要的 $\boldsymbol{w}$ 和 $b$ 呢？