Regression

Regression

2021/03/22

应用：股票预测系统/自动驾驶/推荐系统

Step1：Model = A set of function

​ Linear Model: $y=b+\sum w_ix_i$ , $w_i$: weight，$b_i$: bias

Step2：Goodness of Function

​ Loss Function $L$ ：input a function, output how bad it is

$$L(f)=L(w,b)= \overset{10}{\underset{n=i}{\sum}}(\hat y^n-(b+w\cdot x^n_{cp}))^2$$

​ Regularization 正则化：

$$L(f)=L(w,b)= \overset{10}{\underset{n=i}{\sum}}(\hat y^n-(b+w\cdot x^n_{cp}))^2+\lambda \sum(w_i)^2$$

​ 其中$\lambda$ 是手调的参数，加的一项表示希望参数 $w_i$ 越小越好，越接近0越好

​ 参数值接近0的function是比较平滑的，平滑的函数比较受青睐，因为受输入噪声影响越小；但也不能太平滑。$\lambda$ 越大，考虑平滑越多

​ 做Regularization不考虑bias比较好，bias只是对function上下移动，对平滑程度没有影响

Step3：Best Function

$$f^*=arg\underset{f}\min L(f)$$ $$w^*, b^* =arg \underset{w,b}{\min}L(w,b)$$

Gradient Descent 梯度下降法

• (随机)选取参数初始值$w^0, b^0$

• 计算初始位置参数对损失函数的（偏）微分（切线斜率）

  • 为负：增大参数

  • 为正：减小参数

  • 步长（Step Size）取决于当前（偏）微分值，和一个常数项（Learning Rate）$\eta$

    $$w^1\leftarrow w^0-\eta\frac{\partial L}{\partial w}|_{w=w^0,b=b^0}$$ $$b^1\leftarrow b^0-\eta\frac{\partial L}{\partial b}|_{w=w^0,b=b^0}$$

  • 重复2、3的步骤，到达局部最小值，但不一定是全局最小值（线性回归没有这个问题）

  • Overfitting 过拟合：减少参量；正则化（Step2）