十，专著研读（线性回归）

十，专著研读（线性回归）

• 分类问题输出离散型变量，回归输出连续型变量。
• 线性回归
  
  • 简单线性回归
    一元线性回归及其一元线性方程
    
    
    (y=b+omega x)
    
    写成矩阵形式
    
    
    (y=X^{T}omega)
    
    
  • 多元线性回归
    多元线性方程
    
    
    (y=omega _{0}+omega _{1}x_{1}+omega _{2}x_{2}+...+omega _{n}x_{n})
    
    矩阵形式
    
    
    $ y=X^{T}omega$
    
    
  • 线性回归的损失函数
    平方误差作为线性回归的损失函数
    
    
    (SSE=sum_{i=1}^{m}(y_{i}- hat{y_{i}})^{2}=sum_{i=1}^{m}(y_{i}- x_{i}^{T}omega )^{2})
    
    用平方对于后续求导比较方便，用矩阵可以表示为
    
    
    ((y-Xomega )^{T}(y-Xomega ))
    
    求导之后
    
    
    (hat{omega }=(X^{T}X)^{-1}X^{T}y)
    
    
  • 局部加权线性回归(LWLR)
    给待预测点附近的每个点赋予一定的权重，然后按照简单线性回归求解方法求解。
    解出回归系数w形式
    
    
    (hat{omega }=(X^{T}WX)^{-1}X^{T}Wy)