DataWhale八月组队学习-李宏毅深度学习Task02-回归

回归

应用领域
- 股票市场预测 stock Market Forecast
- 无人驾驶汽车 Self-driving Car
- 推荐 Recommendation

1 具体步骤

寻找Model
- b和w是参数，可以取任意值
- 由于有无穷无尽的参数值可供挑选，自然会衍生出无穷无尽的函数。
- 用上述的一个式子就可以表示无穷无尽的函数，这个式子被称之为Model
- 而这个Model被称为Linear model
  - 一个线性模型可能具有多个特征（feature）和多个权重系数（weight）
得出损失函数
- 收集10个数据样本，将样本中x与y的关系进行图形绘制
- 定义损失函数L
  - 输入：是Model中的一个Function
  - 输出：当前这个Function有多糟糕
  - 公式流程（红色下划线表示的是预测值）：
挑选最好的Function
- 将Model中的每一组Function带入到损失函数的计算公式中，找出能使得损失函数计算结果最小的w和b
梯度下降
- 初始不引入参数b，仅关注参数w
  - 具体步骤
    - 随机取定w值
    - 进行偏导数计算，导数值为负则增加w，导数值为正则减小w
    - 增加或者减小w的幅度还取决于学习率（红色字体符号）
  - 重复上述步骤直到偏导数的值为零
- 同时引入两个参数
  - 具体步骤（图中最后一列有问题，需要将0全部换为1）
  - 移动过程
  - 令人担心之处：可能走到不同的谷底（偏导数为0之处），谷底的深度会不一样。
    - 不用担心，在线性回归中，损失函数找出的最佳参数始终都是同一组参数。因为w和b绘制出的是同一幅等高线，等高线找到的谷底都是同一个谷底
结果
- 结果的关键不在于对已有数据偏差的估测，而在于对新数据（testing data）的误差的估测。
- 新增加10个数据样本，绘制拟合情况图像

2 新的模型

为了达到更好地预测效果需要引入另一个模型

二次函数
- 公式：
- 拟合情况：
- 数据展示：
其它更加复杂的模型，发现误差下降不明显。这是明显的过拟合现象（已经提前了解，不做赘述记录）
- 越复杂的模型，越能够更好地拟合训练数据，越不一定能很好拟合测试数据。
- 上述的理论用例子来阐述：越依赖你的父母，你就越安于现状，越不能很好的为自己的未来做好准备。
- 综上所述，要选择最合适的模型

3 同特征不同种类的影响

模型相同时，针对不同的物种（相同特征类别不同），得到的Function可能不一样。
具体公式表示

不同特征的影响-正则化

针对不同特征的影响，比如宝可梦除了种类，可能还有升高，体重等特征，将这些特征引入，得到的对测试集的拟合结果的误差大概率会很大，此时我们需要正则化。
具体公式：
解释：如果Wi越小，那么输入对输出的影响就会越小，输出结果就会更加的平滑（这个给第一个式子中的x加上一个增量，分离得到的常数项就可以看出来影响）
函数越平滑，对于噪音输入的影响就会更小，输出结果收到的波及就会更小
公式中惩罚项不引入b的原因是b与曲线的平滑程度无关