机器学习初步
- 有监督和无监督区别, 一个有标签一个无标签
- 机器学习的目的, 寻找一个模式
- 与环境进行交互, 有一个反馈
有监督分为两类问题 - 主要任务是分类和回归
降维也是无监督的学习
每一行是一个样本, 每一列是一个特征(属性维度)
- 线性回归
多变量情形
损失函数
平方损失函数
指数损失函数
交叉熵损失
给定一个损失函数, 就是与给定标准答案的差异度有多大, 我才能去优化这个差距
损失函数会贯穿 Machine Learning 的全程
优化目标: 最小化损失函数
在给定的损失函数下, 如何找到最低点?此时对应着拟合函数是最优的.
学习率: 迭代的步长
超参数
就是最初的 theta,
如果是多元--就是沿着等高线的垂直方向是最快的
模型一般两个状态, 一个是过拟合, 一个是欠拟合
- 正则化
正则化: 控制参数幅度, 不让模型无法无天
限制参数搜索空间
