回归问题及应用

主要内容：

线性回归

定义与问题引入
损失函数
梯度下降
过拟合与正则化

逻辑回归

定义与问题引入
损失函数
梯度下降与正则化

线性回归

有监督学习=>学习样本为D={(x_i,y_i)}^N_i=1

多变量情形：

损失函数 loss function：

梯度下降：

其中α为步长，很大->震荡；很小->耗时太长

过拟合与欠拟合：

正则化：

逻辑回归

此图像和函数要记住：

简单的线性判定边界：

非线性判定边界：

损失函数：
这幅图说明这种损失函数不能得到想要的结果

因此采用该损失函数：

正则化：
上面公式是写在一起的损失函数，后面的是添加了正则化的函数。

梯度下降：

二分类和多分类问题：
很简单

算法应用经验：

七月在线学习笔记