机器学习之回归

主要内容:

回归

1.线性回归

2.Logistic回归

最优问题:

1.梯度下降

2.牛顿法

3.拟牛顿法

了解参数学习算法和非参数学习算法的区别

高斯分布(正态分布)

1.

image

image

2.线性回归

image

考虑2个变量

image

多变量的情形

image

3.最小二乘的目标函数

m为样本个数,则一个比较“符合常理”的误差函数为:

image

符合常理

n最小二乘建立的目标函数,即是在噪声为均值为0的高斯分布下,极大似然估计的目标函数

image

转化为极大似然函数:

image

image

后边的是最小二乘

image

结论:

image

实际中不会求逆来解决问题,而是通过梯度下降来解决。

4. 梯度下降算法

image

梯度方向:

image

image

image

随机的速度比批处理得快

最小二乘是求目标函数

梯度下降是求目标函数中的参数

原文地址:https://www.cnblogs.com/chaoren399/p/4798910.html