6.逻辑回归

1.什么是逻辑回归,与线性回归对比,有什么不同?

逻辑回归:逻辑回归又称logistic回归分析,它将数据拟合到一个logit函数或者是logistic函数中,从而能够完成对事件发生的概率进行预测,它使用一个Sigmoid函数来归一化y值,使y的取值在区间(0,1)内,是解决二分类问题的利器。

公式:

 代码实现sigmoid函数

 逻辑回归与线性回归的区别与联系:

区别:

逻辑回归是广义的线性回归,逻辑回归虽然都带有回归二字,但逻辑回归是一种分类的学习算法,输入的东西虽然和线性回归一样,但是出来的结果却是一个二分类的问题,线性回归却是预测连续型变量的,,可以用来聚类,可是不能解决分类问题。

(1)线性回归的响应变量服从正态分布,逻辑回归的服从伯努利分布

(2)线性回归的损失函数是均方差,逻辑回归的是似然函数(交叉熵)

(3)线性回归要求自变量和因变量服从线性关系,逻辑回归没要求

(4)线性回归分析的是因变量自身与自变量之间的关系,逻辑回归研究的是因变量取值的概率和自变量的概率

(5)线性回归是回归问题,逻辑回归是一个分类问题

联系:

(1)两个都是线性模型,线性回归是普通线性模型,回归模型是广义的线性模型

(2)表达形式上,逻辑回归是线性回归套上了一个sigmoid函数

2.什么是过拟合和欠拟合? 

过拟合:是指训练模型时过于严格,学习能力太强,导致训练出的模型过于复杂,学习到了很多无关紧要的特征,最后训练数据上得到较好拟合但测试数据上就不能很好的拟合,出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。

欠拟合:是指训练模型时过于简单,学习能力太弱,没有很好地捕捉到足够多的数据特征,模型泛化能力太差,导致在训练数据上不能获得更好的拟合,在测试数据上也不能很好的拟合。

3.逻辑回归的应用场景有哪些?

逻辑回归算法主要可用户金融领域,可用性强,可以通过综合贷款主的各项数据,预测该人是否具有偿还能力,从而决定是否放款。

也可运用于农业,通过农作物的各项数据,预测长期写去农作物是否会生病。

原文地址:https://www.cnblogs.com/chock/p/12769648.html