6.逻辑回归

1.用自己的话描述一下,什么是逻辑回归,与线性回归对比,有什么不同?

   逻辑回归的本质是线性回归,只是逻辑回归在特征到结果的过程中加了一层sigmod函数映射。一般用于二分类,当然也可以用于多分类。

  线性回归评估误差的方式是通过最小二乘法距离公式,求解损失函数的最小值thata;

  逻辑回归的损失函数是对数似然函数log loss,函数的公式如下:

  

  真实值为1时,损失函数用第一条式子进行计算;真实值为0时,损失函数用第二条式子进行计算。

  使用对数似然函数作为逻辑回归的损失函数原因:

  当y = 1,h = 0时,log0 = ∞,对模型的惩罚力度最大;当y = 1,h = 1时,log1 = 0,相当于没有惩罚,也就是说没有损失,这个时候就达到了最优结果。

  综上:线性回归用来预测,逻辑回归用来分类。

          线性回归是拟合函数,逻辑回归是预测函数

          线性回归的参数计算方法是最小二乘法,逻辑回归的参数计算方法是梯度下降

  

2.自述一下什么是过拟合和欠拟合?

   过拟合:过分依赖训练数据

  • 原因:过拟合是由于学习的太彻底,这可能是由于训练数据量太少的缘故。
  • 解决方法:可以增大数据的训练量,训练数据要足够大才能使得数据中的特征被模型学习到。还需要清洗数据,尽量减少数据中的噪声,以防止这些噪声被模型学习到。正则化方法也常用来处理过拟合,正则化包括L1正则化和L2正则化,

  欠拟合:未能学习训练数据中的关系

  • 原因:学习不足,模型简单。
  • 解决方法:可以考虑添加特征,从数据中挖掘出更多的特征,有时候还需要对特征进行变换,使用组合特征和高次特征。例如线性模型只能拟合一次函数的数据。尝试使用更高级的模型有助于解决欠拟合,如使用SVM,神经网络等。正则化参数是用来防止过拟合的,出现欠拟合的情况就要考虑减少正则化参数。

3.思考一下逻辑回归的应用场景有哪些?

   广告CTR预估;

  电商搜索排序;

  电商购物搭配推荐;

  是否为垃圾邮件;

  是否患病;

  金融诈骗;

  虚假账号。

  

原文地址:https://www.cnblogs.com/xiaolan-Lin/p/12760503.html