线性回归的拓展
对数线性回归
把线性回归模型简写为： ，当我们希望线性模型的预测值逼近真实标记y，这样就是线性模型。那可否令模型的预测值毕竟y的衍生物呢？ 作者的这一描述实在太妙了！y的衍生物，通俗易懂！ 假设y的衍生物是 y的对数即lny，那么就可以得到对数线性回归模型：
， 也就是让模型 去逼近 lny，而不是y。也可以对
做一下变换就变成了
，也可以理解为让
去逼近y。形式上还是线性回归的，但实质上已是在求取输入空间到输出空间的非线性函数映射。如图:
假如说β1等于0.04，x每增加1，那么y的值就会是增加之前的百分之4，增加了所谓弹性。
3.1广义线性模型
这样的模型叫做广义线性模型，其中g函数称为联系函数，对数线性回归是广义模型在g()=ln()时的特例
对数几率回归（逻辑回归）
对数几率回归呢？ 让 去逼近什么呢？那就是让
去逼近一个y的对数几率函数，也就是这个形式：
，其中
就是几率（odds），反映了x为正样本的可能性, 对几率再取对数就得到对数几率。通常我们不是写成这个形式的，稍微做一下转换，就得到我们熟悉的逻辑回归方程：
。其实就相当于线性模型的输出加了一个激活函数，这个激活函数就是大名鼎鼎的sigmoid函数，其实也叫做logistic function。所以Logistic Regression中的Logistic是出自 Logistic function，而Logistic function 就是我们常说的sigmoid函数。此函数可以把x映射到（0，1），恰恰符合我们的概率取值。