目 录
1. 一元线性回归模型的数学形式
2. 回归参数β0 , β1的估计
3. 最小二乘估计的性质
线性性
无偏性
最小方差性
一、一元线性回归模型的数学形式
一元线性回归是描述两个变量之间相关关系的最简单的回归模型。自变量与因变量间的线性关系的数学结构通常用式（1）的形式：
y = β0 + β1x + ε (1)
其中两个变量y与x之间的关系用两部分描述。一部分是由于x的变化引起y线性变化的部分，即β0 + β1x，另一部分是由其他一切随机因素引起的，记为ε。该式确切的表达了变量x与y之间密切关系，但密切的程度又没有到x唯一确定y的这种特殊关系。
式（1）称为变量y对x的一元线性回归理论模型。一般称y为被解释变量（因变量），x为解释变量（自变量），β0和β1是未知参数，成β0为回归常数，β1为回归系数。ε表示其他随机因素的影响。一般假定ε是不可观测的随机误差，它是一个随机变量，通常假定ε满足：
（2）
对式（1）两边求期望，得
E(y) = β0 + β1x, （3）
称式（3）为回归方程。
E(ε) = 0 可以理解为 ε 对 y 的总体影响期望为 0，也就是说在给定 x 下，由x确定的线性部分 β0 + β1x 已经确定，现在只有 ε 对 y 产生影响，在 x = x0， ε = 0即除x以外其他一切因素对 y 的影响为0时，设 y = y0，经过多次采样，y 的值在 y0 上下波动（因为采样中 ε 不恒等于0），若 E(ε) = 0 则说明综合多次采样的结果， ε 对 y 的综合影响为0，则可以很好的分析 x 对 y 的影响（因为其他一切因素的综合影响为0，但要保证样本量不能太少）；若 E(ε) = c ≠ 0，即 ε 对 y 的综合影响是一个不为0的常数，则E(y) = β0 + β1x + E(ε)，那么 E(ε) 这个常数可以直接被 β0 捕获，从而变为公式（3）；若 E(ε) = 变量，则说明 ε 在不同的 x 下对 y 的影响不同，那么说明存在其他变量也对 y 有显著作用。
Var(ε) = σ2：因为所有的样本点并不是完全在回归直线上（即 x 与 y 的关系不是确定的函数关系），所以 ε 的方差一定不为0，Var(ε) = σ2的意义为在不同 x 下， ε 对 y 产生同样的波动，是为了后续计算方便，若 ε 的方差对 y 产生的波动随 x 变化，那么需要分析这种变化及其产生的一系列问题。
一般情况下，对所研究的某个实际问题，获得n组样本观测值(x1, y1),(x2, y2),...,(xn, yn),如果它们符合模型（1），则
yi = β0 + β1xi + εi, i = 1, 2, ..., n (4)
由式（2）有
i = 1, 2, ..., n. (5)
通常还假定n组数据是独立观测的，因而y1,y2,...,yn与ε1,ε2,...,εn都是相互独立的随机变量，而xi(i = 1, 2, ..., n)是确定性变量，其值是可以精确测量和控制的。称式（4）为一元线性回归模型。
对式（4）两边分别求数学期望和方差，得
E(yi) = β0 + β1xi, Var(yi) = σ2, i = 1, 2, ..., n (6)
可知
。
个人理解，εi 并不是同分布，因为并不知道他们服从什么分布，从期望和方差相等推不出同分布，虽然同分布下期望和方差一定相等。
E(yi) = β0 + β1xi 从平均意义上表达了变量y与x的统计规律性。在应用上，人们经常关系的正是这个平均值。
在实际问题中，为了方便对参数β0，β1作区间估计和假设检验，还假定模型（1）中误差项ε遵从正态分布，即
ε ～ N(0,σ2), (7)
（才会满足 εi 同分布）
由于 ε1,ε2,...,εn 是 ε 的独立同分布的样本，因而有
εi ～ N(0,σ2), i = 1, 2, ..., n (8)
在εi 遵从正态分布的假定下，进一步有随机变量y，也遵从正态分布
yi ～ N(β0 + β1xi, σ2), i = 1, 2, ..., n (9)
二、回归参数β0 , β1的估计
普通最小二乘估计（ordinary least squares estimate, OLSE）
为了得到回归系数的理想估计值，使用OLSE（因为OLSE和方差都是差方和的形式）。对每一个样本观测值（xi, yi），最小二乘法考虑观测值yi与其回归值
的离差越小越好，综合地考虑n个离差值，定义离差平方和为
（10）
可以看到其回归值是期望值，这里使用到条件 E(ε) = 0.
最小二乘法，就是寻找参数β0，β1的估计值
，使式（10）定义的离差平方和达极小，即寻找
满足
（11）
依照式（11）求出的就称为回归参数β0，β1的最小二乘估计。称
（12）
为yi(i = 1, 2,...,n)的回归拟合值，简称回归值或拟合值。称
（13）
为yi(i = 1, 2, ..., n)的残差。
离差和残差：
在本文中离差和残差的公式都是真实值与估计值之间的差，但是，离差是在回归方程得到之前定义的，不能直接得到，通过离差平方和最小来求得回归系数从而得到回归方程，可以将离差看作是风险程度，使离差平方和最小即为使总风险最小。残差是在回归方程得到后定义的，可以直接得到具体数值，若没有回归方程就不存在残差的概念，残差平方和度量了n个样本点观测值到回归直线的距离大小，可以视为随机误差的效应。残差用于研究模型的适用性，也是探测是否违背基本假设的评测量之一。
从式（11）中求出是一个求极值问题。由于Q是关于的非负二次函数，因而它的最小值总是存在的，利用微积分求极值原理，应满足下列方程组
（14）
求解正规方程组（14）得β0，β1的最小二乘估计（OLSE）为
（15）
其中
。
记
（16）
（17）
则式（15）可简写为
（18）
可知
（19）
可见回归直线
是通过点
的，从物理学角度来看，
是n个样本观测值（xi, yi）的中心，也就是说回归直线通过样本的中心。
回归直线过点，说明在 x 取均值时，y 的期望也是 y 的均值。由最小二乘估计的性质可知，回归系数是无偏估计，所以可以推导出
。
由式（14）可以推出
（20）
说明残差的均值为0，并且残差以自变量x的加权平均值为0.
三、最小二乘估计的性质
一、线性性
估计量
为随机变量yi的线性函数。由式（18）得
（20）
其中
是yi 的系数，所以
是yi 的线性组合。同理
（21）
二、无偏性
均为β0，β1的无偏估计。由于xi是非随机变量，yi = β0 + β1xi + εi， E(εi) = 0，因而有
E(yi) = β0 + β1xi (22)
再由式（18）可得
（23）
（24）
无偏估计的意义是：如果屡次变更数据，反复求β0，β1的估计值，这两个估计量没有高估或低估的系统趋向，它们的平均值将趋向于β0，β1，进一步有
（25）
这表明
回归值是E(y)的无偏估计，也说明
与真实值y的平均值是相同的。
三、最小方差性（最优性、有效性）
方差用来评估变量的波动状况。由y1,y2,..,yn相互独立，Var(yi) = σ2及式（25）得
（26）
方差的大小表示随机变量取值波动的大小。假设反复抽取容量为n的样本建立回归方程，每次计算
的值是不同的，
正是反映这些的差异程度。
从式（26）可以看到，回归系数不仅与随机误差的方差σ2有关，还与自变量x的取值波动程度有关。如果x取值比较分散，即x的波动较大，则的波动就小，β1的估计量就比较稳定；反之，如果原始数据x是在一个较小的范围内波动，那么β1的估计值稳定性就差。
类似地，有
（27）
由式（27）可知，回归常数
的方差不仅与随机误差的方差σ2和自变量x的取值波动程度有关，还与样本数量n有关，n越大，
越小。
所以从式（26）和（27）可以看出，方差的意义可以用来指导抽样。想要是β0，β1的估计量
更稳定，在收集数据时，就要考虑将x取的分散些，样本量尽量大一些。
因为
都是n个独立正态随机变量y1,y2,...,yn的线性组合，因而
也遵从正态分布。有
（28）
（29）
的协方差
（30）
式（30）说明，在
=0时，
与
不相关，在正态假定下独立；在≠0时不独立。它揭示了回归系数之间的关系状况。
之前给出的回归模型随机误差项εi 等方差及不相关的假定条件，这个条件称为Gauss-Markov条件，即
（31）
在此条件下可以证明，与分别是β0与β1的最佳线性无偏估计（best linear unbiased estimate, BLUE），也称为最小方差线性无偏估计。BLUE即指在β0和β1的一切线性无偏估计中，它们的方差最小。
进一步，对于固定的x0，有
也是y1,y2,...,yn的线性组合，且
（32）
即
是E(y0)的无偏估计，且
的方差随给定的x0值与的距离|x0-|的增大而增大。即当给定的x0与x的样本平均值相差较大时，的估计值波动就增大。指导意义：应用回归方程进行控制和预测时，给定的x0值不能偏离样本均值太大。