数理统计研究问题的方式,不是对所研究对象的全体(称为总体)进行观察,而是抽取其中的部分(称为样本)进行观察获得数据(抽样),并通过这些数据对总体进行推断。数理统计方法具有“部分推断整体”的特征。
数学中的自由度一般是指能够自由取值的变量个数。数理统计中的自由度是指当以样本的统计量来估计总体的参数时,样本中独立或能自由变化的数据的个数,自由度通常记为df。数理统计上的这个定义可以从如下几个方面来理解:
第一,“统计量”(如样本数据的平均数X、样本数据的标准差)是研究者通过调查样本的数据人为地计算出来的,而“参数”(如总体均值μ、总体标准差δ)是被调查的总体所客观存在的,这是两者的区别。在统计学的理论层面上,要求或者假定统计量是参数的无偏估计,认为二者是相等的(在实际研究中,由于抽样的偏差,可能导致两者不相等,但对于这种情况,研究者是无法知道的,知道就没有抽样调查的必要了)。在理论假设下,统计量也就和参数一样被看作是客观的、确定的。
第二,既然在理论上统计量被要求是确定的,那么在实际层面上,计算统计量的那组数据就 不是完全自由的。这一点很重要,因为自由度中“自由”的含义就是相对这个“确定”条件而言的。正是统计量的这种“确定性”限制了与之相关的一组数据的自由度,也就是说,一组数据不是可以完全自由取值的,它必须支持“统计量与总体参数相等”的理论假设。这就是自由度存在的理由。
有必要举例来进一步说明“独立或能自由变化的数据”的含义。在心理、社会等领域的测量或者调查过程中,研究者设置了一些变量(如智商、收入等),这些变量是随机变量。所谓随机变量是指,在调查总体中,变量的取值范围及其所对应的频次(两者合起来称为变量的分布)是确定的,但在一次具体的抽样调查中,变量的取值及其所对应的频次则是不确定的,但在大样本的抽样调查中,变量的分布又是能体现总体的特征和规律的。
例如:研究者在调查某个城市在岗职女工的平均收入时,从总体40000万人中,研究者随机抽取了200人进行调查。在这个例子中,总体40000个在岗女工的收入的平均数是总体参数,是客观的、确定的,尽管研究者不知道。通过随机抽样和问卷调查,研究者获得了200人的收入的数据。运用这组数据可以算出样本的平均数,它是统计量。由于在理论上要求统计量与参数相等,所以这200个数据中只有199个数据可以“自由”变动,所以,这组数据在求平均数这个统计量时的自由度就是:K=200-1=199。
第三,在上面的例子中,研究者只抽了一个200人的样本,而在实际层面,这200人的收入是确定的,因为每个被调查者只有一个确定的收入。既然这样,“199个数据可以自由变动”是什么意思呢?
这需要回到理论上去回答。在理论上,从20000人中随机抽取200人有种抽取方法,也就是说,在理论上研究者可以得到个不同的、样本容量均为200人的样本,这个数据量是很大的(没有必要确切知道它的值)。这样,在理论上就存在很多组调查数据(虽然研究者确实只调查了一个200人的样本,也只获得了一组数据),每组都有200个数据。每组数据在理论上都有对应的统计量,正是这些统计量的分布,构成了统计学中所说的抽样分布,它是基础统计学的核心内容。所以,仅仅在理论上,这200个数据中的199个数据是可以随不同样本而变化的、自由的。当然,话说回来,这种自由并非是绝对的,它们也只能在总体的取值范围内变动,例如,关于“收入”这个变量的取值就不可能为负值。
众所周知,很多统计量的计算公式中都有自由度的概念,可为什么同样是计算标准差,总体标准差的自由度是n,而样本标准差的自由度就是n-1?为什么其它公式中的自由度还有n-2、n-3呢?它到底是什么含意?
在统计模型中,自由度指样本中可以自由变动的变量的个数,当有约束条件时,自由度减少 自由度计算公式:自由度=样本个数-样本数据受约束条件的个数,即df=n-k(df自由度,n样本个数,k约束条件个数),n-1是通常的计算方法,更准确的讲应该是n-k,n表示“处理”的数量,k表示实际需要计算的参数的数量。如需要计算2个参数,则数据里只有n-2个数据可以自由变化。例如,一组数据,平均数一定,则这组数据有n-1个数据可以自由变化;如一组数据平均数一定,标准差也一定,则有n-2个数据可以自由变化。
第四,自由度是谁的?从前面的分析中可以知道,自由度产生于这样的背景下:运用一组数据来求“统计量”。离开“一组数据”就不可能有“统计量”,不计算“统计量”,“一组数据”就失去了科学的价值。所以,“自由度”应该是“统计量”和“一组数据”所共同拥有的。当然,为了方便,我们说“统计量的自由度”或者“一组数据的自由度”也都是可以接受的。
第五,统计学上的自由度包括两方面的内容:
首先,在估计总体的平均数时,由于样本中的n个数都是相互独立的,从其中抽出任何一个数都不影响其他数据,所以其自由度为n。
在估计总体的方差时,使用的是离差平方和。只要n-1个数的离差平方和确定了,方差也就确定了;因为在均值确定后,如果知道了其中n-1个数的值,第n个数的值也就确定了。这里,均值就相当于一个限制条件,由于加了这个限制条件,估计总体方差的自由度为n-1。例如,有一个有4个数据(n=4)的样本, 其平均值m等于5,即受到m=5的条件限制,在自由确定4、2、5三个数据后, 第四个数据只能是9,否则m≠5。因而这里的自由度υ=n-1=4-1=3。推而广之,任何统计量的自由度υ=n-限制条件的个数。
其次,统计模型的自由度等于可自由取值的自变量的个数。如在回归方程中,如果共有p个参数需要估计,则其中包括了p-1个自变量(与截距对应的自变量是常量1)。因此该回归方程的自由度为p-1。
在一个包含n个个体的总体中,平均数为m。知道了n-1个个体时,剩下的一个个体不可以随意变化。为什么总体方差计算,是除以n而不是n-1呢?方差是实际值与期望值之差平方的期望值,所以知道总体个数n时方差应除以n,除以n-1时是方差的一个无偏估计。
上述从不同角度对自由度的概念与定义进行了阐述,我们认为,在统计学上,自由度是建立在统计量之上的概念,它是统计量的数学特征。至此,我们可以给出数理统计中自由度的科学定义:自由度是指在一组样本数据中,能够自由取值且不违反给定约束条件的样本数值的个数。这样,我们就较科学地将实际样本容量和自由度区别开来。
下面将进一步举例说明自由度在不同方面的应用。
一、样本方差的自由度
许多教科书在列出样本方差的计算公式时都没有说分子n-1(n为样本容量)就是自由度,也很少解释清楚为什么是除以n-1而不是n。假设一个容量为10的样本,如果没有其他关于该样本的信息或约束的话,任意从总体中抽取的10个观察值都可以形成这样的样本。也就是说,这10个观察值可以任意地被从总体中抽取的其他观察值所取代。当我们想要计算样本方差时,必须先算出样本均值,设
=35。此时,这10个观察值就不能任意地被总体中抽取的其他观察值所取代了。因为n
=350,10个观察值的总和必须等于350。这样一来,样本中只有9个观察值可以随意改变,因为如果任意9个观察值确定了,第10个观察值也被这9个值确定了。因此在计算样本方差时自由度等于9。有效样本容量被减少为n-1,在此基础上,我们可以很好地理解为什么作为均方差的样本方差计算时,要用自由度来平均而非用n平均。这也说明了如果从样本数据中估计了一个总体参数,自由度就会减少一个。因为样本方差的自由度为n-1,所以在比较两个独立总体的均值大小的t检验中,合并方差的自由度等于n1+n2-2=(n1-1)+(n2-1);在比较两个独立总体的方差大小的F检验中,F统计量的自由度为(n1-1,n2-1),其中n1,n2分别为两个样本的容量。
二、独立性检验中的自由度
在独立性的卡方检验中,列联表是必不可少的。 我们运用列联表来说明其中自由度的思想。见表1,一张2×3的列联表,它的行和与列和已经给定了。如果不能给出更多的频数,这张表是有空缺的。如果填入一个频数,如(n2,m2)=45,另一个频数(n1,m2)就可以被确定(n1,m2)=45。倘若再给出一个频数,那么整个列联表就填列完整了。如令(n1,m1)=15,则(n2,m1)=5,(n2,m3)=20,(n1,m3)=20。对于2行3列的列联表,只要给出2个独立的必要的信息,我们就可以确定整张表的信息内容。也就是说列联表有(r-1)(c-1)=(2-1)(3-1)=2个自由度。可以想象,一张r行c列的列联表,在各行和与列和给定的情况下,我们只要填上任意(r-1)行(c-1)列的频数,表中其他的频数也会随之确定下来,所以列联表有(r-1)(c-1)个自由度。
总之,数理统计中的自由度对于整个统计学而言是一个很重要的概念,它在抽样分布和假设检验中的作用尤其突出。统计量的自由度和检验该统计量是否显著的临界值之间的对应关系,从而为判断是否显著提供了一定的标准。全面地认识理解数理统计中自由度的含义和应用方向,对理解和在实际中应用数理统计学具有至关重要的作用。