极大似然 (一)

  极大似然估计的思想是:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实

关于极大似然原理的引例:

设有甲乙两个箱子,各箱都有黑白两种球共100个,其组成情况如下:
  甲箱 乙箱
白球 99 1
黑球 1 99

现随机取出一箱,再从抽取的一箱中随机取出一球,结果是黑球。因为从乙箱抽取黑球的概率比从甲箱抽取黑球的概率大得多,所以我们自然更多地相信这个黑球是取自乙箱的。

 

  一般说来,事件 A 发生的概率与某一未知参数 有关。事件 A 发生的概率可以写为   , 取值不同概率 也不相同。在一次试验中事件 A 发生了,则认为此时 (ti时)的 值应是 π 的一切可能取值中使 达到最大的那一个 π,可以记作 =  πi 。极大似然估计法就是要选取这样的 π 值作为参数  的估计值,使所选取的样本在被选的总体中出现的可能性为最大。

  极大似然估计,是一种概率论在统计学的应用,它是参数估计的方法之一。说的是:已知某个随机样本满足某种概率分布,但是关于这种概率分布的具体参数未知,通过若干次试验,观察其结果,利用结果估计出未知参数的大概值。当然极大似然估计只是一种粗略的数学期望,要知道它的误差大小还要做区间估计。
 
 
 
1.若总体 X 为离散型,其概率分布为
其中
 为为未知参数。设
 是取自总体的样本容量为 n 的样本,则
的联合分布律为
。又设
 的一组观测值为
,易知样本
 取到观测值
 的概率为
这一概率随
的取值而变化,它是
的函数,称
为样本的似然函数
 
2、若总体X为连续型,其概率密度函数为
其中
为未知参数。设
 
是取自总体的样本容量为 n 的简单样本,则
的联合概率密度函数为
。又设
 
的一组观测值为
,则随机点
 
落在点
的邻边(边长分别为
的n维立方体)内的概率近似地为
考虑函数
同样,
称为样本的似然函数
 
  极大似然估计法原理就是固定样本观测值
,挑选参数
使
这样得到的
估计值
与样本值有关,
  称为参数
极大似然估计值,其相应的统计量
  称为
极大似然估计量。极大似然估计简记为 MLE 或
问题是如何把参数
的极大似然估计
求出。更多场合是利用
的增函数,故
 

在同一点处达到最大值。对似然函数
取对数,利用微分学知识转化为求解对数似然方程
解此方程并对解做进一步的判断。但由最值原理,如果最值存在,此方程组求得的驻点即为所求的最值点,就可以很到参数的极大似然估计。极大似然估计法一般属于这种情况,所以可以直接按上述步骤求极大似然估值。

 

 
原文地址:https://www.cnblogs.com/shanger/p/13021791.html