【转载】指数分布族

http://blog.csdn.net/v1_vivian/article/details/52038037
 
指数分布族是指可以表示为指数形式的概率分布。指数分布族的形式如下:(其中,η称为分布的自然参数(nature parameter);T(y)是充分统计量(sufficient statistic),通常T(y)=y。当参数a、b、T都固定时,就定义了一个以η为参数的函数族):
 
 
 
以将高斯分布和伯努利分布为例,我们将它们表示称为指数分布族的形式。
 
1.将伯努利分布写成指数分布族的形式
 
伯努利分布是对0,1问题进行建模的分布,它可以用如下形式表示:

将其转换形式:



此时,我们就将伯努利分布表示成了指数分布族的形式;其中:
 

 
 
2.将高斯分布写成指数分布族的形式
 
由高斯分布可以推导出线性模型,由线性模型的假设函数可知,高斯分布的方差σ²与假设函数无关,所以简便起见,我们可以将σ²的值设为1,推导过程如下:

 
此时,我们就将高斯分布表示成了指数分布族的形式;其中:

                                
 
实际上,大多数概率分布都可以表示成指数分布族的形式。比如:
(1)伯努利分布:对0、1问题进行建模;
(2)多项式分布:多有K个离散结果的事件的建模;
(3)泊松分布:对计数过程进行建模,比如网站访问量的计数问题,放射性衰变的数目,商店 顾客数量等问题;
(4)伽马分布与指数分布:对有间隔的正数进行建模,比如公交车的到站时间问题;
(5)β分布:对小数建模;
(6)Dirichlet分布:对概率分布建模;
(7)Wishart分布:协方差矩阵的分布;
(8)高斯分布;

 
 
 
实际上,大多数概率分布都可以表示成上式的形式。比如:
1)伯努利分布:对0、1问题进行建模;
2)多项式分布:多有K个离散结果的事件的建模;
3)泊松分布:对计数过程进行建模,比如网站访问量的计数问题,放射性衰变的数目,商店 顾客数量等问题;
4)伽马分布与指数分布:对有间隔的正数进行建模,比如公交车的到站时间问题;
5)β分布:对小数建模;
6)Dirichlet分布:对概率分布建模;
7)Wishart分布:协方差矩阵的分布;
8)高斯分布;
原文地址:https://www.cnblogs.com/jincwfly/p/8598043.html