狄利克雷过程

官方定义:令 表示一个可测的参数空间, 描述某一个类别的参数。令H是空间 上的一个概率测度, 表示一个正实数。对于空间上的任意一个有限分割 : 如果空间上的一个随机概率分布G在这个分割中各部分上的测度服从一个狄利克雷分布:

,

那么我们就称随机概率分布G 服从狄利克雷过程,记为 .

我们把 叫做集中度参数,把H叫做基分布。

解读:

测度的通俗理解就是给一个空间中的每个子集一个度量,即一个实数来衡量各个子集。最直观的例子是用长度来衡量一个一维实数集合,这里的长度就是一种测度。

概率测度是指在空间中定义的测度满足概率的性质,即每个子集的测度大于零,所有子集加和为1。

对于式子 :表示了这个分割是不重叠地充满整个空间。

对比狄利克雷分布分布的定义 ,狄利克雷过程就是把每一个 都看成一个概率分布G,而G 的参数 是属于参数空间的。

当我们取空间的一个子集,即T取 时,狄利克雷过程就会退化成一个狄利克雷分布分布。也就是说分布描述了一种划分下G的分布情况,而过程描述了空间中所有划分的情况。

性质:

如果,当观察到N个独立的来自G的样本,G的后验分布仍然是一个狄利克雷过程:

以上是狄利克雷过程的定义,构造狄利克雷过程的常见方法有三种:

断棍构造过程(Stick-Breaking Construction);

波利亚翁方案(Polya Urn Scheme)也叫(Blackwell-MacQueen 方案);

中餐馆过程(Chinese Restaurant Process),CRP ;

原文地址:https://www.cnblogs.com/simayuhe/p/5147231.html