狄利克雷过程（Dirichlet Process）

0. 引入

现观察得到两个样本 θ1,θ2，来推测它们可能来自的分布：

• 假设来自于连续型概率密度函数， θ1,θ2∼H(θ)
  
  • 则 θ1,θ2 相等的概率为 0，p(θ1=θ2)=0
  • 概率为 0，不代表不可能发生，仍有发生的可能，只不过概率的测度为 0；（详见测度论相关知识）
  • 纵然二者仍有可能相等，但因其概率测度为 0，实际上我们也只能视二者为不同的值；
• 假设来自于一种离散型概率质量函数，我们仍希望其具有与连续型分布函数相类似的形式，记此时的离散分布为 G，想要其与连续型概率密度函数形式相近，又不至于像连续型那样任意产生的两个样本几乎可以视为不相等，则需要 G∼DP(α,H)，这就是狄利克雷过程（当然严格的 DP 不要求 H 一定为连续，也可以为离散，称其为，base measure）；
  
  • α>0 的 scalar，控制 G 的离散程度，其值越小与不离散，
    
    • 极限思维法，什么情况下，G 会达到最离散的状态呢，即只有一个值（α=0），使用一个值去代表一个分布；
    • α=∞，G=H

1. DP

一般而言，样本从一个分布中得到，x∼P(X|θ)，也即我们可从一个分布中得到样本，不管这是几维的样本，总之是一个值；

但对于 DP 而言，G∼DP(α,H) 却是从分布得分布，产生的不是一个值，而是整个分布，从 base measure 产生一个 random discrete probability measure，最终产生的分布仍然是随机的，也即每次 draw（抽样）得到的都不一样。

那么这样的 G 需要满足什么样的特性呢，对任意一次 draw 得到的 G 做任意次的划分（α1,⋯,αd），则 G(α1,…,αd)∼Dir()（需要满足狄利克雷分布）