Variational Bayes

平均场理论(Mean Field Method):举个简单的例子就是,平面上有很多的电荷,我们想研究这些电荷对电荷A的影响,我们不必一个一个电荷去研究这些电荷对电荷A的影响,我们可以考虑这些电荷组成的一个整体,而这个整体可以被等效为一个电荷,然后直接研究这个等效电荷对电荷A的影响,这就大大简化了分析和计算复杂度。

Kullback-Leibler散度:

 

指数分布族(exponntial family)

指数分布族的密度函数:

琴生不等式:

KL距离公式:

原文地址:https://www.cnblogs.com/huangshiyu13/p/6156300.html