受限的波尔兹曼机的简单了解知识

如果万一大家不小心检索到了本篇文章，为了不浪费大家的时间，请大家直接看  http://blog.csdn.net/itplus/article/details/19168937， 写在很好，太好好好！！！（本篇内容仅仅用于我的自我复习）

 

长什么样？

它长这样子：

它的特点： 在给定可见层单元状态（输入数据）时，各隐层单元的激活条件独立，反过来看，在给定隐层单元状态时，可见层单元的激活条件也是独立的。

其中的参数：可见层用V表示，隐含层用H表示，可见层的偏置用a表示，隐含层的偏置用b表示，权值矩阵用W表示。

它是什么东西：它就是一个随机网络模型， 给定输入层，一定的条件概率下映射到隐含层；然后再根据一定的概率映射出来，结果尽可能与原始的输入相同。  一切都是建立在概率上！！！！

   说实话，这是什么玩意啊，它能干什么啊。 我目前真的不是很清楚啊。

它的概率是如何定义的？

它的概率的定义借鉴了基于能量的统计学分布。  当系统处于状态 i 时，它的能量用Ei 来表示，那么请问处于状态 i 的概率为多少呢？？用下式表示：

，  其中

所以呢，把我们把这个统计学的分布应用于我们的受限的波尔北曼机时，如何定义它的能量函数是很重要的了。

下面是能量函数的定义公式，为什么这么定义呢？不是很明白啊。我感觉吧：可能怎么定义都可以吧，能够自圆其说就可以吧。反正就是自己定义的了。定义不同的能量函数，最后训练出来的网络的参数不同嘛，最后的分布应该是不变的，因为我们就是朝着它的分布而去训练的网络啊。。

利用这个能量函数，定义出受限有波尔兹曼机的状态概率：给定状态(v,h), 它的联合概率为：

，其中，

一些相关的概率：（来自：http://blog.csdn.net/itplus/article/details/19168989，很清晰的推导过程，写的太棒了，

其中的一个推导过程：

如何训练的问题：

为什么我感觉对比散度算法与Gibbs采样没有区别啊就是把随机的初始值变为了样本值了吧（意思就是现在的样本是符合平稳的马尔可夫链的分布的）。

不先写了，有一些问题想不明白。。不先写了，有一些问题想不明白。。

参考资料:

http://blog.csdn.net/itplus/article/details/19168937  受限玻尔兹曼机（RBM）学习笔记（一）预备知识