要解决复杂的模式识别问题，往往需要构建大规模的神经网络。随着节点数量的增加，模型的训练速度将变得缓慢，而内存的开销也会以n^2的速度增长。这样，采用单机训练RBM变得不切合实际。而鉴于RBM训练更新需要在整个网络的范围内进行权值更新（不考虑针对Sparse情况的优化），设计分布式程序需要解决的主要问题之一就是如何处理网络间的“更新传递”以及如何解决分布式中可能出现的单个节点故障问题。下面这个总结是根据Andrew Ng教授在Google所领导的Google Brain项目采用的相关技术，讨论如何有效的解决上述两个问题。