CK方程

上文中,“到时间n为止进入任意一个特定的状态集合”应理解为“在时间n及之前进入的都算”。

只要进入了该状态集合,之后是否离开已经不重要了。这个可类比于“先赢若干局”的赌徒问题:即使在赢得若干局后继续赌满至最大可能局数,不影响输赢概率计算。进入状态集合就类比于已提前赢得赌局。

互通(和状态类?)的判断可以通过状态转移图看出来。什么是状态转移图?恩,就是类似状态机的状态转移图。

上文中“恰好在状态i停留n个时间周期”是指进入状态i的次数为n(包括开始的那次),而不是“连续停留n个时间周期”。由于从状态i到再次进入状态i的概率为fi(不用去管中间状态),因此刚好进入n次(包括开始那次是n次,除去开始那次的“重新”进入的次数是n-1次)的概率为fi(n-1)(1-fi)。

两个状态的类要么相同,要么不相交。意思是,两个状态要么属于相同的类,要么分属不同的类。一个状态不可能同时属于两个类。

关于常返态的定义需要注意的是,它要求的是从状态i出发且最终再进入状态i的概率为1。所以,转移概率矩阵中是可以存在两个或以上常返态类的,这两个常返态类不但非互通,甚至完全“隔绝”。

原文地址:https://www.cnblogs.com/byeyear/p/4921861.html