马尔科夫链的状态分类要点

马尔科夫链的状态分类要点定理1即它满足（1）自反性（2）对称性证（3）传递性（1），（2）显然，下证（3）第1页/共53页证3则由相通定义，根据切普曼---柯尔莫哥洛夫方程，有同理可证第2页/共53页说明按互通关系是等价关系，可以把状态空间S划分为若干个不相交的集合（或者说等价类），并称之为状态类。若两个状态互通，则这两个状态属于同一类。任意两个类或不相交或者相同。2．闭集设C为状态空间S的一个子集，则C称为闭集注1若C为闭集，则表示自C内任意状态i出发，始终不能到达C以外的任何状态j。显然，整个状态空间构成一个闭集。第3页/共53页吸收态指一个闭集中只含一个状态注2若状态空间含有吸收状态，那么这个吸收状态构成一个最小的闭集。3．不可约的若除整个状态空间S以外没有其它的闭集，则称此马氏链是不可约的。如果闭集C的状态都是互通的，则称闭集C是不可约的。第4页/共53页例1其一步转移矩阵为试研究各状态间的关系，并画出状态传递图。解先按一步转移概率，画出各状态间的传递图第5页/共53页2/31/41/41/31/21/20121/2图3---1由图可知状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。因此，状态空间S的各状态都是互通的。又由于S的任意状态i(i=0，1，2)不能到达S以外的任何状态，所以S是一个闭集而且S中没有其它闭集所以此马氏链是不可约的。第6页/共53页例2其一步转移矩阵为试讨论哪些状态是吸收态、闭集及不可约链。解先按一步转移概率，画出各状态间的传递图第7页/共53页111/21/21/2311/2图3---24521闭集，由图可知状态3为吸收态且闭集，闭集，其中是不可约的。又因状态空间S有闭子集，故此链为非不可约链。第8页/共53页二、首达时间和状态分类1．首达时间系统从状态i出发，首次到达状态j的时刻称为从状态i出发首次进入状态j的时间，或称自i到j的首达时间。如果这样的n不存在，就规定说明第9页/共53页自状态i出发，经过n步首次到达状态j的概率自状态i出发，经有穷步终于到达状态j的概率注1第10页/共53页对于首次到达时间表示从状态i出发首次返回状态i所需的时间相应的便是从状态i出发，经有限步终于返回状态i的概率，第11页/共53页2．首次到达分解式定理2证设系统从状态i经n步转移到状态j，由条件概率及马氏性得对任意IjiÎ,及1³n，有第12页/共53页说明(m=1，2，…，n)的所有可能值进行分解，定理3证充分性由定理2得从而所以第13页/共53页必要性由定理2得所以推论第14页/共53页3．常返态与瞬时态则称状态i为常返态则称状态i为瞬时态注“常返”一词，有时又称“返回”、“常驻”或“持久”“瞬时”也称“滑过”或“非常返”定理4证则系统从状态i出发，经过有限次转移之后，必定以概率1返回状态i。再由马氏性系统返回状态i要重复发生第15页/共53页这样，系统从状态i出发，又返回，再出发，再返回，随着时间的无限推移，将无限次访问状态i。将“不返回i”称为成功，则首次成功出现的次数服从几何分布，这就是说也就是说以概率1只有有穷次返回i。第16页/共53页定理5证令n=0，1，2，…因此，从状态i出发，访问状态i的平均次数为由定理4，得证。第17页/共53页说明本定理的等价形式：i为瞬时态，当且仅当定理6证如果i为常返态，且，则j也是常返态。因由切普曼---可尔莫哥洛夫方程得上式两边对所有的s相加，得又因为i为常返态，所以第18页/共53页故得从而即状态j也是常返态定理7所有常返态构成一个闭集证设i为常返态，即i和j相通。这是因为若自j出发不能到达i，那么从i出发到达j后，就不能再返回i，这与i是常返态的相矛盾。再由定理6知，j也是常返态，这就是说，自常返态出发，只能到达常返态，不能到达瞬时态。故常返态全体构成一个闭集第19页/共53页4．状态空间的分解如果已知类中有一个常返态，则这个类中其它状态都是常返的；若类中有一个瞬时态，则类中其它状态都是瞬时态。若对不可约马氏链，则要么全是常返态，要么全是瞬时态。定理8任一马氏链的状态空间S必可分解为其中N是瞬时态集，而且第20页/共53页证记C为全体常返态所构成的集合，则由定理7知C为闭集将C按互通关系分类：那么再从余下的状态中任取一个状态如此进行下去，并且显然满足条件（1）和（2）。第21页/共53页5．正常返态与零常返态平均返回时间从状态i出发，首次返回状态i的平均时间称为状态i平均返回时间.根据的值是有限或无限，可把常返态分为两类：设i是常返态，则称i为正常返态；则称i为零常返态。第22页/共53页定理9设i是常返态，则（1）i是零常返态的充要条件是（2）i是正常返态的充要条件是证明（略）推论证因为如果j是零常返态，i是任一状态，则第23页/共53页由定理9，上式第一项有从而推论得证。第24页/共53页说明用极限判断状态类型的准则（2）i是零常返态（2）i是正常返态（1）i是瞬时态且且第25页/共53页定理10证明由切普曼---可尔莫哥洛夫方程得由此可知由定理9知第26页/共53页6．有限马氏链对有限状态的马氏链我们给出不加证明的性质定理11（1）瞬时态集N不可能是闭集；（2）至少有一个常返态；（3）不存在零常返态；（4）若链是不可约的，那么状态都是正常返的（5）其状态空间可分解为是互不相交的由正常返态组成的闭集。第27页/共53页例3转移矩阵试对其状态分类。解按一步转移概率，画出各状态间的传递图21/4111/41/411/4143第28页/共53页从图可知，此链的每一状态都可到达另一状态，即4个状态都是互通的。考虑状态1是否常返，第29页/共53页类似地可求得所以于是状态1是常返的。又因为所以状态1是正常返的。由定理可知，此链所有状态都是正常返的。第30页/共53页例4设马氏链的状态空间S={0,1,2,…}，其一步转移概率为其中试证此马氏链是一个不可约常返态链证先证S不可约设i，j是I中任意两个状态，则有第31页/共53页类似地可证所以即I中任意两个状态都是相通的。因此，S是一个不可约的闭集再证S中状态0是一个常返态：由状态的转移规则，得所以第32页/共53页由定义知状态0为常返态。因此，由定理知S中所有状态都是常返态。故此马氏链为不可约常返链。第33页/共53页三、状态的周期与遍历1．周期状态对于任意的，令其中GCD表示最大公约数则称为周期态，则称为非周期态。定理12第34页/共53页证所以存在正整数m、n，使则有则有因此有类似地可证得故第35页/共53页（2）所以从而i为非周期态。又因为马氏链不可约，所以j也是非周期态，从而该马氏链是非周期链。2．遍历状态若状态i是正常返且非周期，则称i为遍历状态。第36页/共53页例5设马氏链的状态空间S={0,1,2,…}，转移概率为试讨论各状态的遍历性。解根据转移概率作出状态传递图…1/21/21/21/21/21/20121/2图3---431/2第37页/共53页从图可知，对任一状态都有，故由定理可知，S中的所以状态都是相通的，因此只需考虑状态0是否正常返即可。…故从而0是常返态。又因为所以状态0为正常返。又由于故状态0为非周期的从而状态0是遍历的。故所有状态i都是遍历的。第38页/共53页习题课1．带有两个反射壁的随机游动如果状态空间S={0，1，2，…，m}，移动的规则是：（1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（p+q=1）；（2）若移动前在m处，则下一步以概率q向左移动一个单位，以概率p停留在原处；（3）若移动前在其它点处，则均以概率p向右移动一个单位，以概率q向左移动一个单位。设表示在时刻n质点的位置，则{，}是一个齐次马氏链，写出其一步转移概率矩阵。第39页/共53页qp右反射壁m-1mpq左反射壁120第40页/共53页2．带有反射壁的随机游动设随机游动的状态空间S={0，1，2，…}，移动的规则是：（1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（p+q=1）；（2）若移动前在其它点处，则均以概率p向右移动一个单位，以概率q向左移动一个单位。设表示在时刻n质点的位置，则{，}是一个齐次马氏链，写出其一步转移概率。第41页/共53页pq反射壁1230第42页/共53页3．一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格，以概率逆时针游动一格。试求转移概率矩阵。第43页/共53页4．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且，试求转移概率矩阵。第44页/共53页5．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。解这是一个齐次马氏链，其状态空间为S={—a，—a+1，…，—1，0，1，2，…，a}一步转移矩阵是第45页/共53页1/31/211/31/211/312346．设马氏链的状态空间S={1，2，3，4}，其一步转移矩阵为解试对其状态分类。按一步转移概率，画出各状态间的传递图它是有限状态的马氏链，故必有一个常返态，又链中四个状态都是互通的。因此，所有状态都是常返态，这是一个有限状态不可约的马氏链。可继续讨论是否为正常返态第46页/共53页可讨论状态11/31/211/31/211/31234第47页/共53页状态1是常返态状态1是正常返态所以，全部状态都是正常返态第48页/共53页7．设马氏链的状态空间S={1，2，3，4，5}，其一步转移矩阵为试研究各状态的类及周期性解各状态间的传递图第49页/共53页对于任意有，即S为不可再分闭集。所以S中每一个状态都是常返态，且此马氏链为有限状态不可约常返链。0.40.2110.50.50.80.631254所以状态1的周期为3，由定理知，S中所有状态都为周期态，且周期都为3。因此，这个马氏链又是以3为周期的周期链。又因为马氏链为有限状态不可约链，所以所有状态都是正常返状态。第50页/共53页8．设马氏链的状态空间为S={1，2，3}，其一步转移矩阵为试研究各状态间的关系。解0.50.50.5120.513可继续讨论正常返第51页/共53页9．设马氏链的状态空间为S={1，2，3，4}，其一步转移矩阵为试研究各状态间的关系。解10.60.20.20.71120.334状态空间为S分两个部分：={1，2，3}，={4}是闭集中状态4可到达中各状态，且它非吸收状态，所以不是闭集。第52页/共53页