首页 EXANS_C4马尔可夫链1

EXANS_C4马尔可夫链1

EXANS_C4马尔可夫链12．3．4．n(1)P{X=P{X(2)P{Xn+1n+1=i,Xn+1=i,Xn+1n+2=i，…,Xn+2=i，…,Xn+2n+mn+m=iIX=i,X=i,…,X=i}n+m0011nn=iIX=i}n+mnn=i,X=i,…,X=i,X=i，…,X=iIX=i}0011nnn+2n+2n+mn+mn+1n+1=P{X=i,X=i,…,X0011iIX=i}n+mn+1n+1=iIX=i}•P{X=i，…,Xnnn+1n+1n+2n+2n+m设{X,n>1}为有限齐次马尔可夫链n其初始散布和转移概率矩阵为p=...

2．3．4．n(1)P{X=P{X(2)P{Xn+1n+1=i,Xn+1=i,Xn+1n+2=i，…,Xn+2=i，…,Xn+2n+mn+m=iIX=i,X=i,…,X=i}n+m0011nn=iIX=i}n+mnn=i,X=i,…,X=i,X=i，…,X=iIX=i}0011nnn+2n+2n+mn+mn+1n+1=P{X=i,X=i,…,X0011iIX=i}n+mn+1n+1=iIX=i}•P{X=i，…,Xnnn+1n+1n+2n+2n+m设{X,n>1}为有限齐次马尔可夫链n其初始散布和转移概率矩阵为p=P{X=1i}二4,i=1，2，3,4，P二1/41/41/41/41/41/41/81/41/41/41/41/41/4]3/81/4)试证P{X=41X=1,12求，令X=0，n1，2或3,这些值别离对应于第n-1次和第n次抛掷的结果为（正，正），（正，反），（反，正）或（反，反）。求马尔可夫链{X,n=0,1,2，…}的一步和二步转移的概n率矩阵。设{X,n>0}为马尔可夫链，试证：5．6．立同散布随机变量序列，令Y=0,Y=Y（t）=X,Y+cY=X,n>2，试证01{Y,n>0}是马尔可夫链。n1nn-1n已知随机游动的转移概率矩阵为P=「05、0.50.50.500］0.5，求三步转移概率矩阵P（3）及0.5,设{X(t),tGT}为随机进程，且X=X(t)，X=X(t)，…，X=X(t)，…为独12当初始散布为P{X=1}=P{X=2}=0,P{X=3}=1时经三步转移后处于状态0003的概率。7．已知本月销售状态的初始散布和转移概率矩阵如下：'0.80.80.1、（1）Pt（0）=（0.4,0.2,0.4），P=0.10.70.2；、0.20.20.6,0.10.10.60.20.10.60.10.20.1[0.20.5J1/2)p1q12/3J；(2)0p2J、q330f1/3f°-70.1(2)Pt(°)=(0.2,0.2,0.3,0.3),P二°」f（n）,n=1,2,31212.设马尔可夫链的状态空间I={1,2，…,7},f0.40.20.100.10.10.1、0.10.30.20.20.10.10.1000.60.4000p=000.400.600000.20.50.300000000.30.7、000000.80.2,转移概率矩阵为10.1求下一、二个月的销售状态散布。8.某商品六年共24个季度销售记录如表（状态1-畅销，状态2一滞销）季节123456789101112销售状态112122111212季节131415161718192021222324销售状态112211212111以频率估量概率。求（1）销售状态的初始散布；（2）三步转移概率矩阵及三步转移10.讨论以(1)p=(3)P=人下转移概率矩阵的马尔可夫链的状态f0.20.30.500、0.70.300001000；(2)P0000.40.6、00010,f100'qrp000qrp00扮类。f0010],=1000；0.30.700'10.60.20.20)，其中q+r+p=1,I={0,1，…,b}00qrp、001,后的销售状态散布。11.设马尔可夫链的转移概率矩阵为（1）0]q2；计算f17,求状态的分类及各常返闭集的平稳散布。[010、………q0p0……13.设马尔可夫链的转移概率矩阵为P=11p0…2,求它的平稳散0q20•・・k……••,)布。14.艾伦菲斯特（Erenfest）链。设甲乙两个容器共有2N个球，每隔单位时刻从这2N个球中任取一球放入另一容器中，记X为在时刻n甲容器中球的个数，那么｛X,n>0｝nn是齐次马尔可夫链，称为艾伦菲斯特链，求该链的平稳散布。15．将2个红球4个白球任意地别离放入甲、乙两个盒子中，每一个盒子放3个，现从每一个盒子中各任取一球，互换后放回盒中（甲盒内掏出的球放入乙盒中，乙盒内掏出的球放入甲盒中），以X（n）表示通过n次互换后甲盒中红球数，那么｛X（n）,n>0｝为一齐次马尔可夫链，（1）求一步转移概率矩阵；（2）证明｛X（n）,n>0｝是遍历链；（3）求limP（n）,j=0,1,2…ij16.设｛X（n）,n>1｝为非周期不可约马尔可夫链，状态空间为I，假设对一切jeI,其一步转移概率矩阵知足条件：EP=1,试证（1）对一切jeI,Ep（n）=1；（2）ijijieIieI假设状态空间I=｛1,2，…,m｝，计算各状态的平均返回时刻。17.设河流天天的BOD（生物耗氧量）浓度为齐次马尔可夫链，状态空间I=｛1,2,3,4｝是按BOD浓度为极低、低、中、高别离表示的，其一步转移概率矩阵（以一天为单位）(0.50.40.10:0.20.50.20.1为P=0.10.20.60.1。假设BOD浓度为高，那么称河流处于污染状态。（1）[00.20.40.4J证明该链是遍历链；（2）求该链的平稳散布；（3）河流再次达到污染的平均时刻巴。答案1.解：质点随机游动的一步转移的概率矩阵为100001/31/31/300P=01/31/31/30001/31/31/300001质点随机游动的二步转移的概率矩阵为一100004/9/2/92/91/90P(2)=P2=1/92/93/92/91/901/92/92/94/9_000012.解：马尔可夫链｛X,n=0,1,2，…｝的一步转移的概率矩阵为nPq00P=00PqPq0000Pq马尔可夫链｛X,n=0,1,2，…｝的一步和二步转移的概率矩阵为np2pqpqq2P(2)=P2=p2pqpqq2p2pqpqq2_p2pqpqq2_3.证：(1)P{X=i,X=i，…,X=iIX=i,X=i,…,X=i}n+1n+1n+2n+2n+mn+m0011nnP{X=i,X=i,…,X=i,X=i,X=i，…,X=i}0011nn-n+4n11n+2n+2nImnIm-P{X=i,X=i,…，X=i}0011nnppiii00TppP{X=i0,X01p..'n'n+1…PP..nn+1hTin=i，…，X=I}n+n+mn+m-P{X=i}nn=P{X=i,X=i，…,X=iIX=i}n+1n+1n+2n+2n+mn+mnn(2)P{X=i,X=i,…,X=i,X=i，…,X0011nnn+2n+2P{X=i,X=i,…,X=i,X=i,X=i0011nn-n+1n+n+2-P{X=i}n+1n+1n+m=in+m，…,X2IXn+1=i=i}n+1}P{X=i,…,X=i}.003n+」P{X=i，…，XP{X=i}n+2n+2n+mn+1n+1=P{X=i,…,X=iIX=i}•P{X=i00nnn+1n+1n+2n+2，…,X=in+mn+m4.证：P{X=4IX=1,10,X与(Y,Y，…,Y)独立。n+101nP{Y=iIY=0,Y=i,…,Y=i}n+1n+1011nn=P{Y+CY=i+CiIY=0,Y=i,…,Y=i}n+1nn+1n011nn=P{X=i+CiIY=0,Y=i,…,Y=i}n+1n+1n011nn=P{X=i+Ci}=P{X=i+CiIY=i}=P{Y=iIY=i}n+1n+1nn+1n+1nnnn+1n+1nn由i,k=1,2,…,n+1的任意性知{Y,n>0}为马尔可夫链。kn-0,250.3750.375一.解：P(3)=0.3750.250.375,p(3)=0.2520.3750.3750.25.解：Pt(1)=(0.42,0.26,0.32),Pt(2)=(0.426,0.288,0.286)8.解：PT0f15)[24,24)f0.610.620034JPT(3)=(0.61,0.39)9.解：I={1,2,^,9}[01/200101/2001/201001/20VC={1,2,3,4}，10001/30001/2000101/30101/201=｛5,6,7,8,9｝两个闭集。10．解：（1）C=｛1,2,3｝,C=｛4,5｝两个遍历状态闭集。C=｛1,2,3｝遍历闭集，N=｛4｝超级返态。C=｛0｝,C=｛b｝是吸收态闭集，N=｛1,…,b-1｝是超级返集。1111.解：(1)f⑴=,f⑵=,112116111f(2)=,f⑶=1241218；f1(1)=p1，f⑵=0,f⑶=qqq；f⑴=q111112312112f⑵=pq,f⑶=1112p12q1。12．解:，N={1,2}超级返集，C={3,4,5},0.60.40.20.400.5C2=｛6,7｝是正常返闭集。由转移矩阵0]0.60.3,13．01+£H4qj=1k=0k+11076解得C的平稳散布为｛0,0,,—,—,0,0｝；87同理，C的平稳散布为｛0,0,0,0,0,15,15｝。p•…p」——E兀，j>1,q…q01j14．解：｛X,n>0｝的转移概率为np=0，ii2N-iPW1=k，pgi=0,1,-,2N,其平稳散布｛兀,j=0,1，…,2N｝知足方程组j1兀=——兀02N12N—j+1j+1<兀=兀+兀-——jj-12Nj+12N兀=——兀N2N2N-1解此方程组得兀=CjnEj2N0n=1得jj1=n12NCj=22nn02N0j=0n=2-2n0故｛X,n>0｝的平稳散布为n=Cj2-2n,j=0,1,2，…,2NTOC\o"1-5"\h\znj2N15.解:（1）-1/32/30-P=2/95/92/902/31/3（2）由于I=｛0,1,2）是有限的，I中所有状态是互通的，且状态0是非周期的，故｛X｝为遍历链。n（3）由平稳散布知足的方程组1n=-n+—n0309125n=—n+-n309121=—n+-n解方程组得:limp（n）infs0=n016.解：（1）91+n+n1332=121limp（n）=n=i1nfs1limp（n）infs2=n2用归纳法。设当n=m时，对一切jgI，都有I5,乙p（n）=1，那么ijIP（n+1）=2（AP（m）p）=2p（AP（m））上P=1ijiGIikkjiGIkgIkjikkgIikjkgI（2）由条件知｛X（n）,n>1）为非周期不可分马尔可夫链，且状态空间有限，故{X(n),n>1}为遍历链，因此limp(n)=兀=—>0,jeIlimn-8ijjn-8mmm1m-P(n)="limp(n)="——=一ijn-8ijNi=1i=1i=1jNj=1，N=mj因此j=1,2，…,m17.解：(2)兀=0.2112,兀=0.3028,兀=0.3236,123(3)N=8.8(天)4练习五：持续时刻的马尔可夫链兀=0.1044；4随机进程练习题1．设持续时刻马尔可夫链｛X(t),t>0｝具有转移概率P(h)=5ij九h+。(h),i1—九h+o(h),i0，j=i+1,j=i,j=i—1,o(h),|j—i|>2,2．其中人是正数，X(t)表示一个生物群体在时刻t的成员总数，求柯尔莫哥洛夫方程，i转移概率P(t)。(提示：利用以下结果，假设g'(t)+kg(t)=h(t),k为实数，h(t)ij为持续函数，a0｝的平稳散布；(2)假设M=10,九=60,N=30，系统处于平稳状态时有一半以上车床在工作的概率。.排队问题。设有一效劳台，[0,t)内抵达效劳台的顾客数是服从泊松散布的随机变量，即顾客流是泊松进程。单位时刻抵达效劳台的平均人数为九。效劳台只有一个效劳员，对顾客的效劳时刻是按指数散布的随机变量，平均效劳时刻为1/N。若是效劳台空闲时抵达的顾客当即同意效劳；若是顾客抵达时效劳员正在为另一顾客效劳,那么他必需排队等候；若是顾客抵达时发觉已经有二人在等候,那么他就离开而再也不回来。设X(t)代表在t时刻系统内的顾客人数(包括正在被效劳的顾客和排队等候的顾客),该人数确实是系统处于状态。于是那个系统的状态空间为I=｛0,1,2,3｝；又设在t=0时系统处于状态0,即效劳员空闲着。求进程的Q矩阵及t时刻系统处于状态j的绝对概率p、t)所知足的微分方程。.一条电路供m个焊工用电，每一个焊工均是中断用电。现作如下假设：(1)假设一焊工在t时用电，而在(t,t+At)内停止用电的概率为附t+o(At)；(2)假设一焊工在t时没有效电，而在(t,t+At)内用电的概率为XAt+o(At)。每一个焊工的工作情形是彼此独立的。设X(t)表示在t时刻正在用电的焊工数。(1)求该进程的状态空间和Q矩阵；(2)设X(0)=0，求绝对概率p(t)知足的微分方程;(3)当tfsj时，求极限散布p。j6.设［0,t］内抵达的顾客服从泊松散布，参数为Xt。设有单个效劳员，效劳时刻为指数散布的排队系统(M/M/1),平均效劳时刻为1/N。试证明：(1)在效劳员的效劳时刻内抵达顾客的平均数为1/N；(2)在效劳员的效劳时刻内无顾客抵达的概率为日/(X+m。答案：'p'(t)=—Xp(t)+Xp(t),j>i+11.解：柯尔莫哥洛夫向前方程为1%、j-11-1-—-e2,31231一十-e-2t,，j-1[p'(t)=—Xp(t)iiiiir1,i=j由初始条件：p(0)=<八.：解得ij[0,i。jpi,(t)=e-Xj,p(t)=e-X41eXjtXp(s)ds,j>i+1[ij0j—1i,j—1112.解：X=-,^.=—i2i211柯尔莫哥洛夫向前方程为p(t)=—p(t)+-p(t)+-p(t),ijij2i，j—12i，j+1状态空间为I={1,2,3},故p(t)+p(t)+p(t)=1,代入以上方程得iji,j—1i,j+131p'(t)+-p(t)=-ij2ij2_-i=j..确信Ji丰Jp(t)=ce—2tijp(t)=\iji丰ji=j由初始条件：p(0)=]1,ij[0,1.…故其平稳散布兀=11mp(t)=—,j=1,2,3jij3Jt-83.解：(1)据题意，N(t)是持续时刻的马尔可夫链，状态空间为I=｛0,1，…,m｝。设时刻t有i台车床在工作，那么在(t,t+h］内又有一台车床开始工作，那么在不计高阶无穷小时，它应等于原先停止工作的M-i台车床中，在(t,t+h］内恰有一台开始工作，那么p(h)=(M-i)九h+o(h),i=0,1,2,…,M-1；一样地，i,i+1p(h)=iM+o(h),i=1,2，…,M,p(h)=o(h),Ii-j1>2九二(M-i)九i因此，它的平稳进程为iji=0,1,2,…,M-1i=1,2，…,M.从十九兀=Cj0M,i=1,2,…,M(2)P{N(t)>5}立兀立Cj(竺)j(30)10-j=0.7809j109090j=6j=64.解：据题意，｛X(t),t>0｝是持续时刻的马尔可夫链，状态空间为I=｛0,1,2,3｝。「九九00)Q=M-(九+m)九00M-(九+m)九\M-Mj绝对概率p(t)知足柯尔莫哥洛夫方程：j'p'(t)=—p(t)+Mp(t)001p'(t)=九p(t)-(X+M)p(t)+Mp(t)V1012p'(t)=九p(t)-(X+M)p(t)+Mp(t)2123p'(t)=九p(t)-Mp(t)t323初始条件：夕。(。)二L八。)二。,尸1235.解：据题意，｛X(t),t>0)是持续时刻的马尔可夫链，状态空间为I=｛。,1，…,m｝。(一mkmk0…°1Q=mp—m(k+p)mk.…0:::,<00…mp—mp.绝对概率p(t)知足柯尔莫哥洛夫方程：j'P'(t)=—m九p(t)+m四p(t)TOC\o"1-5"\h\z001pp(t)=m4p(t)-m(入+日)p(t)+mpp(t),0

                    本文档为【EXANS_C4马尔可夫链1】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
                    图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。 
 该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。

                    [版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。

                    本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。

                    网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
                

下载需要：免费已有0 人下载

立即下载

EXANS_C4马尔可夫链1

你可能还喜欢