第7章 马尔可夫预测方法

nullnull 第七章 马尔可夫预测 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 第一节 马尔可夫链的基本概念第三节 马尔可夫预测应用第二节 马尔可夫预测的基本原理null第一节 马尔可夫链的基本概念一、马尔可夫链首页null注:而与以前的状态二、一步转移概率马氏链在时刻n处于状态 i 的条件下，到时刻n+1转移到状态 j 的条件概率，即称为在时刻n的一步转移概率，首页null注:由于概率是非负的，且过程从一状态出发，经过一步转移后，必到达状态空间中的某个状态一步转移概率满足一步转移矩阵称为在时刻n的一步转移矩阵首页null即有有限马氏链状态空间I={0，1，2，…，k}首页null齐次马氏链即则称此马氏链为齐次马氏链（即关于时间为齐次）初始分布首页null注马氏链在初始时刻有可能处于I中任意状态，初始分布就是马氏链在初始时刻的概率分布。绝对分布概率分布称为马氏链的绝对分布或称绝对概率定态分布即首页null例1 不可越壁的随机游动设一质点在线段[1，5 ]上随机游动，状态空间I={1，2，3，4，5}，每秒钟发生一次随机游动，移动的规则是：（1）若移动前在2，3，4处，则均以概率 向左 或向右移动一单位，或停留在原处；（2）若移动前在1处，则以概率1移到2处；（3）若移动前在5处，则以概率1移到4处。试写出一步转移矩阵.首页null分析故首页null其一步转移矩阵为若将移动规则改为（1）若移动前在2，3，4处，则均以概率 向左或向右 移动一单位； （2）若移动前在1，5处，则以概率1停留在原处。因为质点在1，5两点被“吸收”，故称有两个吸收壁的随机游动首页null在马氏链的研究中，须研究“从已知状态i出发，经过n次转移后，系统将处于状态j”的概率.三、n步转移矩阵1．n步转移概率系统在时刻m从状态i经过n步转移后处于状态j的概率称为n步转移概率由于马氏链是齐次的，这个概率与m无关首页null显然有2．n步转移矩阵称为n步转移矩阵规定首页null注（1）用一步转移概率 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示多步转移概率首页null注I={1，2，…，N}由矩阵的乘法规则，得表示：在时刻n，各状态的概率等于其初始状态的概率与n步转移概率矩阵之积。若链是齐次的，则有首页null遍历性与平稳分布非周期、正常返状态为遍历状态定义1使得则称此马氏链具有遍历性马氏链的 遍历性表明不论从哪一个状态i出发，当转移的步数n充分大时，转移到状态j的概率都接近于正常数首页第二节 马尔可夫预测的基本原理null定理1则此马氏链是遍历的，且中的是方程组j =0，1，2，…，s的满足条件的唯一解注1定理表明不论从链中哪一状态i出发，都能以正概率经有限次转移到达链中预先指定的其它任一状态。定理给出了求平稳分布 的方法。注2首页null例1其一步转移矩阵为试证此链具有遍历性，并求出平稳分布。解由于首页null所以因此，该马氏链具有遍历性。由定理1得解得所以马氏链的平稳分布为首页null定理2（1）若状态是正常返，则该链存在平稳分布， 且平稳分布（其中 是从状态j出发首次返回状态j的平均时间）（2）若所有状态是瞬时态，或所有状态是零常返态，则不存在平稳分布。（3）若是有限马氏链，则一定存在平稳分布。首页null1、市场占有率预测设某地有1600户居民，某产品只有甲、乙、丙3厂家在该地销售。经调查，8月份买甲、乙、丙三厂的户数分别为480，320，800。9月份里，原买甲的有48户转买乙产品，有96户转买丙产品；原买乙的有32户转买甲产品，有64户转买丙产品；原买丙的有64户转买甲产品，有32户转买乙产品。用状态1、2、3分别表示甲、乙、丙三厂，试求（1）转移概率矩阵； （2）9月份市场占有率的分布； （3）12月份市场占有率的分布； （4）当顾客流如此长期稳定下去市场占有率的分布。首页第三节 马尔可夫预测应用null解（1） 由题意得频数转移矩阵为再用频数估计概率，得转移概率矩阵为（2）以1600除以N中各行元素之和，得初始概率分布（即初始市场占有率）首页null所以9月份市场占有率分布为（3）12月份市场占有率分布为首页null（4）由于该链不可约、非周期、状态有限正常返的，所以是遍历的。解方程组即得当顾客流如此长期稳定下去是市场占有率的分布为返回首页null注：当销售份额达到平衡时，各公司分别占总销售额中的那一部分均保持不变。但在某些情况下，参与竞争的公司、企业中可能会有一个或多个被完全逐出市场。例如：转移矩阵为：厂家A从B与C双方得到顾客，而从不失去顾客，则照此趋势发展下去，厂家A将独占100％的市场。null2、销售策略对市场占有率的影响 A公司的市场占有率从30％降至最终的21.9％，这是假定以状态转移概率保持不变为前提的。如果公司的经营决策者看到了这种不利趋势，并制定某种策略（如销售策略）来扭转这种不利趋势，则会试公司在市场上保持较有利的地位。 （1） 保留策略 指尽力保留公司原有顾客的各种经营方针与对策。 如：采用提供优质服务或对连续两期购货的顾客实行折价优惠等方法。 设A公司采用保留策略后，减少了其原有顾客向C公司的流失，使保留率从原来的70％提高到85％，null则转移矩阵为：则新的稳定状态分布满足：X =（ 0.364， 0.182， 0.454）A公司的市场占有率从21.9%提高到36.4%.null （2） 争取策略 指从竞争者拥有的顾客中争取顾客的各种经营方针与对策。如：通过广告等方法。 设A公司采用争取策略后，能从上一期内向另外两家公司购货的顾客中分别争取15％与16％，则转移矩阵为则新的稳定状态分布满足：nullX =（ 0.344， 0.156， 0.500）A公司的市场占有率从21.9%提高到34.4%.null3.股票预测应用（见案例）x=[33.7 34.13 33.08 33.29 31.98 32.4 30.78 ... 30.97 31.93 31.93 31.93 30.7 30.8 30.46 ... 29.9 30.99 31.53 29.86 29.25 30.2 ... 33.22 33.21 33.3 34.27 32.89 31.27 32.26 ... 31.6 30.6 31.5 31.7 33 33.51 33.8 ... 35.45 35.82 35.67 38.93]; %<30.5, 30.5<=x<31.5,31.5<=x<32,32<=x<34,34<=x a=find(x<30.5) b=find(30.5<=x&x<31.5) c=find(31.5<=x&x<32) d=find(32<=x&x<34) e=find(34<=x) N11=length(find(x(a+1)<30.5)) N12=length(find(30.5<=x(a+1)&x(a+1)<31.5)) N13=length(find(31.5<=x(a+1)&x(a+1)<32)) N14=length(find(32<=x(a+1)&x(a+1)<34)) N15=length(find(x(a+1)>=34))null3.股票预测应用（见案例）N21=length(find(x(b+1)<30.5)) N22=length(find(30.5<=x(b+1)&x(b+1)<31.5)) N23=length(find(31.5<=x(b+1)&x(b+1)<32)) N24=length(find(32<=x(b+1)&x(b+1)<34)) N25=length(find(x(b+1)>=34)) N31=length(find(x(c+1)<30.5)) N32=length(find(30.5<=x(c+1)&x(c+1)<31.5)) N33=length(find(31.5<=x(c+1)&x(c+1)<32)) N34=length(find(32<=x(c+1)&x(c+1)<34)) N35=length(find(x(c+1)>=34)) N41=length(find(x(d+1)<30.5)) N42=length(find(30.5<=x(d+1)&x(d+1)<31.5)) N43=length(find(31.5<=x(d+1)&x(d+1)<32)) N44=length(find(32<=x(d+1)&x(d+1)<34)) N45=length(find(x(d+1)>=34)) N51=length(find(x(e(1:5)+1)<30.5)) N52=length(find(30.5<=x(e(1:5)+1)&x(e(1:5)+1)<31.5)) N53=length(find(31.5<=x(e(1:5)+1)&x(e(1:5)+1)<32)) N54=length(find(32<=x(e(1:5)+1)&x(e(1:5)+1)<34)) N55=length(find(x(e(1:5)+1)>=34)) p1=[N11 N12 N13 N14 N15]./sum([N11 N12 N13 N14 N15]) p2=[N21 N22 N23 N24 N25]./sum([N21 N22 N23 N24 N25]) p3=[N31 N32 N33 N34 N35]./sum([N31 N32 N33 N34 N35]) p4=[N41 N42 N43 N44 N45]./sum([N41 N42 N43 N44 N45]) p5=[N51 N52 N53 N54 N55]./sum([N51 N52 N53 N54 N55]) P=[p1;p2;p3;p4;p5] P0=[0 0 0 0 1] P1=P0*P P2=P0*P^2 P5=P0*P^5 P20=P0*P^20 null4.期望报酬预测 在企业当中，除需要摸清销路的变化情况外，还要对利润的变化进行预测。如：某商品的销售状态有畅销和滞销两种状态，则通过调查、统计，可得销售状态的转移概率矩阵P和转移利润矩阵R.其中， 表示盈利， 表示亏本则根据已知的转移概率矩阵P和转移利润矩阵R.对未来利润进行预测。null期望利润预测步骤：（1）记 表示产品现在所处的状态i( )经过n步转移之后的期望利润。（2） 经过一步转移之后的期望利润为（3） 经过二步转移之后的期望利润为null一般， 经过n步转移之后的期望利润递推公式当n＝0时，规定：例：已知某企业产品销路转移情况及利润转移情况如表所示，利润单位：百万元试求：（1）一个月后企业的期望利润 （2）三个月后企业的期望利润null解：转移矩阵分别为（1）一月后的期望利润：即：当本月处于畅销时，下一个月可期望获得利润260万元；当本月处于滞销时，下一个月期望亏损40万元。（2）三个月后的期望利润：null即：当本月处于畅销时，三个月后可期望获得利润402万元；当本月处于滞销时，三个月后只可期望获利69万元。nullp1=[0.4 0.6;0.3 0.7]; r1=[5 1;1 -1]; v11=sum(p1(1,:).*r1(1,:)) v21=sum(p1(2,:).*r1(2,:)) %v =dot(p1(1,:),r1(1,:)) v12=v11+sum([v11,v21].*p1(1,:)) v22=v21+sum([v11,v21].*p1(2,:)) v13=v11+sum([v12,v22].*p1(1,:)) v23=v21+sum([v12,v22].*p1(2,:)) R=[v11 v21]' V=R+p1*R+p1^2*Rnull注1：有限时段期望总报酬 若状态空间 ，其转移概率表示某周期系统处于i状态时获得的报酬（盈利、收益、亏损、费用）则有 表示产品现在所处的状态i经过n步转移之后的期望利润。若记则有null注2：无限时段单位时间平均报酬则对稳态分布 定义初始状态为i的无限时段单位时间平均报酬为有注3：无限时段期望折扣总报酬若记则有折扣因子null例：最佳维修策略的选择 研究一化工企业对循环泵进行季度维修的过程。该化工企业对泵进行定期检查，每次检查中，把泵按其外壳及叶轮的腐蚀程度定为五种状态的一种。五种状态是： 状态1：优秀状态，无任何故障或缺陷； 状态2：良好状态，稍有腐蚀； 状态3：及格状态，轻度腐蚀； 状态4：可用状态，大面积腐蚀； 状态5：不可运行状态，腐蚀严重。该公司可采用的维修策略：单状态策略：泵处于状态5时才进行修理，每次修理费用500元；null两状态策略：泵处于状态4或5时进行修理，处于状态4时修理费用为250元，状态5同上；三状态策略：泵处于状态3、4或5时进行修理，处于状态3时修理费用为200元，状态4、5同上。假定不管处于何种状态，只要进行维修，泵的状态都将在本周期内恢复为状态1。已知在不进行任何修理时的状态转移概率为：null现在我们要确定哪个策略的费用最低。目标为长期运行单位时间平均报酬。三个策略下的转移概率矩阵分别为：nullnull下面我们来求三种策略下的 ：（1）单状态策略：利用P(1)求解 ，即得唯一的平稳分布（2）两状态策略：利用P(2)求解 ，即得唯一的平稳分布null（3）三状态策略：利用P(3)求解 ，即得唯一的平稳分布因此，两状态策略为最优策略，平均每周期的费用为90.50。 且单位时间平均费用与起始状态无关。null（3）三状态策略： P=[0 0.6 0.2 0.1 0.1;0 0.3 0.4 0.2 0.1;1 0 0 0 0;... 1 0 0 0 0;1 0 0 0 0] %P^10 syms x1 x2 x3 x4 x5 eq1=x1-[x1 x2 x3 x4 x5]*P(:,1) eq2=x2-[x1 x2 x3 x4 x5]*P(:,2) eq3=x3-[x1 x2 x3 x4 x5]*P(:,3) eq4=x4-[x1 x2 x3 x4 x5]*P(:,4) eq5=x5-[x1 x2 x3 x4 x5]*P(:,5) eq6=x1+x2+x3+x4+x5-1 [x1 x2 x3 x4 x5]=solve(eq1,eq2,eq3,eq4,eq5,eq6) X=[x1 x2 x3 x4 x5] r=[0 0 200 250 500] V=dot(X,r)