马尔可夫链分析法.ppt

马尔可夫链分析法,马尔可夫链,马尔可夫链：一种随机时间序列，它在将来取什么值只与它现在的取值有关，而与它过去取什么值无关。这种性质称为无后效性。 形象示意：青蛙在若干荷叶上跳跃,下一位置仅与当前位置有关。 状态概率向量：设马尔可夫链在 tK 时取状态E1 E2 En的概率分别为p1 p2 pn 而0Pi1， 则向量P1P2 Pn称为tK时的状态概率向量。 一步转移概率： 设系统可能出现N个状态E1 E2 En，则系统由tK时刻从Ei转移到tk+1时刻Ej状态的概率就称为从i到j的转移概率.,状态转移概率矩阵,状态转移概率矩阵：在一定条件下，系统只能在可能出现的状态E1 E2 En中转移，系统在所有状态之间转移的可能性用矩阵P表示，称P为状态转移概率矩阵。,转移概率矩阵具有下述性质:,正规概率矩阵及性质,概率向量：元素均为非负数且总和为1的向量。 概率矩阵：方阵的各行(或各列)都是概率向量。 概率阵性质：若A、B是概率阵，则AB、An也是。 固定概率向量(均衡点)：若U是n维概率向量,A是n阶方阵，且有UA=U，则称U是A的均衡点。 正规概率矩阵：对概率阵P，若存在某个正整数m,使得Pm所有元素大于零,则称P为正规概率矩阵。 正规概率阵P的性质：,多步转移,多步转移概率: 若系统在时刻t0处于状态i,经过n步转移，在时刻tn处于状态j，这种转移的可能性的数量指标称为n步转移概率,记为,性质1:设一步转移概率矩阵为 P(1)=P 则P(n)=Pn 。,性质2：系统处在 j 状态的概率与它在很远的过去处在什么情况无关。,市场占有率预测示例之一内容,已知市场上有A，B，C三种牌子的洗衣粉，上月的市场占有分布为(0.3 0.4 0.3)，且已知转移概率矩阵为P。试求本月份和下月份的市场占有率？ 解：1、求本月份市场占有率,2、求下月份市场占有率,计算结果说明，在顾客(或用户)购买偏好改变不大情况下，下个月A牌洗衣粉市场占有率22.5%，B牌洗衣粉市场占有率为34.7%，C牌洗衣粉的市场占有率为42.8%。,状态转移概率的估算,估算方法一般有二种:一是主观概率法(缺乏历史统计资料或资料不全情况下使用)。二是统计估算法。 例设味精市场的销售记录共有6年的24个季度的数据见表。试求味精销售状态转移概率矩阵。,上表中共有24个季度数据，其中有15个季度畅销,9个季度滞销。经统计得出连续畅销7次、由畅销转为滞销7次、由滞销转为畅销7次和连续滞销2次。,转移概率统计估算方法,对于一般的情况，假定系统有m种状态S1,S2,.,Sm，根据系统的状态转移的历史记录，得出各状态间转移次数得分类统计表格，由此估计状态i转移到状态j的转移概率pij。,期望利润示例,某品牌味精市场销售情况有畅销1、滞销2两状态。转移概率分别为p11=0.6,p12=0.4,p21=0.54,p22=0.46构成转移概率矩阵P；获利情况为r11=30,r12=10,r21=15,r22= -10构成利润矩阵R。预测三期后的期望利润。 解：用Vi(n)表示在i状态下转移n期后的期望利润,可构成各状态转移n期后期望利润列向量V(n),则：,若当前畅销,则三期后期望利润为50.76,当前滞销,则三期后为31.08。,期望利润预测公式,有利润的马氏链: 若状态i转入状态j的概率为pij,记P=(pij),同时产生利润rij, 由rij构成的矩阵R=(rij)称利润矩阵。通常称转移概率矩阵和利润矩阵为带利润的马氏链。 马尔可夫链的转移概率决定状态转移过程中利润值的概率分布。设Vi(k)表示状态i经k步转移后的期望向量,记V=(V1(k), V2(k), Vn(k)T，则,期望利润示例的R程序,P=matrix(c(0.6,0.4,0.54,0.46),ncol=2,byrow=T);P #建概率阵 R=matrix(c(30,10,15,-10),ncol=2,byrow=T);R #建利润矩阵 v11=P1,%*%R1,;v11 # 运算符%*%夹在向量间表示求内积 v12=P2,%*%R2,;v12 V1=rbind(v11,v12);V1 # 计算出一期后的期望利润向量 V1=matrix(diag(P%*%t(R),ncol=1);V1 # 与上3句等效 V2=V1+P%*%V1;V2 # 计算出二期后的期望利润向量 V3=V1+P%*%V2;V3 # 计算出三期后的期望利润向量,期望利润预测步骤,1.进行统计调查：首先查清销路的变化情况，即查清由畅销到滞销或由滞销到畅销，连续畅销或连续滞销的可能性是多少，计算P。其次，统计出由于销路的变化，获得的利润和亏损情况，计算R。 2.建立数学模型。列出预测公式。 3.根据预测公式和统计数据，按预测期长短进行预测。,市场占有率预测,调查目前市场上各产品占有率：S(0) =(S1,S2,Sn) 调查顾客对各相关产品购买的变动：pij=PSi-Sj 建立数学模型： S(k+1)=S(k)P, 其中P=(pij)nn。 进行预测： S(k)= S(0) Pk。 预测长期的市场占有率：根据概率矩阵性质，必有 S=SP，其中S=(s1,s2,sn),且s1+s2+sn =1。即最终有稳定状态的占有率。可通过解方程组(*)求得S。,市场占有率预测示例之二R程序,P=matrix(c(0.6,0.2,0.2,0.1,0.7,0.2,0.1,0.1,0.8),ncol=3,byrow=T);P # 输入转移概率矩阵 S0=c(0.3,0.4,0.3);S0 # 输入初始的市场占有率分布向量 S1=S0%*%P;S1 # 经一期转移后的市场占有率分布向量 S2=S1%*%P;S2 # 经二期转移后的市场占有率分布向量 A=rbind(t(P)-diag(3),rep(1,3);A #上下拼接出A矩阵,diag(3)生成3阶单位阵 b=rbind(t(t(rep(0,3),1);b #上下拼接构造b矩阵 x=solve(t(A)%*%A)%*%t(A)%*%b;x # 求出Ax=b的解x=(AA)-1Ab x=qr.solve(A,b);x #用QR分解来解Ax=b,效果与前面一样 S=t(x);S # S为长期均衡态时的市场占有率向量,市场占有率预测示例之二R程序,人力资源预测,某高校位要预测未来教师队伍的结构比例，将教师状况分为：助教、讲师、副高、正高、流退5类状态，且已知目前状况向量S0=(135,240,115,60,0)，根据历史资料统计分析出各状态的转移概率矩阵P。要求分析三年后的教师结构以及三年内为保持在编人数不变应补充的研究生数。 解：,相关程序,P=matrix(c(0.6,0.4,0,0,0,0,0.6,0.25,0,0.15,0,0,0.55,0.21,0.24,0,0,0,0.8,0.2,0,0,0,0,1),ncol=5,byrow=T);P S0=c(135,240,115,60,0);S0 # 当前状态 sum(S0) #当前编制人数 S1=round(S0%*%P);S1 # 转移到下一年时的状态 S11=S11+S15;S15=0;S1 #下一年补充人员后的状态 S2=round(S1%*%P);S2 #转移到两年后的状态 S21=S21+S25;S25=0;S2 #两年后再完补充人员的状态 S3=round(S2%*%P);S3 #转移到叁年后的状态 S31=S31+S35;S35=0;S3 #叁年后再完补充人员的状态,项目选址决策,某建筑公司的施工队长期分布在甲、乙、丙三地，大型施工设备统一调配，大型设备在三地区的转移概率矩阵为P，应在何处建设备修理厂？ 解： 设设备在甲、乙、丙各地 停留的概率为S=(s1,s2,s3),s1+s2+s3=1 由SP=S求出平衡状态时的概率向量S: (P20,必有平衡态),长期看，设备停留在甲处的可能性最大，故在甲建厂合适。,相关R程序,# 首先建立转移概率矩阵P P=matrix(c(0.8,0.2,0,0.2,0,0.8,0.2,0.2,0.6),ncol=3,byrow=T);P A=rbind(t(P)-diag(3),rep(1,3);A #建立求解平衡状态的方程Ax=b b=rbind(t(t(rep(0,3),1);b x=qr.solve(A,b);x #用QR分解法解线性方程组Ax=b S=t(x);S # 转置Ax=b的解x,即为平衡状态的概率向量S,关于最佳维修策略决策,设备状态分5级: 优(1),良(2),中(3),差(4),坏(5);转移概率阵P; 策略：只在状态5时才修理，费用8000元； 策略：处于状态4、5时修理，状态4费用4000元； 策略：处于状态3、4、5时修，状态3费用3000元； 解：均衡状态下 5种状态的概率：,策略：此时转移概率矩阵将改变为：,策略 ：此时转移概率矩阵将改变为：,相关R程序,P=matrix(c(0,0.6,0.2,0.1,0.1,0,0.3,0.4,0.2,0.1,0,0,0.4,0.4,0.2,0,0,0,0.5,0.5,1,0,0,0,0),ncol=5,byrow=T);P #建立转移概率阵P A=rbind(t(P)-diag(5),rep(1,5);A #建立求解平衡状态的方程Ax=b b=rbind(t(t(rep(0,5),1);b x=qr.solve(A,b);x S=t(x);S;M1=8000*S5;M1 # 策略1的费用 P4,=c(1,rep(0,4);P #修改P的第4行 A=rbind(t(P)-diag(5),rep(1,5);A #建立求解平衡状态的方程Ax=b x=qr.solve(A,b);x S=t(x);S;M2=4000*S4+8000*S5;M2 #策略2的费用 P3,=c(1,rep(0,4);P #修改P的第3行 A=rbind(t(P)-diag(5),rep(1,5);A #建立求解平衡状态的方程Ax=b x=qr.solve(A,b);x S=t(x);S;M3=3000*S3+4000*S4+8000*S5;M3 #策略3,最佳营销策略决策,某地主要由A、B、C叁厂销售劳保鞋，该地区用户数约5万，每年厂家可从每个用户处平均获利200元。A厂调查获得转移概率矩阵P，算出均衡态市场份额S，感到不满意；为此做了甲、乙两个营销方案估计转移概率矩阵将分别变为P甲、P乙，费用分别为C甲、C乙。那种利润增加最多？,以利润作为衡量标准,选择甲方案(留住老客户)更好！,相关R程序,P=matrix(c(0.6,0.2,0.2,0.1,0.5,0.4,0.2,0.3,0.5),ncol=3,byrow=T);P C1=100;C2=150;W=5;p=200 #甲、乙方案费用C,用户数W,每户获利p A=rbind(t(P)-diag(3),rep(1,3);A #建立求解平衡状态的方程Ax=b b=rbind(t(t(rep(0,3),1);b x=qr.solve(A,b);x S=t(x);S;SA=S1 #原方案下,平衡状态的A厂份额SA P1=matrix(c(0.8,0.1,0.1,0.1,0.5,0.4,0.2,0.3,0.5),ncol=3,byrow=T);P1 A=rbind(t(P1)-diag(3),rep(1,3);A #建立求解平衡状态的方程Ax=b