统计模型马氏链模型.ppt

1,建立实际回归模型的过程,实际问题设置指标变量解释变量的重要性；不相关性；用相近的变量代替或几个指标复合；个数适当这个过程需反复试算收集整理数据时间序列数据：随机误差项的序列相关，如人们的消费习惯横截面数据：随机误差项的异方差性，如居民收入与消费样本容量的个数应比解释变量个数多缺失值，异常值处理构造理论模型绘制yi与xi的样本散点图，如生产函数、投资函数、需求函数估计模型参数最小二乘,偏最小二乘,主成分回归等,依靠软件.模型检验统计检验和模型经济意义检验,从设置指标变量修改模型运用经济因素分析、经济变量控制、经济决策预测,2,线性回归实例选讲牙膏的销售量,1.问题,建立牙膏销售量与价格、广告投入之间的模型;,预测在不同价格和广告费用下的牙膏销售量.,收集了30个销售周期本公司牙膏销售量、价格、广告费用，及同期其他厂家同类牙膏的平均售价.,3,明确问题-牙膏的销售量,确定关系：牙膏销售量价格、广告投入内部规律复杂数据统计分析常用模型回归模型数学原理软件30个销售周期数据：销售量、价格、广告费用、同类产品均价,4,2.基本模型,y公司牙膏销售量x1其它厂家与本公司价格差x2公司广告费用,解释变量(回归变量,自变量),被解释变量（因变量）,多元回归模型,5,Matlab统计分析,rcoplot(r,rint)残差及其置信区间作图,statisticstoolbox,解释变量：矩阵,显著性水平：0.05,系数估计值,置信区间,残差向量y-xb,置信区间,被解释变量：列,检验统计量：R2,F,p,s2,x=,3.模型求解,由数据y,x1,x2估计,x=ones(size(x1),x1,x2,x2.2;b,bint,r,rint,stats=regress(y,x),程序,6,4.结果分析,故x22项显著,但可将x2保留在模型中,即：,y的90.54%可由模型确定、F远超过F检验的临界值、p远小于=0.05,显著性：整体显著,x2：2置信区间包含零点,但右端点距零点很近x2对因变量y的影响不太显著；,3显著,7,控制价格差x1=0.2元，投入广告费x2=6.5百万元,销售量预测区间为7.8230，8.7636（置信度95%）,上限用作库存管理的目标值,下限用来把握公司的现金流,若估计x3=3.9，设定x4=3.7,(百万支),销售量预测,价差x1=它厂价x3-公司价x4,估计x3，调整x4,控制x1,预测y,得,则可以95%的把握知道销售额在7.83203.729（百万元）以上,8,5.模型改进,x1和x2对y的影响独立,比较：置信区间,R2,9,比较:两模型销售量预测,控制价格差x1=0.2元，投入广告费x2=6.5百万元,(百万支),区间7.8230，8.7636,区间7.8953，8.7592,(百万支),预测区间长度更短,略有增加,10,x2=6.5,x1=0.2,x1,x1,x2,x2,6.比较:两模型与x1,x2的关系,11,讨论：交互作用影响,价格差x1=0.1价格差x1=0.3,广告投入y（x2大于6百万元）,价格差较小时增加的速率更大,x2,价格优势y,价格差较小广告作用大,x1,x2,12,多元二项式回归,命令：rstool（x，y，model,alpha）,13,完全二次多项式模型,MATLAB中有命令rstool直接求解,从输出Export可得,鼠标移动十字线(或下方窗口输入)可改变x1,x2,左边窗口显示预测值及预测区间,Rstool(x,y,model,alpha,xname,yname),14,牙膏的销售量,建立统计回归模型的基本步骤,根据已知数据从常识和经验分析,辅之以作图,决定回归变量及函数形式(先取尽量简单的形式).,用软件(如MATLAB统计工具箱)求解.,对结果作统计分析:R2,F,p,s2是对模型整体评价,回归系数置信区间是否含零点检验其影响的显著性.,模型改进,如增添二次项、交互项等.,对因变量进行预测.,15,非线性回归实例选讲酶促反应,问题,研究酶促反应（酶催化反应）中嘌呤霉素(处理与否)对反应速度与底物（反应物）浓度之间关系的影响.,酶促反应由酶作为催化剂催化进行的化学反应生物体内的化学反应绝大多数属于酶促反应酶促反应中酶作为高效催化剂使得反应以极快的速度（1031017倍）或在一般情况下无法反应的条件下进行酶是生物体内进行各种化学反应最重要的因素,16,建立数学模型，反映该酶促反应的速度与底物浓度以及经嘌呤霉素处理与否之间的关系设计了两个实验酶经过嘌呤霉素处理酶未经嘌呤霉素处理实验数据:,方案,17,分析,酶促反应的基本性质底物浓度较小时，反应速度大致与浓度成正比；底物浓度很大、渐进饱和时，反应速度趋于固定值,数据分析,18,解决方案一：线性化模型,经嘌呤霉素处理后实验数据的估计结果,对1,2非线性,19,线性化模型结果分析,x较大时，y有较大偏差,1/x较小时有很好的线性趋势,1/x较大时出现很大的起落,线性化：参数估计时x较小（1/x很大）的数据控制了回归参数的确定改进：非线性模型,20,beta的置信区间,回归分析：非线性,解释变量：矩阵,模型的函数M文件名,参数估计值,残差,参数初值,被解释变量：列,估计预测误差的Jacobi矩阵,解决方案二：非线性化模型,21,beta,R,J=nlinfit(x,y,model,beta0),%beta的置信区间,MATLAB统计工具箱,functiony=f1(beta,x)y=beta(1)*x./(beta(2)+x);,x=;y=;beta0=195.80270.04841;beta,R,J=nlinfit(x,y,f1,beta0);betaci=nlparci(beta,R,J);beta,betaci,beta0线性化模型估计结果,Matlab程序,22,半速度点(达到最终速度一半时的底物浓度x值)为,o原始数据+拟合结果,非线性模型结果分析,其他输出,命令nlintool给出交互画面,最终反应速度为,给出交互画面拖动画面的十字线，得y的预测值和预测区间画面左下方的Export输出其它统计结果。剩余标准差s=10.9337,23,在同一模型中考虑嘌呤霉素处理的影响,用未经嘌呤霉素处理的模型附加增量的方法。,混合反应模型,x2示性变量：x2=1表示经过处理，x2=0表示未经处理,24,用nlinfit和nlintool命令参数初值：基于对数据的分析,o原始数据+拟合结果,估计结果和预测,剩余标准差s=10.4000,2置信区间包含零点，表明2对因变量y的影响不显著,混合模型求解,25,简化的混合模型,估计结果和预测,简化的混合模型形式简单参数置信区间不含零点,剩余标准差s=10.5851，比一般混合模型略大,26,简化混合模型的预测区间较短，更为实用、有效.,预测区间为预测值,一般混合模型与简化混合模型预测比较.,结果分析,27,酶促反应,评注,注：非线性模型拟合程度的评价无法直接利用线性模型的方法，但R2与s仍然有效。,反应速度与底物浓度的关系,非线性关系,求解线性模型,求解非线性模型,嘌呤霉素处理与否对反应速度与底物浓度关系的影响,混合模型,简化模型,28,先用线性模型来简化参数估计，但由于变量的代换已经隐含了误差扰动项的变换，因此，除非变换后的误差项仍具有常数方差，一般情况下我们还需要采用原始数据做非线性回归，而把线性化模型的参数估计结果作为非线性模型参数估计的迭代初值。,29,随机过程是研究随机动态系统演变过程规律性的学科广泛地应用于通信、控制、生物、地质、经济、管理、能源、气象等许多领域,马氏链(MarkovChain)模型：时间、状态均为离散的随机转移过程系统在每个时期所处的状态是随机的从一时期到下时期的状态按一定概率转移下时期状态只取决于本时期状态和转移概率已知现在，将来与过去无关（无后效性）,30,模型一健康与疾病,人的健康状态随着时间的推移会随机地发生转变保险公司要对投保人未来的健康状态作出估计,以制订保险金和理赔金的数额,人的健康状况分为健康和疾病两种状态设对特定年龄段的人今年健康、明年保持健康状态的概率为0.8今年患病、明年转为健康状态的概率为0.7若某人投保时健康,问10年后他仍处于健康状态的概率,问题1,31,在一个离散时间集合T=0,1,2,和一个有限或可列无穷的状态空间S=1,2,上，一个随机过程在任一时刻从一个状态以一定的概率向其他状态转移（或保持原状态不变）。记Xn为时刻n时时刻过程所处的状态，n1,2,，假定：在时刻0,过程所处的状态X0是S上的一个随机变量；在任一时刻n，给定X0，Xn-1，Xn时，Xn1的条件分布只与Xn有关，而与X0，Xn-1无关。满足上述条件的随机过程为马尔可夫链，简称马氏链。,马氏链,32,醉鬼在路中央，向前一步的概率为p,向后退一步的概率为1-p,他的运动是一种随机走动，是一种马尔可夫链。,状态空间S=0,1,2,无限状态马氏链。,33,状态与状态转移,模型,给定a(0)预测a(n),n=1,2,状态：,转移：,转移方程,今年健康、明年保持健康状态的概率为0.8今年患病、明年转为健康状态的概率为0.7,p11=0.8,p12=0.2p21=0.7,p22=0.3,1健康2疾病,34,状态,符号分析,已知,状态概率,转移概率,转移方程,可见：Xn+1只取决于Xn和pij,与Xn-1,无关状态转移具有无后效性,35,n=input(n=)A=zeros(2,n+1);A(1,1)=input(a01=);A(2,1)=1-A(1,1);fori=1:nA(1,i+1)=0.8*A(1,i)+0.7*A(2,i);A(2,i+1)=0.2*A(1,i)+0.3*A(2,i);endA,数值分析,p11=0.8,p12=0.2p21=0.7,p22=0.3,1健康2疾病,36,n时：状态概率趋于稳定值稳定值与初始状态无关,结果,37,状态健康和疾病：Xn=1健康,Xn=2疾病第3种状态：死亡Xn=3已知：p11=0.8,p12=0.18,p13=0.02p21=0.65,p22=0.25,p23=0.1p31=0,p32=0,p33=1若某人投保时健康,问n年后各状态的概率,问题2,38,状态与状态转移,模型,状态：,转移：,转移方程,39,n=input(n=)A=zeros(3,n+1);A(1,1)=input(a01=);A(2,1)=input(a02=);A(3,1)=1-A(1,1)-A(2,1);fori=1:nA(1,i+1)=0.8*A(1,i)+0.65*A(2,i)+0*A(3