多元线性回归模型PPT课件.ppt

1,3.2多元线性回归模型,.,回归项-X对Y影响f-确定函数关系,随机误差项-随机因素影响,自变量(回归变量)确定性变量,多元回归模型,因变量Y-随机变量,3.2多元线性回归模型,1,基本概念,2,Matlab回归分析命令,1.回归模型/矩阵表示2.参数估计3.显著性检验4.预测及统计推断5.建模基本步骤,1.多元回归建模命令2.多元回归辅助图形命令,3,多元线性回归实例,3.2多元线性回归模型,1,基本概念,1.回归模型/矩阵表示2.参数估计3.显著性检验4.预测及统计推断5.建模基本步骤,1回归模型/矩阵表示,3.2.1基本概念,-待定常数，回归系数,多元线性回归模型,-设计矩阵,多元线性回归模型的矩阵表示,-不可观测随机误差向量,-回归参数向量,-观测向量,(3.2.3),2.参数估计,（1）回归参数向量的最小二乘估计,注意：,证明,（2）随机误差项方差的估计,残差向量,无偏估计,为无偏估计的证明,（3）估计量的基本性质(不要求）*,3.显著性检验,样本及拟合值,（1）离差平方和分解,证明(了解即可):,正规方程,正规方程第一个,15,（2）可决系数及相关性检验,-可决系数（复相关系数平方）,16,TSS=y*(eye(n)-1/n*ones(n,n)*y;%计算TSSH=x*inv(x*x)*x;%计算对称幂等矩阵HESS=y*(eye(n)-H)*y;%计算ESSRSS=y*(H-1/n*ones(n,n)*y;%计算RSSMSR=RSS/p;%计算MSRMSE=ESS/(n-p-1);%计算MSE,%求可决系数命令,（3）回归方程的显著性检验,构造统计量,假设,检验,判断,%回归方程显著性检验命令F0=(RSS/p)/(ESS/(n-p-1);%求F统计量观测值F0,n样本数,p自变量个数Fa=finv(0.95,p,n-p-1)%F统计量上0.05分位数p0=1-fcdf(F0,p,n-p-1)%求检验P值结果判断F0Fa=F(p,n-p-1),或者p0T/2(n-p-1),或者p,拒绝假设,回归关系显著.,21,21,求回归参数置信区间证明(可不要求）看梅长林数据分析方法,22,4.预测及其统计推断,回归参数置信区间,因变量预测值,因变量置信区间,5.建模基本步骤(1)对问题直观分析，选择因变量与自变量，作因变量与各自变量散点图，初步设定多元线性回归模型参数个数；(2)输入因变量与自变量的观测数据(y,X)调用MATMAB命令b,bint,r,rint,s=regress(Y,X,alpha)计算参数的估计(3)调用残差图命令rcoplot(r,rint)分析数据异常点情况；,(4)作显著性检验，若检验通过，则用模型作预测；(5)对模型进一步研究：如残差的正态性检验、残差异方差检验，残差自相关性检验等.,3.2多元线性回归模型,1,基本概念,2,Matlab回归分析命令,1.回归模型/矩阵表示2.参数估计3.显著性检验4.预测及统计推断5.建模基本步骤,1.多元回归建模命令2.多元回归辅助图形命令,3,多元线性回归实例,1.多元回归建模命令regeress，调用格式有以下三种：（1）b=regress(Y,X)（2）b,bint,r,rint,stats=regress(Y,X)（3）b,bint,r,rint,stats=regress(Y,X,alpha),主要区别在输出项参数多少，第3种方式称为全参数方式.,输入参数：输入量Y表示模型(3.1.1)中因变量观测向量；X是一个n*(p+1)阶矩阵，第一列元素全为数“1”，第j列是自变量Xj的观测向量，对一元回归取p=1，alpha为显著性水平,默认0.05.,b,bint,r,rint,stats=regress(Y,X,alpha),b,bint,r,rint,stats=regress(Y,X,alpha),输出参数：向量b-回归系数估计向量bint-回归系数的(1-alpha)置信区间向量r-残差列向量,rint-模型的n个残差的(1-)的置信区间stats-用于检验回归模型的统计量，4个分量值：R2-可决系数，R是复相关系数F0-F统计量值P0-与统计量F对应概率，P0时拒绝H0，回归模型显著MSE-方差2的无偏估计,例3.2.1某销售公司将库存占用资金情况、广告投入的费用、员工薪酬以及销售额等方面的数据作了汇总,该公司试图根据这些数据找到销售额与其他变量之间的关系，以便进行销售额预测并为工作决策提供参考依据.(1)建立销售额的回归模型；(2)如果未来某月库存资金额为150万元，广告投入预算为45万元，员工薪酬总额为27万元，试根据建立的回归模型预测该月销售额.,表3.7占用资金、广告投入、员工薪酬、销售额（单位：万元）,解：为确定销售额与库存占用资金、广告投入、员工薪酬之间关系，分别作出y与x1,x2,x3散点图，若散点图显示它们之间近似线性关系，可设y与x1,x2,x3关系为三元线性回归模型.,%输入数据并作散点图（图3.18）A=75.230.621.11090.4;77.631.321.4113380.733.922.91242.1;7629.621.41003.279.532.521.51283.2;81.827.921.71012.298.324.821.51098.8;67.723.621826.37433.922.41003.3;15127.724.71554.690.845.523.21199;102.342.624.31483.1115.64023.11407.1;12545.829.11551.3137.851.724.61601.2;175.667.227.52311.7155.26526.52126.7;174.365.426.82256.5;,m,n=size(A);%读取A行数和列数%画3行1列图矩阵，第1张为X1与Y散点图subplot(3,1,1),plot(A(:,1),A(:,4),+),xlabel(x1(库存资金额)ylabel(y(销售额)%第2张为X2与Y散点图subplot(3,1,2),plot(A(:,2),A(:,4),*),xlabel(x2(广告投入)ylabel(y(销售额)%第3张为X3与Y散点图subplot(3,1,3),plot(A(:,3),A(:,4),x),xlabel(x3(员工薪酬)xxylabel(y(销售额),图3.18销售额与库存、广告、薪酬散点图,由图3.18，销售额y与库存资金、广告投入、员工薪酬有线性关系，可建立三元线性回归模型.,法1调用命令regress建立三元线性回归模型x=ones(m,1),A(:,1),A(:,2),A(:,3);y=A(:,4)b,bint,r,rint,stats=regress(y,x);b,bint,stats,%输出结果,回归参数b=162.0632=07.2739=113.9575=2-4.3996=3,参数0,1,2,3的95%的置信区间bint=-580.3603904.48674.373410.17437.164920.7501-46.779637.9805,stats=0.95748(可决系数R2)105.086652(F观测值F0)0.0000000008(概率p)10077.986789(ESS/(n-p-1)=MSE）,回归模型,pF,或F0的p值为p=00.05，拒绝H0，接受备择假设H1，说明总体回归系数i不全为零，表明模型线性关系在95%的置信水平下显著成立.,F检验：,程序的输出结果列在表3.12,3.13中,表3.13参数估计表,t检验：,给=0.05，表3.13最后一列概率均小于0.05，拒绝H0，接受备择假设H1,即回归系数i(i=0,1,2,3,4)显著不为零,该方程的拟合优度判定系数,调整后的拟合优度判定系数,说明该多元线性回归方程的拟合