第02讲多元线性回归

第2讲多元线性回归,医用多元统计分析方法,主要内容,1多元线性回归模型简介2回归系数的估计3方程的假设检验4决定系数与剩余标准差5偏回归系数的假设检验6指标的量化7回归与t检验、方差分析的关系8标准偏回归系数与自变量的贡献文献导读,医用多元统计分析方法,某地13岁男童身高，体重，肺活量的实测数据(部分),医用多元统计分析方法,问题：,身高、体重与肺活量有无线性关系？用身高和体重预测肺活量有多高的精度？单独用身高、或体重是否也能达到同样效果？身高的贡献大，还是体重的贡献大？,医用多元统计分析方法,1多元线性回归模型简介,多元回归multipleregressionmultiplelinearregression因变量dependentvariableresponsevariable(响应变量)自变量independentvariableexplanatoryvariable(解释变量),医用多元统计分析方法,回归模型,因变量y,自变量为x1,x2,xma为截距(intercept)，又称常数项(constant),表示各自变量均为0时y的估计值bi称为偏回归系数(partialregressioncoefficient)，简称为回归系数称为y的估计值或预测值(predictedvalue),医用多元统计分析方法,例：,根据某地29名13岁男童的身高x1(cm)，体重x2(kg)和肺活量y(L)建立的回归方程为：,当x1=150，x2=32时，=1.9168，表示对所有身高为150cm，体重为32kg的13岁男童，估计平均肺活量为1.9168(L)。,医用多元统计分析方法,2回归系数的估计,最小二乘法(leastsquare,LS)基本思想残差平方和(sumofsquaresforresiduals)最小,医用多元统计分析方法,估计值与残差,医用多元统计分析方法,估计值与残差有下列性质：,医用多元统计分析方法,3Y的总变异分解,未引进回归时的总变异：(sumofsquaresaboutthemeanofY)引进回归以后的变异(剩余):(sumofsquaresaboutregression)回归的贡献，回归平方和：(sumofsquaresduetoregression),医用多元统计分析方法,回归方程的方差分析表,医用多元统计分析方法,例3.1资料回归方程的方差分析,医用多元统计分析方法,4决定系数与剩余标准差,决定系数(determinationcoefficient),医用多元统计分析方法,R2可用于检验多元回归方程的显著性：,H0：2=0；H1：20。检验统计量为：,医用多元统计分析方法,复相关系数的性质,0R1。当只有一个因变量y与一个自变量x时，R就等于y与x的简单相关系数之绝对值：R=|ryx|当有多个自变量x1,x2,xm时，R的值比任何一个自变量与因变量的简单相关系数之绝对值大，即：,医用多元统计分析方法,剩余标准差,剩余标准差,医用多元统计分析方法,剩余标准差的用途,剩余标准差可用于偏回归系数的假设检验y的容许区间估计y的可信区间估计自变量的选择等因此，剩余标准差在回归分析中是一个非常重要的统计量,医用多元统计分析方法,5偏回归系数的假设检验,H0：i=0；H1：i0。,医用多元统计分析方法,STATA的输出结果,.regyx1x2Source|SSdfMSNumberofobs=29-+-F(2,26)=15.63Model|3.0757339421.53786697ProbF=0.0000Residual|2.5578867526.098380259R-squared=0.5460-+-AdjR-squared=0.5110Total|5.6336206928.201200739RootMSE=.31366-y|Coef.Std.Err.tP|t|95%Conf.Interval-+-x1|.0050165.01057540.470.639-.0167216.0267547x2|.0540611.01598383.380.002.021206.0869162_cons|-.56566431.240127-0.460.652-3.1147821.983454-,医用多元统计分析方法,6标准偏回归系数与自变量的贡献,医用多元统计分析方法,STATA的输出结果,.regyx1x2,betaSource|SSdfMSNumberofobs=29-+-F(2,26)=15.63Model|3.0757339421.53786697ProbF=0.0000Residual|2.5578867526.098380259R-squared=0.5460-+-AdjR-squared=0.5110Total|5.6336206928.201200739RootMSE=.31366-y|Coef.Std.Err.tP|t|Beta-+-x1|.0050165.01057540.470.639.0935215x2|.0540611.01598383.380.002.6668242_cons|-.56566431.240127-0.460.652.-,医用多元统计分析方法,一元回归分析的结果,.regyx1-y|Coef.Std.Err.tP|t|95%Conf.Interval-+-x1|.0315609.00834713.780.001.0144341.0486878_cons|-2.6085411.275414-2.050.051-5.225474.008393-.regyx2-y|Coef.Std.Err.tP|t|95%Conf.Interval-+-x2|.0596878.01055875.650.000.0380232.0813524_cons|-.0091673.3961987-0.020.982-.8221.8037653-为什么单变量分析时都有统计学意义，而同时放入方程则一个有统计学意义，另一个无统计学意义？,医用多元统计分析方法,自变量的作用,X1YX2,医用多元统计分析方法,自变量作用的分解,医用多元统计分析方法,3.8指标的量化,性别,医用多元统计分析方法,例t检验与回归的关系,正常人与矽肺患者血清粘蛋白合理(mg/100mg),医用多元统计分析方法,资料重新整理,ygroup1.64.2602.42.8403.52.4804.48.1905.80.2206.69.6107.18.1908.50.909.74.97110.88.06111.93.47112.95.1113.100.67114.101.14115.113.521,医用多元统计分析方法,t检验结果,.ttesty,by(group)Two-samplettestwithequalvariances-Group|ObsMeanStd.Err.Std.Dev.95%Conf.Interval-+-0|853.336256.66210218.8432737.5828869.089621|795.275714.53563112.0001584.17742106.374-+-combined|1572.9086.87165826.6138258.1697687.64624-+-diff|-41.939468.307497-59.88672-23.99221-Degreesoffreedom:13Ho:mean(0)-mean(1)=diff=0Ha:diff0t=-5.0484t=-5.0484t=-5.0484P|t|=0.0002Pt=0.9999,医用多元统计分析方法,与方差分析结果等价,.anovaygroupNumberofobs=15R-squared=0.6622RootMSE=16.0516AdjR-squared=0.6362Source|PartialSSdfMSFProbF-+-Model|6566.6291816566.6291825.490.0002|group|6566.6291816566.6291825.490.0002|Residual|3349.5038913257.654145-+-Total|9916.1330714708.29522,医用多元统计分析方法,与回归分析结果的比较,.regygroupSource|SSdfMSNumberofobs=15-+-F(1,13)=25.49Model|6566.6291816566.62918ProbF=0.0002Residual|3349.5038913257.654145R-squared=0.6622-+-AdjR-squared=0.6362Total|9916.1330714708.29522RootMSE=16.052-y|Coef.Std.Err.tP|t|95%Conf.Interval-+-group|41.939468.3074975.050.00023.9922159.88672_cons|53.336255.6751019.400.00041.0759465.59656-,医用多元统计分析方法,回归系数与各组均数的关系,医用多元统计分析方法,指标的量化,血型(A，B，AB，O)x1=0,x2=0,x3=0表示O型x1=1,x2=0,x3=0表示A型x1=0,x2=1,x3=0表示B型x1=0,x2=0,x3=1表示AB型哑变量(dummy)又称指示变量(indicatorvariables),医用多元统计分析方法,方差分析与回归分析,血清粘蛋白合理(mg/100mg),医用多元统计分析方法,各组均数,.tabgroup,sum(y)|Summaryofygroup|MeanStd.Dev.Freq.-+-0|53.33625118.8432781|80.05000114.76619882|95.27571312.0001537-+-Total|75.39217423.06960523,医用多元统计分析方法,指标的量化,组别(0，1，2)x1=0,x2=0表示0组(正常人)x1=1,x2=0表示1组(矽肺I期)x1=0,x2=1表示2组(矽肺II期)哑变量(dummy)又称指示变量(indicatorvariables),医用多元统计分析方法,资料整理,血清粘蛋白含量(mg/100mg),医用多元统计分析方法,方差分析的结果,.anovaygNumberofobs=23R-squared=0.5836RootMSE=15.6138AdjR-squared=0.5419Source|PartialSSdfMSFProbF-+-Model|6832.758823416.379414.010.0002|group|6832.758823416.379414.010.0002|Residual|4875.7881520243.789407-+-Total|11708.546922532.206679,医用多元统计分析方法,回归分析的结果,.regyg2g3Source|SSdfMSNumberofobs=23-+-F(2,20)=14.01Model|6832.758823416.3794ProbF=0.0002Residual|4875.7881520243.789407R-squared=0.5836-+-AdjR-squared=0.5419Total|11708.546922532.206679RootMSE=15.614-y|Coef.Std.Err.tP|t|95%Conf.Interval-+-g2|26.713757.8068783.420.00310.4288942.99861g3|41.939468.0808875.190.00025.0830358.7959_cons|53.336255.5202979.660.00041.8211164.85139-,医用多元统计分析方法,系数与均数,医用多元统计分析方法,协方差分析与回归分析,医用多元统计分析方法,资料整理,医用多元统计分析方法,协方差分析,.anovayheightweightgender,cate(gender)Numberofobs=30R-squared=0.9845RootMSE=203.667AdjR-squared=0.9827Source|PartialSSdfMSFProbF-+-Model|68508456.5322836152.2550.530.0000|height|925956.9041925956.90422.320.0001weight|374288.7521374288.7529.020.0058gender|144515.8411144515.8413.480.0733|Residual|1078488.662641480.3332-+-Total|69586945.2292399549.83,医用多元统计分析方法,.regywhgSource|SSdfMSNumberofobs=30-+-F(3,26)=550.53Model|68508456.5322836152.2ProbF=0.0000Residual|1078488.662641480.3332R-squar