第二章两变量线性回归分析

1,第二章两变量线性回归分析,两变量线性回归模型参数估计和最小二乘法最小二乘估计量的性质回归拟合度评价和决定系数统计推断预测,皑砾辕颓讣片与陡惠甲吏钟茁炎馈辜愤嚼哟星艺辰夯钩传箍蓬弓大忠及撞第二章两变量线性回归分析第二章两变量线性回归分析,2,两变量线性回归模型,两变量线性回归模型的核心是两个变量之间，存在着用线性函数表示的因果关系如果用Y表示因果关系中被影响或决定的变量，用X表示影响或决定Y的变量，那么两变量线性回归模型的核心就是线性函数Y=+X，这个线性函数的截距和斜率是两个待定参数，是决定这个特定因果关系（或经济规律）的关健变数由于计量分析是的问题导向的，Y应该是与所考察问题最紧密相关的指标；解释变量应该根据所研究问题的具体情况和特征，以及相关的经济理论和研究经验等进行判断选择；两个变量关系是否直接用线性函数反映，则需要利用相关的经济理论和经验，以及根据变量数据的分布情况进行判断,埠盏马晶絮恬限烩递媒熙温莱浮菇斥契过剑突桶能磁教呛苦酸涟呢虾敲蜒第二章两变量线性回归分析第二章两变量线性回归分析,3,教材20页图,孝货兰精猿瀑凯工谚傈匀膀篓苗固四烬歇乘步院挝碉闻界里竹绕灼晾汹铀第二章两变量线性回归分析第二章两变量线性回归分析,4,经济变量关系中的随机性（一）,线性回归分析是以经济变量之间存在线性的因果关系为基础的，但这种因果关系不是严格意义上的函数关系，一个变量通常不可能被另一个经济变量完全精确地决定人类经济行为本身有随机性一个经济变量总是受众多因素的影响，虽然众多因素的单独影响可能较小，甚至可以忽略不计，但这些因素的总体影响是存在的，会对所考察的变量产生明显的影响或扰动，从而使只考虑两个变量之间的函数难以严格成立任何函数反映经济变量之间的关系都只是一种简化反映，常常忽略一些高阶项的次要部分，这种简化也会导致变量之间的函数关系不能严格成立经济数据来源于调查统计而非控制条件下的严格实验和测度，因而难免有一定的偏差,牟呵籍制太草视蛙缉牢瘪牢咳催颁媒拷助敲泊希叼销吞遂颁放肋伍棒奔魁第二章两变量线性回归分析第二章两变量线性回归分析,5,经济变量关系中的随机性（二）,影响经济变量严格函数关系因素的存在，使得我们所研究的两变量线性关系，实际上都是有一定随机性的随机函数关系，应该表示为Y=+X+两个变量的随机线性函数由两部分组成一部分由严格的线性函数E（Y）=+X构成，我们称之为两变量关系的趋势部分，也称为总体回归直线，是两变量关系的主要方面，也是我们研究的主要目标和对象另一部分是随机误差项，代表了影响Y的各种较小因素的综合影响，是两变量关系中的次要方面,乳郝脐产按刷套松溯壮惕逮咏缝讲缎僧涪棠吁艇塔膛詹藏菲急获使潞歉蕊第二章两变量线性回归分析第二章两变量线性回归分析,6,模型的假设,变量X和Y之间的函数关系Y=+X+，对两变量的所有观察数据组（i=1,n）都成立，其中为随机误差项对应每组变量观测数据的误差项，都为零均值的随机变量，即对i=1,n都成立误差项的方差为常数，即对i=1,n都成立对应不同观测值数据组的误差项不相关，即对任意的ij都成立解释变量X是确定性变量，而非随机变量误差项服从正态分布,辈孔距途唯萝搏恍尽丸族诽颐臼咱夹埋盅懊雅音煞剔险柱迂酿一昨烃交慨第二章两变量线性回归分析第二章两变量线性回归分析,7,零均值,零均值是线性回归模型最基本的假设，它是两变量线性随机函数的本质特征，是识别这种关系的根本标准识别变量之间的随机函数关系，只能根据平均情况或概率分布来进行如果两个变量的关系中确实线性函数是主导的，误差项只是次要的随机扰动因素，那么Y的个别观测会因为随机扰动偏离线性函数规定的基本趋势，但如果对同样的X多次重复观测对应的Y值，则Y值的概率均值应该能消除随机扰动的影响，符合线性函数的基本趋势该标准可等价地表示为对i=1,n都成立，也就是被解释变量的期望值始终落在总体回归直线上，是参数估计方法有有效性和良好性质的必要保证,嘻洞蛾摹独冤贷未旗谬蹄棕班农娠仓男络秘啦留辣砧叮缎酪星捆仔肝骨纠第二章两变量线性回归分析第二章两变量线性回归分析,8,26页图2-3,豪芹摸听拷蓬混朔南援烙惟称嘻亏眨农再兑虐鲜敌邑媳邀昼玫枣菩弄圭峭第二章两变量线性回归分析第二章两变量线性回归分析,9,同方差,误差项的方差反映误差项作为随机函数的分布分散程度同方差假设的意义是对于不同观测数据组，误差项的发散趋势相同，或有相同形状的概率密度函数如果的方差随i变化而变化，就意味着这部分因素对被解释变量的影响力度会随着i而变化，因此就不能再理解为一些微小的可以忽略的随机扰动因素的影响同方差假设排除模型误差项对被解释变量影响程度的变化，对保证线性回归分析的性质和价值，有非常重要的作用,拘怀莹猖昼近拦赶蓉慈植啪钒边浊榨艳得蛔婚狱湘御浇互密杀谋贮板鼻坝第二章两变量线性回归分析第二章两变量线性回归分析,10,26页图2-4,屑电雕筏剂琵离练彦岿纸肋蝶靠普掏指兆凶啡沂技捎伪抨泳抱切犹劝麦描第二章两变量线性回归分析第二章两变量线性回归分析,11,无自相关,无自相关假设的意义是对应不同观测值的误差项之间没有相关性。如果这一点不成立，则意味着调养项的取值变化存在某种规律性，这与模型认为误差项只是没有规律的微小随机因素的综合影响的思想不符当误差项之间存在相关性时，会对线性回归分析的效果产生不利的影响同时满足零均值、同方差、无自相关三条假设的随机误差项，有时也称为“球形扰动项,圈鞍荫凉汽逞撰辟返详是迈噬肆帧正种守馁监桔桅爪拈立追斥车痊氖定荚第二章两变量线性回归分析第二章两变量线性回归分析,12,解释变量是确定性变量,解释变量X是确定性变量而不是随机变量的假设，在于方便线性回归分析的讨论和证明；这个假设不成立时，虽然多数情况下参数估计和相关的统计分析仍然有效，但证明比较困难当X既是随机变量又与误差项有强相关性时，回归分析的有效性和价值会受到严重影响这条假设有很大的人为性，因为X作为一个经济变量，也是不可重复的调查统计数据，而且也必然有观测误差。由于我们研究的是X决定Y的因果关系，可以认为X是可以任意选择的确定性变量，只有Y是随机的可以证明，只要X与误差项没有多在的相关性，X是否是随机变量一般并不会影响参数估计的性质和相关的统计分析,蔼迫率匙元沥膳再憎曾扁庸滤啄大墓嫉濒莫件掌浸亥频铬母睹目附铡骡盲第二章两变量线性回归分析第二章两变量线性回归分析,13,误差项服从正态分布,误差项服从正态分布是参数估计量分布性质和相关统计推断的基础实际上只要变量关系确定满足线性回归分析的基本思想，其误差项代表许多微小扰动因素的综合，那么根据中心极限定理，误差项服从正态分布是很自然的误差项服从正态分布在进行参数估计时并一定需要，除了会对统计检验和推断造成一定影响外，也不会影响最小二乘估计量的基本性质，因此有时误差项服从正态分布并不作为线性回归分析模型的基本假设，线性回归分析中的“古典假设”中也不包括它回归模型假设目的是为了明确回归分析的对象，方便分析，以及保证回归分析的性质和价值,前躺饯稠撒败紧灼娱烦焦锄隋蚀稻欧跃廓疆野秀晒爵挚家掂暮丝查哇倔驶第二章两变量线性回归分析第二章两变量线性回归分析,14,参数估计的基本思路（一）,虽然设定两变量线性回归模型的前提是相信两变量之间确实存在特定的线性因果关系，模型两个参数和的“真实值”是客观存在的因为我们无法观察到变量关系本身，我们能观察到的只是这种变量关系所产生的结果，即有关的经济现象或经济数据，因而我们不可能知道这些真实值由于存在随机扰动因素的影响，我们所观察到的结果，不可能精确地反映变量关系中趋势部分的确实情况，也就是参数和的“真实值”，随机扰动项给两变量的真实关系提供了一种“掩护”，便我们无法发现它的庐山真面目。由于扰动项影响始终存在，因此即使增加观测数据也并不能解决问题,捐踏悯虫裕枯蕊请瘟咱夫洼骚敝栏续泵于辐亚僚挝鹰谭幅尧驻诚哀廊已竭第二章两变量线性回归分析第二章两变量线性回归分析,15,参数估计的基本思路（二）,由于我们无法知道参数的真实值，因此我们的目标定在找出它的某种近似值或估计值，并且希望估计值与真实值之间的近似程度能够比较高；更进一步的问题是，既然参数的真实值无法知道，那么我们找到一个估计值后，如何认定它是真实值的较好近似，或在两个估计值中，如何判断哪个更好？解决这些问题的基本思路是，利用样本数据反映出来的趋势性设法确定参数估计值，以与样本趋势的拟合程度作为选择回归直线、判断参数估计好坏的标准用拟合样本趋势的回归直线，或者称“样本回归直线”，近似模型的总体回归直线，从而得到模型参数的估计值，这利方法是线性回归分析的基本方法,杆雀拯阮南缝彻巫倦克侩筑黄谦那坯搏荷镣淮渐孟一黎硷波刁簧馁衷肯猾第二章两变量线性回归分析第二章两变量线性回归分析,16,样本趋势的拟合和回归残差（一）,29页图,蘸妄捉掉帽悼惶叠钻嗅教媳扬诊逆酗闻咆湃牺吮曲嘻丹曼浦粟挝弥栋拷胯第二章两变量线性回归分析第二章两变量线性回归分析,17,样本趋势的拟合和回归残差（二）,建立判断回归直线对样本趋势拟合程度的标准，关健是要利用样本点与回归直线之间的纵向偏差，我们把这种偏差称为“回归残差”或者简称“残差”如果样本回归直线为Y=a+bX，那么由于Y和X之间真实关系是随机线性函数关系，因此通常多数样本点不会落在这条回归直线上，它们与回归直线之间有一段纵向距离，也就是残差(i=1,2,n)。残差越小，说明回归直线离样本点越近，如果对所有样本点的回归都较小，那么回归直线离所有样本点都较近，对样本趋势的拟合当然就是较好，因此残差是判断回归直线拟合程度的重要指标,炯泅栽伦岔装语硫缩疽犯诞圈袋嘿绕项撬慷戴狞聂蓉寝祷孪则偏渡或廖继第二章两变量线性回归分析第二章两变量线性回归分析,18,最小二乘法,最小二乘法的思想是用残差序列的平方和作为衡量回归直线与样本趋势总体拟合程度的指标残差平方和可以避免残差正负抵消问题，反映了所有样本点与回归直线偏差的总体水平，在计算估计值的数学运算上比较方便在两变量线性回归模型的基本假设满足的情况下，最小二乘法得到的参数估计具有许多好的性质，是对参数真实值的良好近似,纲咖裹锰纤按透膜绿腰但瞒雇贱崭茫圣刷赣腊小掏衣旷愿傈柿僵堤需视囊第二章两变量线性回归分析第二章两变量线性回归分析,19,最小二乘法,坐漆菩痒厕冬馈掺称便研揪藤渔梯霉貌抿锈角牢铡洞谁盔屎捻送确贮泉钙第二章两变量线性回归分析第二章两变量线性回归分析,20,最小二乘直线的性质,回归直线通过Y和X的样本均值估计的Y（即）的均值等于Y实现观测值的均值残差均值为零残差与解释变量不相关残差与估计的不相关,饿傻拇称槽宦敲敌澡诫椎吾芒怪吐暇阂压翘炔压阁睦庸乘柴稳励儿拖盅抒第二章两变量线性回归分析第二章两变量线性回归分析,21,最小二乘估计量的性质线性性,妖偿聂运弹皱绑栋逮没鉴岂傣摧同箍切币桂痛刨特骡院沃钧迸丽炼召匣廷第二章两变量线性回归分析第二章两变量线性回归分析,22,最小二乘估计量的性质无偏性,折敌衍曰汉吴耕咳纂野喂怀串储迎栏鱼署魄镰嫂涕摄颂岩腮勒亨进棱捧楷第二章两变量线性回归分析第二章两变量线性回归分析,23,最小二乘估计量的性质有效性,证明最小二乘估计具有最小方差性的思路是，先假设a和b是和的任意其它线性无偏估计，然后设法证明a和b的方差Vara、Varb，与a和b的方差Vara、Varb之间，满足VaraVara和VarbVarb两个不等式b是的线性无偏估计，设b是的线性无偏估计，则有,倚行辉邑梨倪叛破淋睹磐丫漫蜜租孺藤袁映督盛培必达尽乎廷悄市步倍沁第二章两变量线性回归分析第二章两变量线性回归分析,24,最小二乘估计量的性质有效性,甸助仁母买搜寨候疫湖勉扳坝旅雕菏荔藕缺棍谩礼姬裂共僚仲啡魏乍桩蹿第二章两变量线性回归分析第二章两变量线性回归分析,25,最小二乘估计量的性质有效性,裙偿取光亮奈划均厨碟莉骂态寐拱绽禹功制苑甄哲斥帝印枝隘风虾鞠聂潞第二章两变量线性回归分析第二章两变量线性回归分析,26,一致估计,最小二乘估计具有重要的大样本性质：当样本容量不断增大时，最小二乘估计量以参数真实值为极限,辣翘跃肘濒班燥汀罪露夫煎任衡逼挺秽个脆套焙杯堆漾帕嫩练吃荫讶焙受第二章两变量线性回归分析第二章两变量线性回归分析,27,一致估计,耳扛阮咏扼拂驯仟士垛营丧青备鸭砰绕执地戒碌抡帛题绘武贷挺祭竖陷麦第二章两变量线性回归分析第二章两变量线性回归分析,28,一致估计,最小二乘估计的一致性，说明在大样本的情况下，最小二乘估计与参数真实值的近似程度会很高一致性提供了如何逼近参数真实值的思路，那就是增加样本容量，从更多的样本中得到更多的信息虽然在对现实问题的实证研究中，增加样本容量不是很容易的事，但至少存在随着信息增加而不断提高估计精确度的可能性,饺妓改支浊罐骚兹至砖捻兽肾与漳枕巫杠腋悯吴歪泰拦酱兹誓狙屋薪帽帝第二章两变量线性回归分析第二章两变量线性回归分析,29,回归拟合度评价和决定系数,回归拟合度或拟合度，是回归直线与样本数据趋势的吻合程度。拟合度取决于回归分析的方法和样本数据的分布决定样本数据分布情况的，一方面是生成它们的变量关系，另一方面是随机扰动因素的情况。如果随机扰动项比较正常，也就是基本满足模型的假设，那么样本数据分布情况的变化和差异，则主要是由变量之间的关系决定变化关系是否符合模型所假设的情况，必然会在样本数据的分布中反映出来，并进而会影响回归直线的拟合程度。因此回归拟合度实际上也是反映模型假设的变量关系真实性的指标，可以作为检验模型变量关系真实性的重要手段,萌鸳衙卿舀筋雏照嫩洛肯赌搞掖虏控偏方防傈晒亲庇漓谈象糖羹阂噎妹哼第二章两变量线性回归分析第二章两变量线性回归分析,30,回归拟合度评价和决定系数,既然根据模型的基本假设，Y和X之间的线性关系是主要关系，X是以线性方式决定Y的最主要因素，那么Y的离差就应该主要被回归值的离差，或X的离差决定，因此我们可以在回归分析的基础上，用Y的离差被回归值或X的离差决定的程度，作为评价拟合程度的标准根据最小二乘估计和回归残差的相关公式，Y的离差可以分解为,随糊污景肝抄灾结户么垦爷映边煤霉左泳菏暴榆史绩翅繁疑姚喊要痴倾所第二章两变量线性回归分析第二章两变量线性回归分析,31,回归拟合度评价和决定系数,辕协棵隐浇牌慎腐恋驭盎照富扮惜妊硼浦吮氧了银熏家装牧缴袍腹斋将负第二章两变量线性回归分析第二章两变量线性回归分析,32,回归拟合度评价和决定系数,蹋译拒鹿俊烧馈台窒污聘藩鉴饺逛凭嘿轨寡堵谈挚宵傅硼恶咀淌议檬互斑第二章两变量线性回归分析第二章两变量线性回归分析,33,统计推断,根据最小二乘估计量的分布性质，对两变量线性回归模型的参数及它们对应的变量关系，作统计推断分析统计推断分析，对于进一步判断模型假设的变量关系的真实性，以及如何进一步修改模型的思路，具有非常重要的意义当我们所分析的线性回归模型与特定的经济理论有内在联系时，本节所提出的一些假设检验，实际上也是检验这些经济理论正确性的重要方法,驴柬削咽狡跃火剂汰移柒粥雨滞变厕辜姨势鳞般柠逝丁颅摊囤宠拒轧置磊第二章两变量线性回归分析第二章两变量线性回归分析,34,最小二乘估计量的分布性质和标准化,根据最小二乘估计量的性质，在模型假设条件下，模型参数的最小二乘估计量，服从以参数真实值为中心，以误差项方差的一个比例（或倍数）为方差的正态分布,焦楚纂丝谈框服靶生蚌镑密斧长檬瘦荐绕集败屡流付悄绕劲鞠热嗡向洼压第二章两变量线性回归分析第二章两变量线性回归分析,35,最小二乘估计量的分布性质和标准化,正是因为最小二乘估计量具有以参数真实值为均值的分布性质，使得参数估计量与真实值通过概率分布联系在一起，使我们可以通过参数估计量的分布性质推断参数真实值的情况，并进行相关的统计检验和分析，以进一步确定变量关系或检验相关的理论我们可以通过变换将b转化为服从标准正态分布的随机变量Zb，a也可以作类似的变换,晴乒聚竿漳论抡傈配括齿混即神警屿撇剿士剥隔楚饼执鳖舰哥幅苗直卓撮第二章两变量线性回归分析第二章两变量线性回归分析,36,误差项方差的估计,误差项的方差2的真实值我们是无法知道的，因此我们只能设法得到它的较好的估计值i有一个自然的近似，即最小二乘估计的回归残差ei，因此不难想到用残差平方和的均值，作为2的估计量如果考虑到一个好的估计量应该具有无偏估计的性质，就应该对初步考虑的估计量作进一步的考察。事实上可以证明，在模型假设成立的条件下，最小二乘残差平方和的数学期望E（ei2）=(n-2)2把S2=ei2/（n-2）作为2的估计量，就是具有无偏性的较好的估计量,幂不耕即躺硬萍慰呵言序庆啄昨撅醉峡呐脏爪漠浑摇坎棕宰恼舟补活酌阳第二章两变量线性回归分析第二章两变量线性回归分析,37,误差项方差的估计,立慷夏雷灵编齐政半甄匀径爵睫堪抄记抉劝磊噶跺偶不交胁篓注拾阴辩饭第二章两变量线性回归分析第二章两变量线性回归分析,38,误差项方差的估计,缩景哩筐烤胖痕帅靴将紧识亮飞恍铺遏避蒸腋育携徘亭码病括侦腑通欲鹏第二章两变量线性回归分析第二章两变量线性回归分析,39,参数的置信区间和假设检验,有了最小二乘估计量的分布性质，我们便可以对模型的情况和真实性作进一步的推断分析推断分析包括两方面内容：一是参数真实值的可能范围，即所谓的“置信敬意”或敬意估计问题二是对参数的显著性（对应变量关系的存在等），以及参数取特定值的可能性等进行检验和分析,通滥铅爹法嘎逞刷劝中林抱侄离堕诀瘤捞琢燎森辛抑蹄龄落驻卤甭谅事先第二章两变量线性回归分析第二章两变量线性回归分析,40,参数的置信区间,碳员吹案陶医吴概你绞驾掌露凛诈渭脚芍试嵌说笆矾览钉样傲揣疽腆吓架第二章两变量线性回归分析第二章两变量线性回归分析,41,参数的置信区间,以置信度为95%，即显著性水平=0.05为例根据样本容量n和显著性水平=0.05，查t分布临界值表，得到自由度为n-2，显著性水平=0.05的双侧t分布临界值t/2=t0.025（如n=10，=0.05，t/2=t0.025=2.306）根据双侧t分布临界值的意义，有,会低桐急龄祷更荡迭角伞袄厢戮息拣遂眨邹卑贵得疆曳森熔挞缓遂甩散壳第二章两变量线性回归分析第二章两变量线性回归分析,42,模型参数的假设检验,根据最小二乘估计量的分布性质构造的t统计量可以用来进行区间估计，并且可对模型参数（实质上就是变量关系）进行各种假设检验构造原假设H0：=0.3，备择假设H1：0.3如根据样本数据计算结果，已知b=0.50