版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第一讲普通最小二乘法的代数
一、问题
假定y与x具有近似的线性关系:y=/3o+B\X+£,
其中£是随机误差项。我们对万°、片这两个参数的值一
无所知。我们的任务是利用样本数据去猜测片、注的
取值。现在,我们手中就有一个样本容量为N的样本,
其观测值是:(%,%),(%,%2),“”(yN,%N)。问题是,如
何利用该样本来猜测£°、4的取值?
为了回答上述问题,我们可以首先画出这些观察
值的散点图(横轴X,纵轴y)。既然y与X具有近似
的线性关系,那么我们就在图中拟合一条直线:
,=氐+6光。该直线是对y与x的真实关系的近似,
而反,6分别是对片的猜测(估计)。问题是,如何
确定A与孩,以使我们的猜测看起来是合理的呢?
笔记:
1、为什么要假定y与x的关系是y=/?()+/?1%+£呢?一种合
理的解释是,某一经济学理论认*x与y具有线性的因果关系。
该理论在讨论x与y的关系时认为影响y的其他因素是不重要
的,这些因素对y的影响即为模型中的误差项。
2、y=4+/?]X+£被称为总体回归模型。由该模型有:
E(y|x)=&+&x+E(e[%)。既然2代表其他不重要因素对y
的影响,因此标准假定是:E(^|x)=0o故进而有:
E(Mx)=4+gx,这被称为总体回归方程(函数),而
人/X
9=凤+力工相应地被称为样本回归方程。由样本回归方程确定
的夕与y是有差异的,y-$被称为残差£。进而有:
y=B\X+£,这被称为样本回归模型。
二、两种思考方法
法一:
(y,%yNS与(%,%,…,一)'是N维空间的两
点,尺与幺的选择应该是这两点的距离最短。这可以
归结为求解一个数学问题:
NN
—%)2=M〃£(K—A)—£王『
i=\A)/i=l
由于%-力是残差段的定义,因此上述获得A,与6的方
法即是A与区的值应该使残差平方和最小。
法二:
给定飞,看起来必与少越近越好(最近距离是0)。
然而,当你选择拟合直线使得外与力是相当近的时候,
X与少的距离也许变远了,因此存在一个权衡。一种
简单的权衡方式是,给定工[,工2,“,乐,拟合直线的选择
应该使X与必、>2与%、…、%与村的距离的平均值
是最小的。距离是一个绝对值,数学处理较为麻烦,
因此,我们把第二种思考方法转化求解数学问题:
NN
—力)2/N=—A—黑了/N
Pd>P\/=]PQ>P\/=|
由于N为常数,因此法一与法二对于求解A与R的值
是无差异的。
三、求解
N
定义。=£(y-A-/内儿利用一阶条件,有:
i=\
oO人人
号=X2(y—4―4王)(一1)=0
明0
n储-8吊)=。⑴
Xg=。
由(1)也有:
»=£)+而
1N1N
在这里产犷小、钎滔X,
笔记:
八/\
这表明:1、样本回归函数$=&+广]%过点(无,歹),即穿过
数据集的中心位置;2、$=9(你能证明吗?),这意味着,尽
人人A人
管Bo、B、的取值不能保证x-=yi9但0()、P\的取值能够保证y
方程(1)与(2)被称为正规方程,把£)=歹-£天带
入(2),有:
工[丫-歹-6(七-无)]七=。
A=E(2IZ22^
1
2(七-君王
上述获得尺、£的方法就是普通最小二乘法(OLS)。
练习:
(1)验证:
A=2,一刃芯_£,一。)("一君二Z》一君y
12
匕2(七一制22L(XZ.-X)
二Z'y一福.歹
一»w
_N
提示:丸义Z.的盖看为z.=Z.—Z、则离差之和S'z.=0必为
iII’i
i=\
缪。利用这个简单的代数性质,不难得到:
Z(y一刃(%,-君=Z(y一切不
Z(X-9)(七一亍)=X必(七一H)
笔记:
定义y与x的样本协方差、x的样本方差分别为:
Cov(x,y)=2(七一初y-歹)/N
V。厂(x)=Z(七一无y/N'
则6小包32。
Var(x)
上述定义的样本协方差及其样本方差分别是对总体协方差5及
其总体方差2的有偏估计。相应的无偏估计是:
b人
%=Z(x,—H)(y—F)/(NT)
d=Z(i)2/(NT)
基于前述对VZz«x)与Cov(x,y)的定义,可以验证:
Var(ci+bx)=b2Var(x)
Cov{a+bx,y)=hCov(x,y)
其中a,b是常数。值得指出的是,在本讲义中,在没有引起混
淆的情况下,我们有时也用Var(x)>Cou(x,y)来表示总体方
差与协方差,不过上述公式同样成立。
(2)假定y=4x+£,用OLS法拟合一个过原点的克
线:§=Bx,求证在OLS法下有:
xy.
E___/—/
并验证:
笔记:
1、现在只有一个正规方程,该正规方程同样表明
工£丙二0。然而,由于模型无截距,因此在0LS法下我们不
能保证Zg=0恒成立。所以,尽管Z&Xj=0成立,但现在
该式并不急味着Cov(£,x)=0成立。
2、无截距回归公式的一个应用:
丫二4+4%+弓
u>n(y-9)=4(%一君+(弓一3)
y=^+^x+e
定义与二y一歹、Dj=七一无、弓二与一M,则耳二BPito
按照OLS无截距回归公式,有:
自=£E,=Z(K—田(乙—君
百一Ai
(3)假定了=4+£,用OLS法拟合一水平直线,即:
§=B,求证/二9。
笔记:
证明上式有两种思路,一种思路是求解一个最优化问题,我
们所获得的一个正规方程同样是Z&=。;另外一种思路是,
模型y=〃+£是模型y=〃X+£的特例,利用Z&%=。的
结论,注意到此时七=1,因此同样有=o。
(4)对模型〉二尸0+广科+£进01^估计,证明残差与
亍样本不相关,即COu(£J)=0。
四、拟合程度的判断
(一)方差分解及其R2的定义
可以证明,Var(y)=Var(y)+Var(e)。
证明:
)=/+£=>Var{y}=Var{y}+Var(e)+2cou(£,£)
vCov(y^)=Cov(B()+B、X,£)=£Cou(x,C)=0
:.Var(y)=Var(y)+Vkzr(^)
方差表示一个变量波动的信息。方差分解亦是信息分
解。建立样本回归函数f=时,从直觉上看,
我们当然希望关于勺的波动信息能够最大程度地体现
关于y的波动信息。因此,我们定义判定系数
心=肛应,显然,0</?2<lo如果R2大,则y的波
Var(y)
动信息就越能够被勺的波动信息所体现。R2也被称为
拟合优度。当R2=l时,Var(£)=0,而残差均值又为
零,因此着各残差必都为零,故样本回归直线与样本
数据完全拟合。
(二)总平方和、解释平方和与残差平方和
定义:
TSS=E(X7¥
ESS=Z»")2=X(t-W
RSS=£②金)2=*;
其中TSS、ESS、RSS分别被称为总平方和、解释平
方和与残差平方和。根据方差分解,必有:
TSS=ESS+RSS。因止匕,R2=ESS/TSS=1-RSS/TSS
(三)关于R2的基本结论
1、R2也是y与5;的样本相关系数r的平方。
证明:
>=$+£=>Cov(y,9)=Wzr(j)+Cou(£,y)=Var(y)
=/==匹«9)=*
rVar(y^ar{y}Var(y)
2、对于简单线性回归模型:y=&+&x+£,R2是y
与X的样本相关系数的平方。
证明:
R2=CW(yj)=Cov2(y,8q+B\X)=斤CW(y,%)
Var(y)Var(y)y)+£x)^Var(y)Var(x)
=[。丝]2=f2
JVar(y)W"(x)•”
练习:
(1)对于模型:>=/?+£,证明在OLS法下R2=0。
(2)对于模型:y=£()+£/+£,证明在OLS法
R2”:Var(x)
Var(y)
警告!
软件包通常是利用公式穴2=1—RSS/TSS,其中
RSS=Z居来计算R?。应该注意到,我们在得到结论
Z(y-歹了=-y)2+时利用了》=o的性
质,而该性质只有在拟合直线带有截距时才成立,因
此,如果拟合直线无截距,则上述结论并不一定成立,
因此,此时我们不能保证R2为一非负值。总而言之,
在利用R?时,我们的模型一定要带有截距。当然,还
有一个大前提,即我们所采用的估计方法是OLS。
五、自由度与调整的R?
如果在模型中增加解释变量,那么总的平方和不
变,但残差平方和至少不会增加,一般是减少的。为
什么呢?举一个例子。假如我们用OLS法得到的模型
估计结果是:a=A+6xj+A%2,,此时,OLS法估
计等价于求解最小化问题:
N人人人
盛4E(y「储一8网一8.2了
DQFI,%j=\
令最后所获得的目标函数值(也就是残差平方和)
为RSS1。现在考虑对该优化问题施加约束:A=0并
求解,则得到目标函数值RSS2。
比较上述两种情况,相对于RSS1,RSS2是局部
最小。因此,RSS1小于或等于RSS2。应该注意到,
原优化问题施加约束后对应于模型估计结果:
%=6+编
因此,如果单纯依据R2标准,我们应该增加解释
变量以使模型拟合得更好。增加解释变量将增加待估
计的参数,在样本容量有限的情况下,这并不一定是
明智之举。这涉及到自由度问题。
什么叫自由度?假设变量x可以自由地取N个值
(王,孙…,%N),那么x的自由度就是N。然而,如果施
加一个约束,、>,=,,。为常数,那么X的自由度就
减少了,新的自由度就是N-1。
考虑在样本回归直线力=A+及J+瓦%下残差
£的自由度问题。对残差有多少约束?根据正规方程
(1)(2),有:因此存在两个约
束。故残差的自由度是N-2。如果当样本回归函数是:
0=BO+B\X'B/,则残差的自由度为N-3。显然,待
估计的参数越多,则残差的自由度越小。
自由度过少会带来什么问题?简单来说,自由度
过少会使估计精度很低。例如,我们从总体中随机抽
取石,工2,…,来计算元以作总体均值的估计,现在X的
自由度是N,显然N越大则以亍作为总体均值的估计
越精确。
根据正规方程,我们是通过残差来获得对参数的
估计,因此,残差自由度过少意味着我们对参数的估
计也是不精确的。
笔记:
举一个极端的例子,对葡单线性回归模型,假定我们只有两
次观测(,,芯)、(%,无2)。显然,我们可以保证R'n,即完全拟
合。但我们得到的这个拟合直线很可能与y与x的真实关系相去
甚远,毕竟我们只有两次观测。事实上,此时残差的自由度为0!
我们经常需要对估计方法进行自由度调整。例如,
当利用公式V"(x)=Z(%,-元)2/N来估计总体方差
时,我们实际上是对变量(X-君2求样本均值。然而应
该注意到,约束条件Z(x,-君=0恒成立,这意味着
变量(X-君2的自由度是NJ而不是N。现在对估计方
法进行自由度调整,利用君2作为对
总体方差的估计。上述两种估计具有什么不同的后果
呢?可以证明,%«%)是有偏估计而S;是无偏估计。
笔记:
什么叫有偏估计?如果我们无限次重复抽串样本容量为N的
样本,针对每一个样本都可以依据公式
va厂共1jj-y),计算总体方差的一个估计值。然后,
对这些方差的估计值计算平均值,如果该平均值不等于总体方
差,那么我们就称VZzr(x)是对总体方差的一个有偏估计。抽象
一点,E[Var(x)]8^o
IV忽视了自由度调整,这由下面的推导可以看出:
R2=iZ得=11为「(旬
在这里,V"(£)与V〃(y)都是对相应总体方差的有偏
估计。现在我们对自由度作调整,重新定义一个指标,
即所谓的调整的R2(4):
TRSS/(N-2)
F=1
--二一TSS/(N—»
Z(y一丁)
N-l
应该注意到,如果是针对多元线性回归模型,待估
计的斜率参数有k个,另外还有1个截距(即总的待
估计系数参数的个数为k+1个),那么上述公式就是:
-=/SS/(N-I)»上L
TSS/(N—N-k-\
乃且可能为负数。
思考题:
如果用增加解释变量的方法来提高R2,这一定会
提高R2吗?
笔记:
人人/X
假设甲同学的回归结果是y=&+/?丙+四/+£,而乙同
人/X
学的回归结果是),=加+/7优+£'。甲同学足够幸运,他获得
的/?2确实比乙同学所获得的高,但这是否就意味着,依据已有
的样本,甲同学所选取的模型就一定优于乙同学所选取的呢?答
案是“不一定!乙对模型的选取不能仅仅依靠R?这个指标,其
他的因素应该被考虑,例如,模型是否符合经济学理论,估计参
数是否有符合预期的符号,这些因素在模型选择时都十分重要。
另外一点也特别要引起重视,即被解释变量不同的模型(例如一
个模型的被解释变量是logy,而另一个模型其被解释变量是y)
其R2(或者A2)是不可比的。总而言之,初学者要坚决抵制仅
2
仅依靠R来进行模型选择的诱惑!
六、简单线性回归模型的拓展:多元线性回
归模型
考虑£=A+各系数的估计按照OLS
是求解数学问题:
NN
MinZ(X一A一瓦。一瓦%了
A),PI.K2[.]口o凤fh.a
因此,存在三个正规方程:
6司一曲20=工3=o
<E(y「及-仄入-隈21)%=工乱入=。
Z(y-A)--常)4=£通=o
第一个方程意味着残差之和为零,也意味着手=歹及其
歹=尺+/西+以双
笔记:
第一个正规方程Zg=0可以被改写为
=。,%=1。
第二个方程结合第一个正规方程意味着残差与Xi样本
不相关;
第三个方程结合第一个正规方程意味着残差与X2样本
不相关。
根据上述三个方程,可以获得A、反、A,在此
不给出具体公式。
笔记:
对于估计结果夕=4+注%+62七,是不是打的数值大于
A
以就一定意味着在解释变量y时々比玉更加重要呢?答案是
“不一定!”。这是因为,通过对々与占取不同的测量单位,那
么超与玉前面的估计系数值将发生改变。有一种办法可以使估
计系数不随解释变量的测度单位变化而变化,其基本原理如下:
y=/)+4瓯•+尸22+弓]
9=A+6x+A元2I
/\A
=X一—=4(瓯一%)+42(%2,—豆)+£
n"立=加名)也』+神里)玉二上+工片
SyS),5VISy先Sy
在这里S表示变量的样本标准差。定义:
/\AS/\AS
b\=B,3比=仇上
sysy
则有:z=b[Zx、+h2zx.+£1。
-vVj1i\?xi2
在新模型中,解释变量是原变量的标准化,它是无量纲的。
人
保持其他因素不变,当Az=1时,Az。注急到
xli>i=h1
Az=A(―——),当样本容量很大时石与s分别和总体均值
x\ic1x\
xl
"一及其总体标准差3.近似,因此Az-xo类似,
X[X]A|j11/sX]
A
、急味着「因此对右的一个
AzAy../5oAz=1AX|;ps1
>i/J],>v\AtI/KAI
翻译是,保持其他因素不变,当王变化一个标准差时,y约将变
人人
化4个标准差。类似可以对A进行翻译。
八
/?被称为标准化系数或者月系数。在实践中,我们可以先利
用标准化变量进行无截距回归得到标准化系数,然后反推出非标
准化变量回归模型中的各个斜率系数的估计值。
七、OLS的矩阵代数
(一)矩阵表示
总体多元回归模型是:
%=4+自为j+分24j+…+4%+弓”=L…,N
如果用矩阵来描述,首先定义下列向量与矩阵:
/4
/\
(g、x
X1\\xk\4
S21否2…々2
Y=*,u=*,X=••••,B=…
•*••••
••••4
产N,}X\N…XkNj
\
模型的矩阵表示:
Y=X0+U
(二)如何得到OLS估计量?
求解一个最小化问题:MinQ—XB)S—XB),有:
B
21yBy(丫二x£)]_S[(r二"x,)(y—x£)]
印/\印/X
_d(yyyx/"xy+"xx£)_0
而根据矩阵微分的知识(见下面的笔记),有:
叫丫)=€0(y#)=(yx),=xy
邓邓
d{p'X'Y}=x,Y0("X36)=xx£+(£,xXy=2XX/
邓dp
故,XY=XXB,则£=(xx)-i(xy)
笔记:
1、d(a'b)/db=d(t/a)/db=ad(brAb)/db=2Ab。在这里,
〃同是向量,4M〃是对称矩阵,。为与"4人都是标量。重要规
则是:一个标量关于一个列向量的导数仍是列向量,并且维数保
持不变。
2、矩阵微分规则与标准的微积分学中的微分规则具有一定的
对应性。假定/(x,\,)=必")〃(),),则*门=g(x)/?(),)+M(y)。注
OXOX
意到:=x,xBzBxxy=2xxB,在这里©xx之
明
所以要取转置,是因为按照规则:一个标量关于一个列向量的导
数仍是列向量,而/'XX是一个行向量>
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年文化旅游融合发展报告及市场分析
- 2026年环保产业政策分析报告及绿色金融支持研究
- 2026年物流行业绿色发展策略与市场潜力报告
- 2026年半导体行业服务商升级路径报告
- 2026年文化旅游行业复苏趋势报告及市场分析
- 小学生零花钱调查报告
- 2026年金融科技行业风险管理与合规挑战研究报告
- 2026年房地产行业县域市场消费升级趋势分析报告
- 2026年服装行业产业链上下游合作报告
- 2026年电子信息行业报告:驱动因素、制约要素与关键变量分析
- T/CACM 1557-2023年龄相关性白内障中医诊疗指南
- 身体约束管理制度流程
- 大学英语四级考试2024年12月真题(第一套)Part IV Translation
- 《轴承失效判断及分》课件
- 2025年江苏瀛洲发展集团子公司招聘笔试参考题库含答案解析
- 《磷酸铁产品单位能源 消耗规范》
- 彝族年放假安全教育
- 别墅石材装修施工合同
- 建筑表现生涯发展展示
- 《数据、模型与决策》 课件 3.2 DEA数据包络分析
- NB-T 11477-2023 电站锅炉可靠性评定规范
评论
0/150
提交评论