最小二乘法与似然比估计.doc_第1页
最小二乘法与似然比估计.doc_第2页
最小二乘法与似然比估计.doc_第3页
最小二乘法与似然比估计.doc_第4页
免费预览已结束，剩余1页可下载查看

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

最小二乘法与似然比估计1.方差分析模型与线性回归模型从数学原理上可以统一到一个一般的模型, 即线性模型中去. 所谓线性模型, 是假定: 1) 响应变量(因变量)可以表示为”均值”+”误差”的形式;2) 均值为未知参数的线性函数; 3)误差为零均值的正态分布(方差相同). 当得到n 个独立的观测后, 其数学形式表示如下:y = X+ e (1.1)其中y 和e 为n 维列向量, 分别表示响应变量的观测值和误差; 为k 维参数向量(可能需要满足一定的线性约条件); X为nk维系数矩阵. e 的分量间相互独立, 各服从N(0,s 2 )分布.不难验证简单线性回归模型是线性模型.2.对一般的线性模型, 基本的参数估计方法是最小二乘法. 定义Q() =(y - X)T (y - X)对Q()关于求最小(当有线性约束时在约束下求最小), 就得到的最小二乘估计. 在简单线性回归模型中, 我们直接用最小二乘法得到参数估计. 不难验证,在单因子方差分析模型中的参数估计也是最小二乘估计. 对于约束方程简单的方法是在非约束模型下求的最小二乘估计, 然后转化为约束的最小二乘估计. 如果直接从模型求最小二乘估计, 由于参数有约束条件, 则算法要复杂一些(结果当然是一致的).3.在线性模型中用最小二乘法求参数估计, 就等价于用极大似然法求参数估计.由误差的正态分布假定, 可以得到y 的分布为(XB ,S 2 )似然函数(y 的密度函数)为L() = f (y;) 最大化L() 就等价于最小化(y - X)T (y - X) . 这就证明了最小二乘法与极大似然法的等价性.注：1.在似然估计中，参数为B与S当其中一个进行变动时，另一个可以认为是不变的，（由均值与方差的无关性可知）故而此时，由似然函数的构成可以认定其最大似然函数的B参数估计法与最小二乘法等价2.在最小二乘法中不涉及对S2的估计，之所以涉及S2是为了构造检验统计量便于对参数进行假设检验，而在似然估计中
人人文库> 全部分类> 应用文书 > 技术指导

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论