（应用数学专业论文）关于污染数据模型参数估计的若干结果.pdf

目录 声明 1 本人郑重声明，本论文的所有研究工作都是在我的导师一柳金甫教授和桂 文豪老师的指导下，由本人独立创作完成，论文中引用已知的结论均已列在参 考文献中未经本人许可，任何擅自更改、抄袭本论文之内容的行为，都将承 担相应的学术和法律责任 目录 关于论文使用授权的说明 本人同意学校有权保留并向国家有关部门送交本论文的复印件，允许论文 被查阅和借阅同意学校及国家有关机构有权公布本论文的全部或部分内容， 并采用影印、缩印或其他复制手段保存论文 论文作者签名：指导教师签名 日期日期 目录 摘要 2 随着信息时代的发展，社会各领域，比如医学、分子学，气象预报学等都 需要处理大量的信息( 数据) ，同时对数据的处理质量也提出了更高的要求和 精度如何从观测得到的污染数据中得到真实的数据，并对真实数据和污染数 据进行甄别，已经成为各行各业需要解决的重要课题基于污染数据处理的应 用广泛性以及应用带来的重大经济和社会效益，污染数据的处理得到了国际数 学界、统计界的高度重视，成为数理统计学中的一个重要分支 本文所傲的主要工作，就是结合统计学中估计理论、线性模型理论，在前 人研究的基础上进一步研究污染数据线性模型的估计理论及其应用弱化误差 分布的苛刻条件，建立适当的参数估计，解决污染系数及回归系数的参数估计 的性质，并提出了新的污染回归模型与此同时，本论文还给出了计算参数估 计所需要的函数程序，大大简化了计算量，使模型更具有实际应用意义 关键词：线性统计模型；污染数据；污染系数；参数估计；线性约束条件 最小二乘估计；广义最小二乘解；m o o r e p e n r o s e 逆；相合性； 目录 a b s t r a c t 3 w i t ht h ed e v e l o p m e n to ft h es o c i e t y , ag r e a td e a lo fi n f o r m a t i o nn e e dt o b et r e a t e d ，a tt h es a m et i m e ，t h ed a t ap r e c i s i o nn e e d st ob eh i g h e ra n dh i g h e r i na l lk i n d so fd o m a i l 2 8s u c ha sm e d i c i n ea n dw e a t h e rf o r e c a s ta n d8 0o n h o w t oa c q u i r et h et r u ed a t af r o mt h ed a t aw h i c hh a v eb e e nc o n t a m i n a t e da n dh o w t od i s c r i m i n a t eb e t w e e nt h e mh a v eb e e nt h ei m p o r t a n tt a s kw h i c hn e e dt ob e s o l v e di na l lk i n d so fd o m a i n s t r e a t m e n to fc o n t a m i n a t i v ed a t ag a i n st h eh i g h r e c o g n i t i o no fm a t h c m a t i t i o n sa n d s t a t i s t i t i o n so ft h ew o r l d w h i c hh a sb e c o m e a ni m p o r t a n tb r a n c ho fs t a t i s t i c s t h em a i nj o bo ft h ep a p e ri ss t u d y i n gt h el i n e a rm o d e le s t i m a t i o nt h e o r y a n dt h ea p p l i c a t i o no ft h ec o a t a m i n a t i v cd a t ao nt h eb a s i so ft h ep r e d e c e s s o r f u r t h e r w e a k e n i n gt h er i g o r o u sc o n d i t i o n so f e r r o rd i s t r i b u t i o n ，s e t t i n gu pt h e a p p r o p r i a t ep a r a m e t e re s t i m a t i o n ，s o l v i n gt h eq u a l i t yo fc o n t a m i n a t i o nc o o l - f i c i e n ta n dr e g r e s s i o nc o e f f i c i e n ta n dg i v i n gt h en e wc o n t a m i n a t i o nr e g r e s s i o n m o d e la r et h ek e yc o n t e n t so ft h ep a p e r a tt h es a m et i m e ，t h ec o m p u t i n g p r o c e d u r eo fp a r a m e t e r e s t i m a t i o ni sg i v e n ，t h u s ，t h ee f f i c i e n c yo fc o m p u t i n gi s e n h a n c e dl a r g e l y k e y w o r d ：l i n e a rs t a t i s t i c a lm o d e l ；c o n t a m i n a t i v ed a t a ；c o n t a m i n a t i o n c o o l - f i c i e n t ；p a r a m e t e re s t i m a t i o n ；l i n e a rc o n s t r a i n e dc o n d i t i o n ；t h el e a s ts q n a r c s e s t i m a t e ；g e n e r a l i z e dl e a s ts q n a r e ss o l u t i o n ；m o o r e - p e n r o s ec o n v e r s i o n ；c o n s i s t e n c y 第一章绪论 1 1 污染数据模型简介 在实际问题中，除了截断数据( c e n s o r e dd a t a ) 之外，我们还经常会遇到另 一类所谓污染数据( c o n t a m i n a t e dd a t a ) 早在1 9 5 2 年，d a v i s 1 就注意到在寿 命实验中，元件寿命分布函数可能为两个分布函数的混合，考虑x t ，尥，五； 为一列非负独立同分布的随机变量，具有分布函数r ( ) f a ( o ) = ( 1 一) f 1 ( z ) 4 - f 2 ( x )( 111 ) 其中，n 0 ，1 ，r 扛) ，r ( z ) 都是定义在半直线r = 0 ，o o ) 上的分布函数，试 验所观察到的元件寿命数据以概率1 一。来自分布f 1 ( 。) ，以概率n 来自f 2 ( z ) ： 通常我们更关心f l ( 。) ，认为数据本应该服从日( 。) ，但却受到了少量来自分 布局( z ) 的数据的污染，我们称a 为污染系数，它衡量了数据受污染的程度， 也是我们所关一5 - 的一个特殊的情况是：f 1 ( 。) 和玛( ) 为具有相同的形式 ( 已知) 但含有不同参数的分布即f l ( z ) = f ( z ，8 1 ) ，f 2 ( 。) = f ( x ：0 2 ) 1 9 6 4 年h u b e r 2 1 考虑了一类”被污染的正态分布族”即( 1 ，11 ) 式中月( z ) 为正 态n ( 0 ，t ) 分布的情况而f 2 ( z ) 是一族关于原点对称的分布 另一类污染数据具有形式 忍= ( 1 一o ) 尉唧4 - n 啦( 1 12 ) 即我们在观察随机变量耐o 时，受到随机变量m 的干扰( 一般我们假定捌o 是独立同分布的，且序列眦与序列x j 0 1 独立) ，使观察数据受到污染我们 希望由观察数据玉来对剐o 的分布及其特征作出统计推断 第一章绪论 5 考虑简单线性模型 y = x 口+ e ( 1 1 3 ) 其中，y 为n 维列向量，x 为n p 已知的回归设计矩阵，卢为p 维列向量， e 为1 2 维列向量，矗相互独立，服从分布n ( o ，一 ) ，卢为待估参数我们讨论由 ( 1 1 2 ) 式决定的污染状态，即我们只能观察到 y 4 = ( 1 一v ) y + v t0 茎us 1 ( 114 ) 其中y 4 为n 维列向量，t 为n 维随机变量，t ，相互独立服从分布n ( o 一) ， 且与随机变量y ，e 独立，u 为污染系数我们的目的是要用观察数据y + 来估 计未知参数v , z 在考虑此模型时，我们要求由于污染而引起的方差要小于系 统部分引起的方差，即 雩 当( 115 ) u 2 i u 我们称由( 11 3 ) ，( 1 14 ) ，( 11 5 ) 组成的模型为第一类污染模型，本论 文就是在此模型基础上，弱化误差分布的苛刻条件，建立适当的参数估计，解 决了污染系数及回归系数的参数估计问题，并提出了新的污染数据回归模型 第一章绪论 1 2 选题背景及依据 6 随着信息时代的发展，社会各领域，比如医学、分子学、气象预报学等都需 要处理大量的信息( 数据) ，同时对数据的处理质量也提出了更高的要求和精 度如何从观测得到的污染数据中得到真实的数据，并对真实数据和污染数据 进行甄别，已经成为各行各业需要解决的重要课题基于污染数据处理的应用 广泛性以及应用带来的重大经济和社会效益，污染数据的处理得到了国际数学 界、统计界的高度重视，成为数理统计学中的一个重要分支通常，严格服从 某一特定分布的观测数据是不存在的，j w tuk e y 提出了一种接近于 实际的分布模式，称为污染分布，可表示为：g = ( 1 一) f + eh ，它包含了 未知的主体分布f 和已知的干扰分布h hub e r 提出了著名的hub e r 分布，进一步说明主体部分服从正态分布，干扰部分服从拉普拉斯分布，分别 对其进行极大似然估计，就可以得到总体分布的极大似然估计近年来，对污 染数据处理的研究获得了一定程度上的发展，但大部分都是基于对分布泛函形 式已知情况下的参数估计本论文拟结合统计学中估计理论、线性模型理论， 在前人基础上进一步研究污染数据线性模型的估计理论及其应用弱化误差分 布的苛刻条件，建立适当的参数估计，解决污染系数及回归系数的参数估计的 性质并提出新的污染回归模型，结合某些领域的具体问题，解决数据污染问 题这些问题不仅具有很高的理论价值，也有着很广泛的应用前景 第一章绪论 1 3 本文研究的主要内容 7 针对第一类污染数据回归模型，目前已经存在的结果有，给出了待估参数 ”，p 的最小二乘估计、j e 参数估计、区间估计、最大似然估计、矩估计等等， 但是这些方法都是在毛，t 。服从简单的正态分布，且相互独立，a ，o ；已知的 情况下给出的结果但屉在实际问题中，这样的条件未必都能满足，这就使得 该模型陷于被动状态，不利于实际应用本论文就是以这里为出发点，在前人 研究的基础上进一步研究污染数据线性模型的估计理论及其应用弱化误差分 布的苛刻条件，建立适当的参数估计，解决污染系数及回归系数的参数估计的 性质，并提出了新的污染回归模型与此同时，本论文还给出了部分模型计算 参数估计时所需要的函数程序，大大筒化了计算量，使模型更具有实际应用意 义 本论文主要是在第一类污染数据回归模型基础上，给出了以下四种模型的 参数估计 r ( i ) 驴即札 i 旷= ( 1 一u ) 十v t 其中，矗相互独立且服从分布( o ，a ) ，t 。相互独立且服从分布n ( o a ；) m ， 竺二。 第一章绪论 ( i i i ) = x 8 + e = ( 1 一v ) y + v t e 口= d 其中，e i 相互独立，i t 9 , 分布n ( o ，口 ) ，t ：相互独立服从分布n ( o ，口；) ( i v ) y = x 8 + 旷= ( 1 一v ) v + v t e 口= d 其中，e ，t 服从正态分布，且c o v ( e ) = 口 g ，c o v ( t ) = 口；g 参数说明： y + 为n x1 观测向量 y 为n 1 未知向量 e = i i f 2 ，“) ，# = 锄，t 2 ，t , i ) ，为随机误差向量，且相互独立 d 为n 1 已知向量 x 为n p 已知矩阵 e 为m p 已知矩阵 g 为误差协方差阵，这里为正定方阵 卢= ( 卢1 ，口2 ，风) 为p 1 未知参数向量 a ，；为常数 。为污染系数 其中，y ，x ，e ，g ，i ，口 ，o - ；为已知，卢，u 为待估参数 8 第二章线性回归模型的参数估计 线 生统计模型是现代统计学中应用最广泛的模型之一而且也是其它统计 模型研究或应用的基础之所以如此，其原因主要是 1 在现实世界中，许多量之间具有线性或近似线性依赖关系 2 在现实世界中，虽然许多量之间的关系是非线性的，但是经过适当的变换， 变换过后的新变量之间具有近似的线性关系 3 线性关系是数学中最基本的关系，因而比较容易处理在数学中已经积累 了处理线性关系的丰富的理论与方法，为实际应用提供了坚实的理论依据和有 效算法 下面我们介绍一下线性模型的定义及其模型的参数估计和性质 2 1 线性回归模型定义 现在我们给出线性模型一般的数学定义从某种意义上说，它能够把各种 形式的线性模型都包罗在内 假设我们对变量y 作n 次观测，得到l ，z ，h ，它们可以表为如下缵陛 组合形式； 1 = x l l 卢l + x 1 2 岛+ + x l p 伟+ e 1 y 2 = x 2 1 岛+ z 2 2 皮+ + x 2 p 尾+ e 2 如= x n l 历+ x n 2 岛+ 十z 伟+ e 。 ( 2 11 ) 9 第二章线性回归模型的参数估计 这里。 j ，i 满足e f e 0 口= 可l 0 2 卢l 岛 n ，j = 1 ，。p 均为已知常数，龟，i = 1 ，n 为随机误差 1 ，n 记c o v ( e _ _ ，勺) = o i j ，对一切 ，j 又记 z 1 1 x 1 2 o l ” z n l2 7 2 e 1 e 2 = o 1 l0 - 1 2 o 2 10 2 2 则( 211 ) 变为y = x f l + e ，其中e 满足 e ( e ) = 0 ，c o v ( e ) = e 盯l n ( 7 2 “ 1 0 我们称模型 y = x f l + e ，e ( e ) = 0 ，c o v ( e ) = ( 2 1 2 ) 为线| 陛统计模型，简称线性模型，这里h 。，称为观测向量，五，。称为设计矩 阵，岛。1 称为未知参数向量，e 称为随机误差向量对于模型( 21 2 ) ，一般 我们总是假定是已知的 其中，当随机误差向量e 满足以下假设时 ( a ) 误差均值为零，郎e ( e ) = 0 ，i = 1 ，n ( b ) 误差项具有等方差性，即v a r ( e ) = a 2 ，i = 1 ，n ( c ) 误差是彼此不相关的，即c o v ( e ：，勺) = 0 ，i ，= 1 ，n 我们称模型( 2 1 2 ) 为g a u s s m a r k o v 线性回归模型这是我们要讨论的最基本 第二章线性回归模型的参数估计 的也是最重要的模型下面我们来看一下模型的参数估计 2 2 线性回归模型的参数估计 我们讨论线性模型 y = x z + e ，e ( e ) 一0 ，c o v ( e ) = 0 2 ( 2 2 1 ) 的参数卢和口2 的估计问题这里y 为nx 1 观测向量，x 为n “p 的设计矩 阵卢为px 1 未知参数向量，口2 为误差方差，o - 2 0 获得参数向量卢的 估计的一个最重要方法是最小二乘法这个方法是找卢的估计，使得偏差向量 e = y x p 的长度之下方y x f l0 2 达到最小记 q ( 卢) = | | y x b f l 2 = ( y x p ) 7 ( 一x p ) 将此式展开， q ( 8 、= y r y 一2 y 1 x 8 + 8 x j x 3 对卢求偏导，并令其为零，可以得到方程组 x x b = x 7 y( 2 22 ) 它称为正则方程这个线性方程组有唯一解的充要条件是x 7 x 的秩为p 等 价地，x 的秩为p 以后，在线性回归模型的讨论中，我们总假定这个条件满 足于是我们得到( 2 2 2 ) 的唯一解 卢= ( x 7 x ) 。x 7 y( 2 23 ) 第二章线性回归模型的参数估计 1 2 根据微积分的理论，声只是函数q ( 口) 的一个驻点我们还需要证明，声 确实使q ( 卢) 达到最小事实上，对任意一个p ，有 1 | y x 卢t 1 2 = t ly x 卢+ x ( 声一胆) 1 1 2 = i iy x a i l 2 + ( 声一卢) 7 x x ( 口一卢) + 2 ( 厅一卢) 7 x ( f 一。x 声) 因) - - 9 西满足正则方程( 2 2 2 ) ，于是x 7 ( v x 口) = 0 ，因而上式第三项等于零 这就证明了对任意的卢，有 i iy x 卢1 1 2 = i ly x 声| 12 + ( 声一p ) 7 x x ( 房一卢) 又因为x x 是一个正定阵，所以上式第二项总是非负的，于是 q ( 口) = | 19 一x 卢1 1 2 - l ly 一x 卢1 1 2 = q ( 声) 且当且仅当( 厅一卢) x 7 x ( 声一p ) 时，等号成立 第二章线性回归模型的参数估计 2 3 最小二乘估计的性质 1 3 无论从理论上还是从应用上讲，最小二乘估计都是最重要的估计，其原因 是这种估计具有许多优良性质 定理2 31 对于线性回归模型( 2 2 1 ) ，最小二乘估计卢= ( x x ) 。x 7 y 具 有下列性质： ( 凸) e ( 口) = 疗 ( b ) c o v ( 卢) = 口2 ( x7 x ) _ 1 证明( a ) 因为e ( y ) = x z 于是 e ( z ) = ( x x ) - 1 x 7 e ( y ) = ( x 7 x ) 。x x z = 口 ( b ) 因为c o v ( y ) = c o v ( e ) = a 2 i 有 c o v ( z ) = c o v ( x x ) _ 1 x y j = ( x 7 x ) 1 x c o v ( y ) x ( x x ) _ 1 = ( x x ) _ 1 x 0 2 i x ( x x ) _ 1 = 0 - 2 f x x 、一1 定理证毕 这个定理的第一条结论表明，最小二乘估计卢是卢的无偏估计，这就是 说，我们的估计没有系统性偏差在实际问题中当我们用卢去估计卢时，有时 可能会偏高，有时则可能会偏低，但这些正负偏差在概率上平均起来等于零 误差向量e = y x z ，它是一个不可观测的随机向量用最小二乘估计卢 代替其中的卢，得到e = y x z ，称为残差向量若用z ：表示设计矩阵x 的 第i 行，则上式用分量形式写出来就是 邑= y i z ：卢，i = 1 ，n 第二章线性回归模型的参数估计 称为第i 次试验或观测的残差 我们将e 看成误差向量e 的一个估计，很自然我们用 心= e 7a = ； 1 4 来衡量a 2 的大小，这里r 是残差平方和，它的大小反映了实际数据与理论模 型的偏离程度或者说拟合程度r t l 越小，数据与模型拟合得越好下面的定 理给出了忍的一个有用表达式以及利用皿。构造的o r 2 的无偏估计 定理2 3 2 ( a ) r 。= y t ( j x ( x x ) 。x 7 ) ( 6 ) 子2 = 恶是o - 2 的无偏估计 证明( n ) 丑。= e 7 e = ( y x z ) 7 一x 卢) = ( ，一x ( x7 x ) 。x ) v l 一x ( x x ) 。x ) 引 = y t ( ，一x ( x 7 x ) _ 1 x 忉 ( b ) 因为e ( y ) = x 卢，c o v ( y ) = 口2 i ，得 e ( 兄。) = e ( y 7 ( ，一x ( x 7 x ) “x7 ) ) = 日x 。t i x ( x 。x 、一1 xr 、x 8 + o r 2 t r ( i x ( x x ) - 1 x 7 ) = o - 2 h 一打( x ( x x ) - 1 x ，) 利用t r a b = t r b a ，可得 t r x ( x 7 x ) - 1 x 7 = t r ( x 7 x ) - 1 x 7 x = t r i p = p 于是， e ( r n ) = 口2 ( n p ) 关于本节的两个定理是线性回归模型中最基本的两个定理，也是最重要的 两个定理，我们在后面将会多次用到 第二章线性回归模型的参数估计 2 4 约束最小二乘估计 1 5 对于线j 陛回归模型( 2 2 1 ) ，在对参数向量卢没有附加任何条件的情况下， 在前面两节我们求出了最小二乘估计并讨论了它的基本性质但是，在一些检验 问题的讨论中或其它一些场合，我们需要求带一定线性约束的最小二乘估计， 假设 以卢= b( 2 4 1 ) 是一个相容线性方程组，其中a 为k 。p 的已知矩阵，且秩为k ，b 为k x1 已知向量我“】用l u g r a n g c 乘子法求模型( 2 2 ，1 ) 满足线性约束( 2 41 ) 的最小 二乘估计记 a = ( o i ，o mb = ( b h ，b k )( 2 4 2 ) 则线性约束( 2 4 1 ) 可以改写为 啦卢= b i ，i = 1 ，2 ，k( 2 43 ) 我们的问题是在( 2 4 3 ) 的k 个条件下求卢使q ( 口) = | | y x , 21 1 2 达到最小 值为了应用l a g r a n g e 乘子法，构造辅助函数 女 f ( z ，a ) = l ly x z l l 2 + 2 九( n ：卢一碗) = l = | iy x 卢1 1 2 + 2 a 7 ( a 卢一b ) = ( y x z ) ( y x z ) + 2 a ( a 3 一b ) 其中a = ( a 1 ，a k ) 为l a g r a n g e 乘子对函数f ( z ，a ) 求对p - ，岛，纬的偏 导数，整理并令他们等于零，得到 一x y + x 7 x 芦+ a a = 0 ( 2 44 ) 第二章线性回归模型的参数估计 然后解( 2 4 4 ) 和线性约束( 2 41 ) 组成的联立方程组 为方便计，我们用虞和工。表示( 2 4 4 ) ( 2 4 1 ) 的解用( x x ) ，整理后得到 虎= ( x x ) 。1 x 7 一( x x ) 。a x 。 = 声一( x x ) 。1 a 兄 代入( 2 4 1 ) 得 1 6 1 左乘( 244 ) ( 2 45 ) b = a 虞= a 声一a ( x 7 x ) 一1 a 丘 等价地 a ( x x ) 。1 a 7 工。= ( a p b )( 2 46 ) 这是一个关于i 的线性方程组因为a 的秩为k ，于是a ( x x ) _ 1 a 是k 的可逆矩阵，故( 2 4 6 ) 有唯一解 工。= ( a ( x x ) 。1 a 7 ) 。( a 声一b ) 将a 。代入( 2 4 5 ) 得到 度= 声一( x7 x ) _ 1 a ( a ( x x ) _ 1 a ) - 1 ( a 声一b )( 2 47 ) 现在我们证明反确实是线性约束a 3 = b 下卢的最小二乘估计为此我们只 需证明如下两点： ( o ) a 尾= 6 7 ( b ) 对一切满足a p = b 的卢，都有 l l 一x 卢0 2 - 1 y x 厦1 1 2 根据( 2 4 7 ) 结论( a ) 是很容易验证的为了证明( b ) ，我们将平方和| | y x 卢1 1 2 作分解得 y 一。y 卢0 2 = l ly x 西| | 2 + ( 声一卢) x 7 x ( 卢一卢) 第二章线性回归模型的参数估计 1 7 = i ly x 3 l | 2 + ( 西一度+ 厦一卢) x x 0 一度+ 度一卢) = 1 1y x 声1 1 2 + ( 声一虞) 7 x x ( 声一反) + ( 反一p ) ，x ，x ( 度一卢) = i iy x 3 1 1 2 + 1 l x ( 声一度) i i z + i i x ( l 一卢) 1 1 2 ( 24 8 ) 这里我们利用了应用( 2 45 ) 得到的下述关系： ( 声一虞) x 7 x ( d o 卢) = t 7 a ( f i 。一卢) = 兄7 ( a 反一a f t ) ：工。( 6 6 ) ：0 这个等式对一切满足a 卢= b 的卢成立 ( 2 4 8 ) 式表明，对一切满足a f t = b 的卢，总有 0y x 卢1 1 2 兰1 1y x 后1 1 2 + | | x ( 厅一度) 1 1 2( 24 9 ) 且等号成立当且仅当( 2 4 8 ) 式的第三项等于零，也就是 x ( l 一廖) = 0 因为x 的秩为p ，所以上式等价于卢= 庑于是在( 2 4 9 ) 中用反代替卢，等 式成立，即 l ly x l1 1 2 = 1 1y x 西旷+ | | x ( 卢一度) i | 2( 241 0 ) 综合( 2 4 9 ) 和( 2 4 1 0 ) ，便证明了结论( b ) 我们把估计风称为卢的约束最小二乘估计，于是我们证明了下面的定理 定理2 4 1 对于线性回归模型( 2 21 ) 满足( 2 4 1 ) 的约束最小二乘估计为 虞= 厅一( x 7 x ) 一1 a 7 ( a ( x x ) 一1 a 7 ) 一1 ( a 矽一6 ) 其中，卢= ( x x ) 一- x y 是无约束条件下的最小二乘估计 第二章线性回归模型的参数估计 推论2 41 对于线性回归模型( 2 2 1 ) 满足a 卢= 0 的约束最小二乘估 计为 虞= 声一( x 7 x ) 一1 a 7 ( a ( x x ) 一1 a ) 一1 4 声 其中，卢一( x x ) 一1 x ”是无约束条件下的最小二乘估计 磅= i l y x 鹿l i 。( n t ) 阵，t = r ( 三) 一r c a ， 1 8 第三章污染模型中回归参数的估计 3 1 污染数据模型( i ) 的参数估计 一、模型描述 兰州 ( 3 1 1 ) 其中，x 为n p 的设计矩阵，r ( x ) 一p ，卢= ( 序1 岛风) 1 为p 1 未 知参数向量，和y 4 为n 1 观测商量岛相互独立且服从分布n ( o ：口 ) ，；相 互独立且服从分布( o ，口；) ，这里口，和( 7 2 为误差方差，均为已知 二参数估计 我们的观察值为 y + = ( 1 一u ) y + v t = ( 1 一”) ( x p + s ) + 优 = ( 1 一v ) x f l + ( 1 一v ) e 十v t = ( 1 一 ) x p + r 其中q ：( 1 一w 弦+ 优为随机向量，服从n ( o ，( ( 1 一u ) 2 口 + ”2 a ；) k ) 分布先 用最小二乘法求解根据线性模型的结论，有 ( 1 一o ) 声= ( x7 x ) 。1 x 圹 1 9 第三章污染模型中回归参数的估计 利用上式，得到y + 方差的估计 解得 碥= 而1 萎n ( 1 一o ) 矽z ； 2 当n + o o 时，r 。+ ( ( 1 u ) 2 盯 + 2 盯；) ，a s 从而当n ，o 。时 由假定 堕圭正窭受王至一 a + 砖 上式中取负号，即 相应地 盯： 矗 r 巧 。= 坚掣 仃? 十盯； 声= 臀 定理3 2 1 对于污染数据模型( i ) 的最小二乘估计为 。：生嗄喾口i 十 卢= 喾 血s 一 砰一 第三章污染模型中回归参数的估计 而且矽，i 分别式卢，”的强相合估计 其中， = 击垫 2 l 第三章污染模型中回归参数的估计 3 2 污染数据模型( i i ) 的参数估计 一、模型描述 我们上面讨论的模型是假定误差协方差阵为一2 i ，虽然在许多情况下， 析后，我们不能认为这些假设是合适的，它们的误差方差可能不相等，也可能彼 此相关的这时，其误差协方差阵为口2 g ，这里g 是一个正定阵，当然g 往往 包含有未知参数，为了研究方便，在这一节中，我们假定g 是完全已知的，所 c z 一， y ，+ = ：x 。，f l 一+ 。e ，+ 。 ( 32 1 ) 的参数 ，卢的估计问题其中，x 为n x p 设计矩阵，r ( x ) = p ，_ 8 = ( p ，岛鼠。) 1 为p l 未知观测向量，y + 为r x1 观测向量e ，服从正态分布，且 c o v ( e ) = 口 g ，c o v ( t ) = 口；g ，这里0 - 1 和啦均为已知 g 0 ，为已知正定 二、参数估计 引理( 3 2 1 ) 设x n ( o ，) ，则y = 一 x n ( o ，j ) 证明：根据文献0 5 ) 中定理2 3 2 ，若取a = b 一，注意到_ 1 也是对称阵 因此 b - ( 一；) = 一 = ， 第三章污染模型中回归参数的估计 于是根据定理2 3 2 ，我们得到上面的结论 注意，这里x 的诸分量可以是彼此相关且方差互不相等，但变换过的y 的诸分量相互独立，且方差为1 这个引理表明，我们可以用一个线性变换把 诸分量相关且方差不等的多元正态变量变换为多元标准正态变量 在上面的模型( i i ) 中，因为g 为已知的正定方阵，所以存在唯一的正 定对称阵g ，使得g = ( g ) 2 ：g 一女= ( g ) ，用g j 乘以方程组( 321 ) 中 的2 个等式，得 根据上面的引理( 3 2 1 ) 有 ( 3 2 2 ) g 一 一n ( 0 d r ) g 一 一n ( o ，) 设g 一 g = z ，g 一1 旷= z + ，g 一 x = x 1 g 一 e = w ：g 一 = u ，则( 3 22 ) 式变 为 ( 3 2 3 ) 这样模型( i i ) 就化为模型( i ) 的形式，根据模型( i ) 中所得到的结论，有下面 的结论成立 关于模型( 3 2 3 ) 式，污染系数v 和参数卢的最小二乘估计为 a 一( a + a ；) 一a ”2 百石f 一 优g ：呓 + 矿 山 + 一 x 瓢 州 廿 g g 抛 w ” 外 “ 叫 z z i_，、lj_tl 第三章污染模型中回归参数的估计 声一禹 其中， 2 志薹铲础叫卯，肛( 捌。私 定理3 2 1 对于污染数据模型( i i ) 的广义最小二乘估计为 i = 垫嗡笋 仃f 十盯； 声：墨 其中， r 2 志薹瞄咱，( 1 一。) 囱2 ，肛( z 。1 z p 证明：把上面结论中的换成一；扩，换成一；。，定理( 3 21 ) 就是我 们所研究的模型( i i ) 式的参数估计根据参考文献( 1 3 ) 定理1 ，上述估计是强 相合的 第三章污染模型中回归参数的估计 3 3 污染数据模型( i i i ) 的参数估计 一、模型描述 上面所讨论的污染模型对未知参数p 没有任何约束条件，它是自由参数 但是。在一些实际问题中我们需要处理的线性模型有时是带约束条件的一般。 当我们对具体问题有了一定的附加信息之后，这些信息往往可以用约束条件的 形式来描述另外，在一些理论研究中，也会产生带约束的模型在这里，我们 仅限于讨论线性等式约束e z = d 的情形，假定这是一个相容约束所以这节 我们讨论模型 ( i i l l y = x 臼十e y + = ( 1 一u ) + v t e 口= d ( 3 3 1 ) 的参数”，卢的估计问题其中，x 为n p 设计矩阵，r ( x ) = p e 是m 。p 矩阵，r ( e ) = m ，d 是m 1 向量，卢= 愉岛风) 7 为px1 未知观测 向量，y 为n x1 观测向量矗相互独立，服从分布n ( 0 ，口；) t 。相互独立 服从分布n ( o ，碹) ，这里a l 和( 7 2 均为已知， 二、参数估计 为了估计模型( 3 3 1 ) 中的参数及污染系数，我们现来证明下面的引理 引理3 3l 模型( 3 3 1 ) 式可以转化为带齐次约束条件( e z = 0 ) 的模型 第三章污染模型中回归参数的估计 z h 们+ ( 1 刊t 豢州 y e 。- ，一x 。0 ，卢- 一v e ) z 。o ，= 一x 。，( 凤1 - ：”。) 卢一x ( 1 一 ) 卢。+ ( 1 一t 】) + t e z * 。= ，一x 。0 ，- ：v 。) 7 + ( 1 一u 碡+ 优 引理3 3 1 得证 二i 二? 一u ) ，y + ( 1 一u ) + 优 第三章污染模型中回归参数的估计 为了研究方便，下面我们只讨论带齐次线性约束条件的污染模型 即 y = x 8 + e y 4 = ( 1 一口) + v t e 口= 0 f 圹= x ( 1 一”) 口+ ( 1 一u ) + 讲 l e ( 1 一郴：o 篡刊研确 那么，根据推论2 4 1 ，有 亿= 一( x x ) _ 1 ( e ( x x ) 。e ) - 1 e 其中，= ( x x ) - 1 x y + 再根据定理2 4 ，2 ，利用上式，得到y + 方差的估计 1 a ；2 高杪一x 例 解得 a 士、p 十谚) 酲一一& 喀 2 虿而r 一 ( 33 2 ) ( 333 ) 第三章污染模型中回归参数的估计 当n + o 。时，仃：，( ( 1 一 ) 2 0 - - 4 - u 2 盯；) ：a s 从而当n 一。时 生! 笪堕i - 。0 2 ) i 0 c - - 堕堕一堕型! ；1 2 嘻二蝴。 o + 口o + 口$ 由假定 盯?u 磊 而 上式中取负号，即 a 一( 一 + 醴) a ：一a a ； ”2 丐再巧r 一 相应地，由7 = ( 1 一u ) 口可知，f 。= ( 1 一i ) 反 即 二 吼一( x 7 x ) 。e ( e ( x x ) 1 e 7 ) 。e 亏 卢c 2 r 习2 r 习一 定理3 3 1 若约束条件e , g = 0 满足r ( 日。，) = m ，且r ( ) 。，) = p 则模型 y = x p + e 扩= ( 1 一”) + 优 e 8 = 0 的参数厣，u 的约束l s 估计为 。=鱼喀-掣02)0c-0-102 口；十盯； 反：! = i 查竺2 二堡! 兰( 霉：墨! ：堡2 ：堡三 l u 第三章污染模型中回归参数的估计 其中， 舞= a 1 h y * - x y ) il ， = ( x x ) - 1 x 7 y + 慢= 亏一( x 7 x ) - 1 e ( e ( x x ) 第三章污染模型中回归参数的估计 3 4 污染数据模型( i v ) 的参数估计 一、模型描述 3 0 我们上面讨论的模型是假定误差协方差阵为0 2 i ，但是，客观上存在着 许多线性模型，它们的误差方差可能不相等，也可能彼此相关的这时，其误 差协方差阵为0 - 2 g ，这里g 是一个正定阵，当然g 往往包含有未知参数，为了 研究方便，在这一节中，我们假定g 是完全已知的，所以，这节我们讨论模型 y = x z + e y + = ( 1 一v ) y + v t e 8 = d 的参数”，p 的估计问题其中，x 为n p 设计矩阵，r ( x ) = 矩阵，r ( e ) = m ，p = ( 卢- 岛风) 7 为p 1 未知观测向量， 测向量，e t 服从正态分布，且c o v ( e ) = 口 g c o v ( t ) = 口；g 均为已知，g 0 ，为已知正定方阵 二、参数估计 ( 3 4 1 ) p e 为m 。p y + 为n x1 观 这里口1 和口2 引理3 41模型( i v ) 可转化为模型( i i i ) 的形式， 证明：在上面的模型( i v ) 中，因为g 为已知的正定方阵，所以存在唯一的 正定对称阵g ，使得g = ( g ) 2 ，g 一 = ( g ) ，用g 一 乘以方程组( 3 4 1 ) 中的前2 个等式，得 第三章污染模型中回归参数的估计 g 一 = g 一 x 卢4 - g 一 e g i 1 矿= ( 1 一v ) e i l y 4 - v g 一； e 口= d e g 卢- ：y + ：2 ( 1 一口) g 一 j f 廖+ ( 1 一 ) g 一 e + g j t 由引理32 1 知 g 一 e n ( o ，口；ng 一 n ( o ，口；，) 设酊= g 一 圹，w = ( 1 一 ) g e + v g t ，x 1 = g 一 x ：则上式化为 f 羞卜郴佃 从方程组( 3 ，4 2 ) 我们可以看出 理3 4 1 得证 由第三节的结论我们知道 3 1 ( 3 4 2 ) 他实际上就是我们第三节讨论的模型，所以引 ( 3 a 2 ) 又可以化成带奇次线性约束条件的模 f 、) 2 2 盯+ 2 1 叮 2 u一1 l 一2 一 g + e l 一2 一 g 一l ( 有以听 第三章污染模型中回归参数的估计 型形式，为了研究方便，下面只讨论带奇次线性约束条件的模型，即 y = x 口+ y 4 = ( 1 一u ) y + v t e 廖= 0 ( 3 43 ) 其中，x 为n p 设计矩阵，r ( x ) = p ，e 为m 。p 矩阵，r ( e ) = m ， p = ( 口1 岛阮) t 为p 1 未知观测向量，y + 为r i m1 观测向量，e ，t 服从正 态分布，且c o v ( ) = 口 g ，c o v ( t ) = 口；g ，这里c r l 和( r 2 均为已知，g 0 ， 为已知正定方阵 下面我们来求这个模型的参数估计 根据引理3 4 1 ，整理( 3 4 3 ) ，得 其中 虻= g 一 nx 1 = g j x 秽1 廖+ 叫 0 叫= ( 1 一 ) g 一 e + v g 一1 t ，( o ：( ( 1 一u ) 2 0 - ；+ 程) ，) ( 3 4 4 ) 令7 = ( 1 一u ) 卢，使得( 3 4 4 ) 与( 3 3 3 ) 具有相同的形式，那么，根据我们对 ( 3 3 3 ) 得到的结论，我们可以得到( 3 4 4 ) 中参数卢， 的解，即 ， 屉再丽虿习习 可i 丁一 q 弦 墨 刈 | l 1 酊 e ，_llj，、_l 第三章污染模型中回归参数的估计 一( x i x l ) - 1 e ( e ( x i x l ) _ 1 e ) 。e l 一0 其中， 硅= i 1 _ 旧；一x ，镌忆 = ( x i x l ) - 1 x i 酊 = 一( x i x l ) _ 1 e 7 ( e ( x ；x 1 ) _ 1 f ) 。e 把蝣= g 一 圹，x 1 = g 一 x 代入到上面的式子中，得到下面的定理 定理3 3 1 若约束条件e 卢= 0 满足r ( e 毫。，) = m ，且r ( 墨。，) = p 则模型 y = x p + y + = ( 1 一u ) + 州 e 8 = 0 的参数卢， 的广义最小二乘解为 口 一( 仃 + 口；) 口：一口2 1 u 2 2 ”2 石再刁厂一 成= 其中， 一( ( g 一 x ) 7 g 一 x ) 一1 ( e ( ( g 一 x ) 7 g 一 x ) 一1 e ) 一1 e 1 0 舞= 忑1 i i g 一 y * - g j x 素忆 = ( ( g 一 x ) g 一 x