（概率论与数理统计专业论文）不等式约束下线性模型的影响分析.pdf

中南大学硕士学位论文 摘要 摘要 线性模型一直以来是统计学家研究的热点，随着研究的深入，简 单的线性模型已经不能满足对变量的精确描述。很多情况下，变量的 关系受到约束，比如：等式约束x p ：a ，不等式约束x p a 或者更苛 刻的约束条件，随之出现了很多关于约束条件下线性模型的相关结 论，同时，随着非线性规划基本定理的提出以及各种算法的应用，给 统计研究提供了工具，于是不等式约束下的非线性模型也有相关的结 论 本文引用了不等式约束问题分析处理的思想和对约束线性模型的 协方差扰动影响分析的相关结论，利用分块矩阵求逆和非线性规划的 方法，先得出了不等式约束线性模型在满足特殊情况时的最小二乘估 计窟，接着给出了扰动模型参数的最小二乘估计le g 。) ，然后观察扰 动前后估计的变化量，在这些基础上考虑了两类影响点的判断方法， 并讨论了回归模型在满足特殊情况下的未知参数的影响分析，利用约 束条件下w e l s h - k u n 统计量和c o o k 距离，研究了第i 组( 五，咒) 数据的 剔除对参数的估计量的影响，同时提出了约束似然距离和w e l s h - k u n 统计量和仍础距离的关系 关键词：不等式约束，线性模型，扰动，影响 中南大学硕士学位论文 b s t r a c l a b s t r a c t l i n e a rm o d e li st h eh e a to fr e s e a r c ha l lt h et i m e a st h ef u r t h e r s t u d y ，t h es i m p l el i n e a rm o d e l sc a n ts a t i s f yt h ep r e c i s ed e s c r i p t i o no f t h e s o c i a l p h e n o m e n o n i ns o m es i t u a t i o n t h er e l a t i o n s h i p o fs o c i a l p h e n o m e n o ni sc o n s t r a i n e d ，s u c ha sl i n e a re q u a l i t i e sc o n s t r a i n tx p = a 。 n o n l i n e a r e q u a l i t i e s c o n s t r a i n t x p saa n ds o m em o r e c o m p l e x c o n s t r a i n e dc o n d i t i o n a n dt h e nt h e r ea r em a n yr e l a t i v ec o n c l u s i o n s d e r i v e df r o mt h e no n m e a n t i m e , s i n e eb a s i c t h e o r yo fn o n l i n e a r p r o g r a m m i n g h a sb e e nd e r i v e da n d a l g o r i t h m o fm a t h e m a t i c a l p r o g r a m m i n gh a sb e e na p p l i e d i tp r o v i d e st h es o l v i n gt o o l st ot h e s t a t i s t i c s t u d i e s s l o w l y , t h e r ea r er e l a t i v ec o n c l u s i o n so fn o n l i n e a r m o d e l su n d e ri n e q u a l i t i e sc o n s t r a i n e d i nt h i sp a p e r , b yu s i n gt h ec o r r e l a t e dc o n c l u s i o no fs o l v i n gi n e q u a l i 哆 c o n s t r a i n e dp r o b l e ma n du s i n gt h em e t h o do fa n t i m a t r i xa n dn o n l i n e a r p r o g r a m m i n g ，w ed e r i v e dt h el e a s ts q u a r ee s t i m a t i o no f 庶，a n dt h e nw e a l s od e r i v e dl e a s ts q u a r ee s t i m a t i o no f 虞( 晶) b yv a r i a n c ed i s t u r b a n c e b yo b s e r v i n gt h ec h a n g ea f t e rd i s t u r b a n c e ，w eg i v et h o u g h tt ow a y so f d i s t i n g u i s h i n g t h et w ok i n d s i n f l u e n t i a l p o i n t sa n dd i s c u s s e st h e i n f l u e n t i a la n a l y s i so ft h er e g r e s s i o nm o d e sp a r a m e t e ri ns o m es p e c i f i c c o n d i t i o n s b yu s i n gw - ks t a t i s t i ca n dt h ec o o kd i s t a n c eu n d e rt h e r e s t r i c t e dc o n d i t i o n ，w es t u d yt h ei n f l u e n c e so ft h ep a r a m e t e rw h i l et h e f t hc a s e 魄，y i ) i sd e l e t e d n e x t ，w ed i s c u s st h el i k e l i h o o dd i s p l a c e m e n t a n de s t a b l i s ht h er e l a t i o n s h i p so ft h ew ks t a t i s t i c t h ec o o kd i s t a n c ea n d t h el i k e l i h o o dd i s p l a c e m e n t k e y w o r d ：n o n l i n e a re q u a l i t i e sc o n s t r a i n t ，l i n e a rm o d e l ，d i s t u r b a n c e ， i n f l u e n c e s 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共 同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：兰i 叁日期：二翌年且月盟日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有 权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位论 文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论文； 学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：兰i 塑导师签名：丑垄虫日期：遄年且月笪日 中南大学硕士学位论文 第一章综述 1 1 线性模型和约束问题 第一章综述 社会现象之间相互制约和联系是社会生活的普遍规律，社会的发展与一定的 社会变量与数量紧密联系，社会现象不仅与它有关的现象构成一个普遍整体，而 起在它的内部也存在这许多彼此关联的因素，在一定社会环境，地理环境，政府 决策影响下，一些因素推动和制约另外一些因素发生变化，这种现象说明社会现 象内部和外部联系中存在一定的因果关系，人们往往利用这种因果关系来制定有 关的政策，以指导控制社会活动的发展，要认识和掌握客观规律就必须探求变量 之间的变化规律，变量间的统计规律是变量变化规律的重要特征，而很多现象的 统计关系主要是用线性模型来刻画的，当然也有其它模型，线性模型是一类比较 普遍的模型也是统计模型中具有代表性的模型，它包括了线性回归模型，方差分 析模型等应用十分广泛的许多模型而且许多医学、生物、经济、管理、商业、 金融和工程技术等领域的现象都可以用线性模型来近似描述因此线性模型已成 为现代统计学中应用最为广泛的模型之一同时线性模型的理论和方法也是学习 和研究其它统计方法的基础但随着社会进步，以及研究的深入，简单的线性模 型往往不能很好的刻画变量之间的关系，很多情况下，变量自身受到一定的制约， 本身要满足一定的约束条件，比如：有些时候变量除了满足线性模型之外，还要 满足等式约束x p = b 或者不等式约束x 口b ，有些时候还可能要满足变量是正 整数，即 p ：p n 等等所以就会进一步的产生约束条件下的线性模型 线性模型的参数估计一直是一个十分吸引人的活跃领域近几十年，这方面 理论和应用无论在广度和深度方面都有了长足的发展，随着可估函数的引入和广 义逆矩阵的应用，使线性模型的研究范围得到了空前的拓展利用镶边矩阵的广 义逆圆满的解决了带等式约束模型的参数估计问题，随后诸多学者利用以往的 方法，对线性模型的等式约束又进行了进一步的研究，c h i p m a n 和r a o 研究了 先验信息是等式约束下的回归模型，l i e w ( 1 9 7 6 ) 研究了线性约束的线性回归模 型，n a g a r a j 和，w 盯( 1 9 9 4 ) 研究了线性等式约束下的时问序列在国内也有很 多的学者做了关于约束线性模型条件的研究，其中有关于约束线性模型参数估计 的研究，也有关于约束条件下线性模型容许性方面的研究喻胜华( 1 9 9 7 ) 研究 了带有线性等式约束条件的奇异线性模型，对任意条件可估函数c p 得到了它 所有条件的皿以最佳线性无偏) 估计，任意两个不同条件b z u 估计都可以概率为 1 相等，同时给出了等式约束的多元线性模型的b l u 估计王志忠( 1 9 9 9 ) 研究 中南大学硕士学位论文第一章综述 了带约束线性模型应用随机模型的协方差扰动影响的分析问题，建立了屏( g ) 与 矽，的一些关系式【这里厦( g ) 是有约束扰动模型未知参数向量x 的最小二乘估 计，厦是带约束的参数模型的x 的最小二乘估计】，同时还定义了扰动模型的 w e j s h - k u n 统计量和c o o k 距离还有其它的研究，譬如有些学者研究了等式约束 下一般生长曲线模型的b l u 估计，还研究了误差相关以及未知参数有约束情况下 线性回归模型的参数估计问题，同时给出了可控制矩阵满秩和不满秩情况下参数 的最佳线性无偏估计，总之，等式约束条件下线性模型相关的结论已经有很多， 而且不断的趋于完善而有些时候变量之间的关系是非线性的，这就要求有约束 条件下的非线性模型的深入研究 1 2 非线性模型和不等式约束 随着科学技术和近代统计学的飞速发展，不能简单化为线性模型的非线性 模型越来越多地出现在统计学家面前农业，生物，经济，工程技术等各部门都 提出了许多非线性模型以及其它非线性统计问题因此积极开展非线性模型参数 估计及异方差或变离差的检验的研究在理论与实践中日趋重要非线性模型参数 估计是线性模型参数估计的自然推广，也是必然趋势但它们之间又有明显的区 别非线性模型参数估计比线性模型参数估计复杂得多就参数估计而言，线性模 型中的很多理论在非线性模型中就不一定适用；线性模型中的很多结论在非线性 模型中也不一定成立；线性模型参数估计中的很多优良传统性质在非线性模型中 并不一定存在例如，在线性模型中，当随机误差服从正态分布时，未知参数的 最小二乘估计屏。具有一致无偏性和方差最小性，但在非线性模型参数估计中， 即使随机误差严格服从正态分布，未知参数x 的非线性最小二乘估计。也是 有偏的，其方差一般都不能达到c r 下界“非线性”本身是一种数字特征，但非 线性问题即使在数学中也并不成熟( 韦博成，1 9 8 9 ) 另外，对非线性模型参数 估计及方差检验的理论还不成熟 非线性问题的研究工作在数学界和工程界已有相当的历史( 远远早于非线性 科学的形成) ，尤其在各应用领域中研究异常活跃例如非线性振动分析、非参数 统计推断等最早是在数理统计学领域开展非线性回归分析问题的研究，b o x 和 b e a l e 是该理论的研究先驱；八十年代是非线性回归诊断理论研究与应用的鼎盛 时期，b a t e s 及w a t t s 为此做出了许多开创性的工作：此后我国及国外许多专家都 2 中南大学硕士学位论文第一章综述 进行了深入的研究如k n i c k m e y e r 、a t h a n a s i o ad e r m a i n s 、韦博成等 利用带有误差的观察值去求未知参数的量或值的过程，在数理统计中称为参数估 计未知参数的估计一般有三种情况： ( 1 ) 利用经验型或机械型函数模型拟合观察数据，在给定的准则下确定函数模 型的参数或类似问题； ( 2 ) 利用对未知参数或其函数的多余观测，在给定的准则下消去多余观察间的 不符值，求定未知参数或函数的最优估值； ( 3 ) 利用迭代解法，估计非线性随机误差模型中的未知参数； 对于不等式约束，无论是线性模型和非线性模型，相关的结果并不多，这 主要原因不在于线性或非线性，而主要困难在于不等式约束，这使得我们无法得 到西解析表达式，从而难以进一步得进行统计分析，自从库恩和塔克提出了非线 性规划的基本定理，以及对各种类型的非线性规划问题提出了各种算法，使非线 性规划理论和计算方法逐渐完善，并且应用到统计中，使得对它的研究有了突破 的进展d u p u c o v a 和w e s t s y ( 1 9 8 8 ) 研究了广义线性约束下的非线性估计问题， 他们为随机最优化框架中统计估计奠定了基础，但是他们的研究成果只适用于控 制变量是随机的非线性回归模型中，还有学者研究了不等式约束线性模型最小二 乘法的稳定性，j u d g e 和t a k u y a n m 也研究了不等式约束回归分析问题 对于非线性约束的不等式约束问题是最近一段时间研究的课题，最近 g e g e r ( 1 9 9 4 ) 利用线性规划问题研究了，约束估计问题的极限问题，而王金德 ( 1 9 9 6 ) 证明了九蛾一o o ) 分布收敛于下列最优化问题的解： f 血撒_ 2 z ? j j v g j 蛾) z 0 i 1 ( e o ) lv 眠( 岛) z = 0j = i 2 ，n 并于( 2 0 0 0 ) 利用非线性规划的肛7 算法得出了渐进表达式，由这些表示中我们 可以看到这类问题具体结构，对将进一步的分析提供了帮助，赵嫒嫒和王金德 ( 2 0 0 1 ) 给出了不等式约束线性模型的残差分布，包括普通化和学生化残差，2 0 0 3 年对不等式约束的线性模型的帽子矩阵和无约束问题的帽子矩阵进行对比 本文主要引用王金德的对不等式约束问题的方法和王志忠关于带约束的线 性模型的协方差扰动影响分析的相关成果，利用分块矩阵求逆和非线性规划的方 法，得出了不等式约束线性模型在满足特殊情况下的未知参数的参数估计以及相 应的拉格朗日乘子的估计，接着对线性模型施加扰动，求出扰动后的未知参数的 估计即拉格朗日乘子，并得出扰动动前后的改变量，在这个基础上考虑两类影响 的判断方法，并讨论线性回归模型在等式约束下的未知参数估计的影响分析，利 中南大学硕士学位论文第一章综述 用约束条件下参数w e l s h - k u n 统计量和仍硝距离研究第f 组数据的剔除，对于 参数估计量的影响，同时提出了约束似然距离，并阐明了似然距离和w e l s h - k u n 统计量和c o o k 距离的关系 4 中南大学硕士学位论文第二章预备知识 2 1 非线性规划 第二章预备知识 非线性规划的实质是求任意一个多元函数( 目标函数) ，在给定域( 约束条 件) 上的最大值或最小值如果在约束条件或目标函数中至少有一个是非线性函 数，这样的问题就称为非线性规划问题非线性规划的基本定理是库恩和塔克于 1 9 5 1 年提出的之后对于非线性规划的最优性条件，对偶性和稳定性等方面的研 究，以及对各种类型的非线性规划问题提出了各种算法，使非线性规划在理论商 河计算方法上逐渐完善，称为运筹学的一个重要的分支特别使由于非线性规划 问题对于目标函数和约束条件几乎没有任何限制，使得非线性规划越来越广泛地 应用于最优设计，经济管理等各个领域，但是，各种非线性规划的计算方法都有 自己的特定使用范围，到目前为止，还没有使用各种问题的一般计算方法 2 i i 非线性规划问题的解 一般，非线性规划问题的标准形式记为： ( p ) = 【r a g l i ( n j ) f ( x 。) f = 1 2 ，扎 其中，工= ( ，毛，乇) 1 是1 7 维欧式空间e 中的向量目标函数，( 工) ，约束函 数g i ( 曲( i = 1 ，2 ，m ) 中至少有一个非线性函数满足约束条件& ( 曲0 ( i = l ，2 ，m ) 的工e 称为问题f 彤的可行解所有可行解的集合称为问题f 彤 的可行解集，记为： r = 工i g ，( 曲2 0 ，f = 1 2 ，m ，工e 任何一个非线性规划问题都可以化为问题伊) 的形式实际上，如果约束 条件中有等式约束： h i ( x ) 2 o ， 一h i ( x ) 0 ( j = 1 2 ，p ) 如果是求目标函数，( 工) 在可行解集r 上的最大值，即求鼍臀，( x ) 时，则可 等价地化为求n ，f 。m 。【一，( x ) 】y = x p + 占 因此，我们有时仅讨论标准形式的非线性规划问题f 彤的性质和有关算法 s 中南大学硕士学位论文第二章预备知识 当r c e ，即可行解集r 时巨的真子集时，问题倒也可记为： m m i l l ，( x ) ( 2 1 ) 一般称式( 2 1 ) 为约束极值问题 当r = e 时，问题倒就记为： n x f 。m 巨，( x ) ( 2 2 ) 一般称式( 2 2 ) 为无约束极值问题 海赛矩阵：f ( x ) 在x 上是二阶连续可微，对于每一点x x ，矩阵 日( _ x ) = 为半正定，矩阵日( 力是，( 在点x 处的海赛矩阵 2 1 2 无约束极值问题的最优性条件 在高等数学中，我们已经知道，如果i 是无约束极值问题 ( 号) 唑，( x ) 的最优解，并且，( x ) 在i 处可微，则 v ( x - - ) ：( o ( x - - ) ，o ( x - - ) ，o f ( x - d ) r ：0 而 ( 2 3 ) ( 2 3 ) 称为无约束极值问题( 只) 的一阶必要条件，但是，满足条件( 2 3 ) 的i e e 却不一定是问题( 置) 的最优解 定理2 1 设，( 力为可微凸函数，则i 是( 整体) 最优解的充分必要条件 v f ( 习= 0 ，如果f ( x ) 二阶连续可微的，我们还可以证明， 定理2 2 ( 二阶必要条件) 设，( j ) 在i e 处二阶连续可微，i 是问题( 只) 的局 部最有解，则 v ，( x - - ) = 0 6 ( 2 4 ) 中南大学硕士学位论文第二章预备知识 并且对任意的d 邑，有 d 7 日( i ) d 0 即i e 处的海赛矩阵日( 习是半正定的 ( 2 5 ) 定理2 3 ( 二阶充分条件) 设，( 曲在i e 处二阶连续可微，如果w ( 习= 0 ， 并且i e 处的海赛矩阵日( 习是正定的则i 是问题( 日) 的局部最优解 上面两个定理的证明略去对于定理2 3 还应注意：当矩阵日( 习为负定时， 则，( 力在i 处有局部最大值当矩阵h ( x - - ) 是半正定或半负定时，对i 则不能得出 任何结论当矩阵h ( x - ) 不定时，则可以证明厂( 工) 在i e 处不取极值 2 1 3 约束极值问题的最优性条件( 等式约束) 在高等数学中，对于具有等式约束的非线性规划问题 c 驴 搿翟 h 轧肌 可以引入拉格朗日函数 仅z ) = 厂 ) 一五7 _ l o ) = ，o ) 一五j h j ( x ) ， l 其中， ( 曲= ( 啊( 茗) ， 2 ( 曲，k ( 曲) 7 ，a = 似，五，丸) 7 ，乃称为对应 吩( z ) ( j = 1 2 ，m ) 的拉格朗日乘子 定理2 4 ( 一阶必要条件) 设，( 工) ，h j ( x ) ( j = l 2 , ，神在可行解i 的某一邻域 以( 习上可微，矩阵1 ( x - - ) = ( v t ( x - - ) ，v h 2 ( x - ) ，v k ( 习) 。， 的秩为皿如果i 是问题( b ) 的局部最优解，则存在实数万( ，= 1 2 ，m ) ，有 v ，l ( - 万) = 可歹( 习一 v 吩( 习= o ， 这一定理使问题( 己) 可以转化为拉格朗日函数l ( x ，五) 的驻点，即求解满足 7 中南大学硕士学位论文 第二章预备知识 l v f ( x ) 一以v l ( 力= o ， 1j = l h ( 工) = o ( j = l ，2 ，。，m ) ， ( 2 6 ) 的i 和万但是满足式( 2 6 ) 的i 还不一定是问题( 忍) 的最优解 定理2 5 ( 二阶充分条件) 设，( j ) ，一( 曲( ，= 1 2 ，1 ) 是e 上的二次连续可微 函数，i e 是问题( 足) 的可行解如果存在向量万= ( 互，五，无) 7 曩，使得 v ，l ( i ，乃= o ， 并且对任一z e ( z 0 ) ，只要满足 就有 z 7 v h j ( y ) = o , j = l 2 , m ( 2 7 ) z r v 2 l ( z , 乃， z o( 2 8 ) 则i 为问题( p 9 的( 严格) 局部最优解 如果进一步假设矩阵j ( x - ) = ( v 红( i ) ，( 习9o - - ，v k ( 习) 的秩为b 1 , 且适当排列 变量下标，行列式 0 ， 一般定理2 5 常常写成更为简便的形式 定理2 6 设，( 工) ，h j ( x ) ( j = 1 , 2 ，m ) 是e 上的二次连续可微函数如果存在问题 ( p o 的可行解万e 和i e ，有 v ，l ( 2 ，乃= o ， 中南大学硕士学位论文第二章预备知识 并且行列式( 一1 ) “ a 2 l ( i ，乃a 铂铂 曼：墨! 三：塑a h ，( x - - ) 睇 盟盟o 坼 ： ； a h , ( x - ) o a o( 2 9 ) 对于尸_ = 脚心，7 成立，则i 为问题( 只) 的( 严格) 局部最优解 如果是求目标函数的最大值，可将( 2 9 ) 中的( _ 1 ) 卅改为( 一1 ) ，则得到类 似的结论条件( 2 9 ) 中行列式往往称为加边海赛行列式 2 1 4 约束极值问题的最优性条件( 不等式约束) 前面所讨论的问题( 置) 和( 最) 一般称之为“经典”最优化问题，这是因为这 些问题的研究可以追溯到几个世纪以前下面我们要讨论的具有不等式约束的极 值问题的最优性条件，则是近3 0 多年来的结果本文第三章的模型就是这类规划 问题考虑 c p ) i f n f m 。工f ，( x 。，) , z = ，m 其d o ，( 工) ，g 。( f = 1 2 ，神可微对于问题( p ) 引入广义拉格朗日函数 伊( 五名) = ，o ) 一五7 9 ( z ) ) = f ( x ) - a & ( 曲， f = l e 中，g ( 工) = ( g ( 工) ，9 2 ( 工) 9 o 9 9 。( j ) ) 7 ，2 = ( ，五，- 一，旯。) 7 ， 元称为对应于约束函数g i ( 曲( 扛1 2 ，m ) 的( 广义) 拉格朗日乘子 条件： 如果i r = x l g ；( 力o ，f ；1 ，2 ，m 并且存在万= ( 互，五，五) 7 ，满足下列 9 中南大学硕士学位论文第二章预备知识 ( 1 ) v ，p ( x ，万) = v f ( x - - ) - 互勖；( i ) = o ， i ；l ( 2 ) v 妒( i ，a ) = 一g ( 工) 五0 ， ( 2 1 0 ) ( 3 ) 石7 v 。妒( i ，石) = 一万7 9 ( 习= 一j - v g i ( i ) = o ， 则称i 为问题f 的肛，点( k u h n p u c k e r 点) ，而式( 2 1 0 ) 一般称为弘，条 件( 库恩一塔克条件) 如果在i r 处，某个约束不等式g i ( x - - ) = 0 时，则该约束条件称为i r 处起 作用的约束( 或紧约束) 所有在i r 处的起作用的约束函数的下标集合记为f 即 e = e ( x - - ) = f l g ；( i ) = 0 ，1 s i m ， 不难看出，式( 2 1 0 ) 中的条件( 3 ) 等价于互g j ( 习= o ( f _ 1 ，2 ，m ) 因此， 当i 盛e 时，由g i ( x - - ) 0 ， 可是石= o ( i e ) ，这时，肛，条件( 2 1 0 ) 可简化为下述形式： ( 1 ) v ，( 习一互v g j ( 习= o i e 口 ( 2 ) g l ( 习= o ，石0 ( f e ) 譬i ( 习 o ，互= o ( f 诺e ) ( 2 1 1 ) 非线性规划的基本定理就是讨论问题f p 夕的最优解与肛，条件的关系可 以证明，如果对约束函数再进一步附加一些限制条件，则当i r 为问题护) 的最 优解时，在i r 处肛，条件成立，这样的附加条件一般称为约束规格，常用的一 个约束规格是，当e ( 习= t f 2 ，i r 时，矩阵 ( v g ；l ( x - - ) ，v 或2 ( 动，v g ( x o ) = 的秩为r 船i l ( x - - ) 铂 船；。( 习 阮 1 0 a g 。( x - o 缸 a g 。( i ) a k ( 2 1 2 ) 中南大学硕士学位论文 第二章预备知识 2 2 矩阵代数 2 2 1 分块矩阵与“和式求逆公式” 设矩阵月的分块形式为： a = 眭2 ， 今假定以下公式所涉及的逆矩阵都存在设彳为方阵，则爿的行列式h 可以表示 为 1 22 i = h | | 如一如。4 1 - ! ：l - i 如| 1 4 。一4 ：屯一1 如。i ， ( 2 ) 特别，若取4 。= 4 。= m ，如= ，4 ，= n ( 其中，为单位矩阵) ，则由上式可得 j a u l - - i a l l i n a - 1 m l ， ( 2 1 4 ) a 的逆矩阵可以表示为： 小( 小鬈鬻矧一警1 ， 亿 f 1 = ( 一袅+ 荟乏怒： = ( ：三) + 褂m ：砩 其中砒= ，- 4 ： 。，如。= 如一如 ：， 由以上两个公式可以推出一个极其重要的和式求逆公式比较( 2 1 5 ) 和( 2 1 6 ) 的左上角可得( 。- 4 ： ，) = + ：。 。硝在此公式中，重新记 。= a ，4 2 = - m ，a 。= ，4 ：= 则可以得到以下的公式： 和式求逆公式：设爿为力阶方阵，肛分别为疗p 和p x n 阶矩阵假定= - - - v 有关的逆矩阵存在，则有： ( a + m n ) 一= a - 1 一a 一1 m ( i + n a - 1 f ) 一1 n a 一， ( 2 1 0 ) 这个公式在回归诊断中有广泛的应用，由( 2 1 6 ) 式还可以得到以下两个常 用的公式： 中南大学硕士学位论文 第二章预备知识 ( x t x x j x 。) = ( x 7 x ) 一1 + ( x 7 x ) 。x j ( j x 1 ( x 7 x ) - 1 x j ) - 1 x l ( x r x ) 一， ( j a ) 一= ，+ ( j a ) 。1 a = i + a ( i a ) ， 其中j 为n x p 阶矩阵，x 。为m x p 阶矩阵，m o 用1 乘( 2 1 8 ) 式两端得 l r = 1 y = - j x p + i 占= x + + f ， 其中y = 一i y ，x = 1 x ，占= 1 占这时占( o ，盯2 j ) 因此由公式( 2 1 8 ) 和( 2 2 2 ) 可以得到 = ( x 7 。1 x ) x 7 y ， ( 2 2 5 ) = 击f ) 7 。1 ，= 击y r 。， ( 2 厕 其中e = y x p 。对于最大似然估计，( 2 2 5 ) 式不变( 2 2 6 ) 中以n - i 代( n p ) - 1 即可 参数口的置信域 今假定占一( o 盯2 ，) 。这时有： f = y - 一i v ( o , a 2 j ) ， i i p f i l 2 一仃2 2 2 ( p ) ， 秘1 1 2 = l l e r u 2 o - 2 2 2 ( n - p ) ， f 2 2 7 ) ( 2 2 8 ) ( 2 2 9 ) 由于p f = p 一= x ( p 一) 和q p = q y 独立，因此( 2 2 4 ) 可得： 畔f ( p ，斗一p ) 其中f ( p ，l p ) 为，分布因此的水平为1 一口的置信 p o t 域可表示为一个椭球： ( p 一) x 7 x ( 夕一) 矽2 f ( p ，n p ，l - a ) ， ( 2 3 0 ) 其中f ( p ，n p ，1 一口) 表示，分布的( 1 - a ) 中南大学硕士学位论文 第二章预备知识 2 3 数据删除模型 考虑( 2 1 8 ) 式中，删除第f 组数据( 薯，只) 以后的模型及其参数估计，这 个模型可表示为 y ( i ) = x ( f ) + 占( f ) ， ( 2 3 1 ) 此式为通用矩阵形式其中y ( f ) 和8 ( 0 分别为向圳维向量，分别去掉m 和毛得 到，x ( f ) 为( 以一1 ) x p 矩阵，由z 去掉第湃f z 得到这种模型就叫数据删除模型 则我们关于删除模型的参数估计可得到下面重要定理 定理2 7模型( 2 3 1 ) 和模型( 2 1 8 ) 式的和盯2 的参数估计有如下关系： 厕：夕一堡墅鳖，1 - - - j ，n “ 口2 ：( n - p - r i 2 ) d 2 n 一口一l 其中龟2 咒一兜， 兜= f 夕，2 孑了曼看， p i i 为j 生成的投影阵p = x ( x 7 x ) x 7 的对角元素，称为标准化残差删除模 型用来衡量删除第f 个数据点前后参数和盯2 的估计量的变化假若声与分( i ) 的 差异较大，则说明第i 个数据点对p 的影响较大，则说明第i 个数据点就值得怀 疑，也许它与其它数据点并非出自一个母体，也许这个数据点在数据集中具有特 别重要的作用 2 4 均值漂移模型 为了得到识别异常点的f 检验，为此，第f 组数据点( 咒，# ) 增加一个扰动， 这时，( 2 1 8 ) 可以写为： y 2 窖吩弦l ( 2 3 2 ) l y i = # + y + 毛， 其矩阵形式为： 1 4 中南大学硕士学位论文第二章预备知识 y = x p + y 4 4 - 占， ( 2 3 3 ) 其中4 表示一个维向量，其第f 个分量为，其他均为零，为扰动值，是一 个新参数，这个模型称为均值漂移模型今记该模型相应参数，盯2 的最小二乘 估计分别为：度，；和z 相应的残差平方和记为r s s 则有下面定理 定理2 8 模型( 2 3 1 ) 和( 2 3 2 ) 式相应的估计量与统计量都相同即 庶= 彦o ) ，毋2 = 屯2 ， 且有 p 一厕：笺堑堑， l 一风 ( 2 3 4 ) 扩 r = 一1 一儿7 定理2 8 说明，虽然数据删除模型均值漂移模型表达式表面形式不一样，但有关 参数的统计性质完全相同，因而用它们研究第f 个数据点( 咒，) 对估计量的影 响，其效果也一样我们进一步比较模型( 2 3 0 ) 式和( 2 3 1 ) 来分析这一问题 比较模型( 1 1 1 ) 式( 2 1 1 ) ，若p ( i ) 与夕有显著差异，则说明( 孔，) 可能为 异常点；比较模型( 2 1 8 ) 式与( 2 3 1 ) 式，若y 显著异于零，则说明( 咒，# ) 可 能为异常点而公式( 2 3 4 ) 说明二者一致的因为夕一夕o ) = ( x 7 x ) 一1 尹，所以， 若尹- - - - 0 ，则夕( f ) = 夕；若尹的值越大，则差值彦一p ( f ) 越大；反之亦然，因此， 差值p 一夕( f ) 的大小主要决定于扰动值尹得大小，从模型( 2 3 0 ) 式或模型( 2 3 1 ) 往根据需要选择其中之一加以研究通常，数据删除模型更为直观，均值漂移模 型更便于处理 中南大学硕士学位论文 第三章舍不等式约束线性模型的参数估计及影响点的判断 3 1 引言 第三章含不等式约束线性模型的参数估计 及影响点的判断 众所周知，对于影响点的判断是回归问题重要的一环，对于无约束问题，相 关结论已经很多，但对于含不等式约束问题的回归问题，正如第一章所说，这方 面的结论不多 对于有约束回归问题的主要困难在于不等式约束，它使得我们无法得到矽的 解析表达式，从而难以进行进一步的统计分析，近几年，由于数学规划的方法被 应用到统计中，得到了很多的重要结论本章，主要研究有约束的如下线性模型 l y i = 玉磊+ 弓， i = 1 , 2 , 3 ，n ia s 6 ， j = l 2 ，棚 ( 3 1 ) 则可以转化为非线性规划问题： r j 疵f f i l ( ) ，；一移) 2 ， ( 3 2 )、j 二j 卜4 ， j = l 2 ，m 其中为未知参数， ( ，y n ) ，i = l 2 , ，n 是一组观测数据，, a o r t a 的未知真 是值， 岛一n ( 0 ，盯2 ) ， = 1 ，2 ，3 ，n 是相互独立的随机误差通过非线性规划合矩阵求 逆的方法对( 3 2 ) 进行处理 3 2 记号和假设 问题( 3 2 ) 是一个数学规划问题，分别用只( ) ，s ，厄和 元= 院，矗：，l ) 表示其中的目标函数，可行解集合，最优解以及与之相联系 1 6 中南大学硕士学位论文第三章含不等式约束线性模型的参数估计及影响点的判断 的拉格朗日乘子，定义t = ( 象 ，r = c y ，y 一，e = c 印n x = c 五，。 4 = ( a ) 。，6 = 碱丸) 则( 3 1 ) 和( 3 2 ) 可写成如下的矩阵形式： y = x 风+ p ， ( 3 3 ) m i n ( y _ ，国仃一x f l ) ， ( 3 4 ) i 盯4 b ， 、。 为了保证( 3 2 ) 的解的正则性以及避免复杂的计算，我们作出如下假设： d l ： 刀足够大时，k = 五i = x x 是一个正定矩阵，1 in - 1 k 收敛到某一正定 矩阵 d 2 ：行向量a ，_ ，= 1 ，m 是线性无关的 触屁是 曲善鲫阳2 【s ，4 s ， ，= l ，2 ，i n 的唯一解，凡= 0 是唯一的相应的拉格朗日乘子 爿- 和d 2 是为了保证 肘( 。) = 屯 4 ， 0 j； 0 如 0 0 0 ，k = 1 ，m 是非奇异矩阵，一般在实际情况下都能得到满足 3 3 两类影响点的定义 有约束回归问题的影响分析不同于无约束情形，无约束问题考虑的影响( 样本) 点是指如果删去该样本点，则删去前后得到的估计量意，危( 乳) 之间的距离很大， 而对于有约束回归问题，情况比较复杂，矗处于可行解s 的不同位置时，其表 达式是不同的，所表示的意义也不一样例如我们考察一个有不等式约束的回归 问题，其可行解集为s = 暖，露) ：矗s 愈 ，如果危处s 的内部，即磊s 。 1 7 中南大学硕士学位论文 第三章含不等式约束线性模型的参数估计及影响点的判断 则可知巍 皮 忍，如果磊在s 的边界凹。= p ：届= 屈 岛 上，则可 知庭的前两个分量是相等的很显然由于反处于不同的位置，他所表示的意义就 大不一样了。所以我们在考虑有约束回归问题的影响点时，除了要注意删去样本 点前后估计量之间的距离，还要看估计量所处的位置是否发生了变化因此我们 认为应该考虑两类影响点，一类是指如果删去该样本点，则删去前后屯和屯( 乳) 不能用同一个公式表达；另一类是指成和吒( & ) 虽可以用同一个公式表达，但是 距离很大引起这种区别的主要原因在于矗和虞是否密切相关，他们随着众所 处的位置而发生变化 虽然，虞或者落在s 的相对内部s o 或者在其相对边界舔上，面部有s 的各 个面h ；以及他们的交集构成，这里 s 。= ：4 o 贝| j a 日，；4 危 岛，则毛。= o ，因此，如 果删去样本点后所引起的较大变化，那么对该样本点我们须予以重视，所以在考 1 9 中南大学硕士学位论文第三章含不等式约束线性模型的参数估计及影响点的判断 察有约束回归问题时，我们不仅要注意磊，同时也要注意拉格朗日乘子置是否 由于样本点的删除而发生了变化。本文对于删除第刀个样本点，采用了扰动的方 法，对第力个样本点施加扰动，当g 。一0 ，则可看作删除第力个样本点 如果吒和吃( 巩) 不能用同一个公式表达出来，则样本点( ，咒) 为第一类影响 点；如果二者可用同一公式表达，但是距离较大，则( ，虬) 为第二类影响点 3 4 l 和l ( g 。) 的估计以及第一类影响点的判断 为7 判断栗样本点是否为第一类影响点，我们仿效无约束l 旦l 归影响分析的做 法，找到 吒一吒( 六) 的公式，为此我们先找到屯的表达式 当h “。则判断某点是否为第一类影响点，我们用吒一吒( 晶) 进行分 析，为此我们先找到也的表达式吒= ( 象 ，接着利用扰动模型，在原模型的基础 上对第n 个数据施加扰动，可得到讹户哙矧的表达式，这样刻僦道了 吒一吒( 岛) 的表达式 首先我们要求出庭和矗的表达式，然后在求出对模型施加扰动后的a ( 巩) 和毛( 岛) 由非线性规划可知，巍，矗必须满足如下方程： 啪+ 1 = 1 以砷2 i = 1 确 ( 3 o 。)、o ， l 如卢= ，l = 1 ，2 ，k 令d = ( a s l a m ) ， ”瞪孙吨， 则由矩阵求逆公式可得： 小岫广鬈， 中南大学硕士学位论文第三章含不等式约束线性模型的参数估计及影响点的判断 其中，s = k 1 e i e - d ( d k l d ) 一1 d k ；1 ， k = x x ， 由此解得： 吒= 阱m 品四 再有矩阵逆的性质设 蚝蚓= ( ：甜 则有 q 1 = e d ( d k l d 。) _ 1 d k l + d d k l ( d k l d ) 一= e ， q ：= 屯( d k l d ) 。f d - d ( 1 d ) = 0 ， q 2 l = 1 一孵d ( 蜮d ) 。d k ；1 = o ， = d ( d k ：1 d ) 4 k 1 d = e ， 由上式司知： ( d k l d ) 。k 1 d = k 1 d ( d k l d ) - 1 则易得到估计磊以及五的表达式： 矗= sx y + k ：1 d ( d 硭d 。) 。b = f l + k ；1 d ( 职d ) 。p d 夕) ， 设 u 。= y x 虎= l ，一x 矽+ 巧1 d ( 孵d ) 一p d 夕) - - r - x 驴- ( x x ) - 1 f 虎+ ( x x ) 一1 d ( d ( x 。x ) 一1 d ) 一1 6 ) 其中夕= ( x x ) x y ， m = d ( d ( x x ) 一1 d ) 一1 d 元= ( d k l d ) 一d kx y 一( d k l d 。) 一b ， 此时得到得免得表达式为： t = 陆( 嬲：端心 ，