（应用数学专业论文）统计学中的一些矩阵理论及其相关应用.pdf

青岛科技大学研究 统计学中的一些矩阵理论及其相关应用 摘要 矩阵理论在现代统计学的许多分支都有广泛的应用，成为统计学中不可缺少 的工具。同时统计学中又提出了许多新的有关矩阵论的课题，刺激了矩阵论的发 展。本文给出了矩阵论中与统计学密切相关的几个方面，讨论了这些结果的统计 应用，特别是在线性模型参数估计和多元分析中的应用，这些结果都是在原有理 论的基础上的推广。 本文取得的主要结果如下： 1 第三章主要讨论矩阵偏序及其在线性模型比较中的应用。首先，简单介绍 了估计和模型比较的基础知识，然后在本章第三节利用矩阵偏序理论比较了广义 岭估计与l s 估计。在均方误差准则下，一些文献讨论了岭估计优于l s 估计的问 题，本章在此基础上，利用l 6 w n e r 偏序讨论了广义岭估计相对于l s 估计的优良 性质，推广了已有的结论。 2 第四章主要介绍了两类矩阵不等式及其在线性统计中的应用。首先，在 本章第二节介绍了k a n t o r o v i c h 不等式矩阵形式及其统计应用。k a n t o r o v i c h 不等 式在数理统计中有广泛的应用，m a r s h a l l 和o l k i n 把这个不等式推广到矩阵形式， 本节将其推广到了一般形式，扩大了它的适用范围。其次，在本章第三节介绍了 约束条件下矩阵迹不等式及其统计应用。矩阵特征值是矩阵论中一个重要内容， 它在许多方面都有广泛的应用。本节主要讨论一类特殊形式的矩阵特征值和它的 不等式，把已有结果推广到了一般形式。这些结果在数理统计中是十分有用的。 3 第五章简单介绍了m o o r e p e n r o s e 广义逆在多元分析中的应用。多元分析 的一个重要内容就是研究随机向量之间的关系，本章主要探讨了随机向量的典型 相关系数和广义相关系数之间的关系，给出了随机向量之间典型相关系数和广义 相关系数的一些结果。 关键词：广义岭估计k a n t o r o v i c h 不等式特征值矩阵的迹典型相关系数广义 相关系数 青岛科技大学研究生学位论文 s o m em a t r i xt h e o r yi ns t a t i s t i c sa n di t sa p p li c a t i o n a b s t r a c t m a t r i xt h e o r yh a sc o m ei n t ow i d eu s ei nm a n yb r a n c h e so ft h em o d e ms t a t i s t i c s a n dh a sb e c o m ea ni n d i s p e n s a b l et o o li nt h es t a t i s t i c s ，m o r e o v e rt h e i rd e v e l o p m e n t s h a v eb e e nc a u s e db ym a n yc o n c e m i n gp r o b l e m sp r o p o s e di nt h es t a t i s t i c s i nt h i sp a p e r , s o m ef u r t h e rp r o b l e m sr e l a t e ds t a t i s t i c sa r ei n t r o d u c e di nt h em a t r i xt h e o r y b e s i d e s ， s o m ea p p l i c a t i o n so ft h ea b o v er e s u l t sa r ea l s od i s c u s s e di nt h es t a t i s t i c s ，e s p e c i a l l yi n t h ep a r a m e t e re s t i m a t eo ft h el i n e a rm o d e la n di nt h em u l t i v a r i a t e 皿er e s u l t sa r e e x t e n s i o nf o r m so nt h eb a s i so ft h eo r i g i n a lt h e o r y ，n l em a i nr e s u l t so ft h i sp a p e ra r el i s t e di nt h ef o l l o w i n g 1 i nc h a p t e rt h r e e ，w ed i s c u s st h ep a r t i a lo r d e r i n g so fm a t r i xa n di t sa p p l i c a t i o ni n t h ec o m p a r i s o no ft h em o d e l h m f l y w es i m p l yi n t r o d u c et h eb a s i ck n o w l e d g eo ft h e c o m p a r i s o no fe s t i m a t ea n dm o d e l t h e n ，w eu s em a t r i xp a r t i a lo r d e rt h e o r yt o c o m p a r et h eg e n e r a l i z e dr i d g ee s t i m a t i o nw i t ht h el e a s ts q u a r ee s t i m a t i o n i n s e c t i o nmo ft h i sc h a p t e r i ns o m el i t e r a t u r e ，t h ep r o b l e mf o r t h es u p e r i o r i t yo fr i d g e e s t i m a t i o no v e rl e a s ts q u a r ee s t i m a t i o ni ss t u d i e di nt h es e n s eo fm e a ns q u a r ee r r o r ；i n t h i ss e c t i o n ，w eu s et l l e 执，n e rp a r t i a lo r d e r i n gt od i s c u s st h es u p e r i o r i t yo ft h e g e n e r a l i z e dr i d g ee s t i m a t i o no v e rl e a s ts q u a r ee s t i m a t i o n , a n dt h ek n o w nc o n c l u s i o n s h a v eb e e ne x t e n d e d 2 i nc h a p t e rf o u r , w em a i n l yi n t r o d u c et h et w ot y p e so fm a t r i xi n e q u a l i t i e sa n d t h e i ra p p l i c a t i o n si ns t a t i s t i c s h m f l y ，i ns e c t i o nio ft h i sc h a p t e r ，w ei n t r o d u c et h e e x t e n s i o n so ft h em a t r i xk a n t o r o v i c h t y p ei n e q u a l i t i e sa n di t sa p p l i c a t i o ni ns t a t i s t i c s k a n t o r o v i c hi n e q u a l i t i e sp l a ya l li m p o r t a n tr o l ei nm a t h e m a t i c a ls t a t i s t i c s m a r s h a l l a n do l k i ng e n e r a l i z e di tt om a t r i xv e r s i o n s i nt h i ss e c t i o n ，w eg i v en e we x t e n s i o n so f t h em a t r i xk a n t o r o v i c h t y p ei n e q u a l i t i e s i t sa p p l y i n gs c o p ei se x p a n d e d s e c o n d l y , i n s e c t i o ni io ft h i sc h a p t e r , w ei n t r o d u c et h ei n e q u a l i t i e so fh e r m i t i a nm a t r i xt r a c ew i t h c o n s t r a i n e dc o n d i t i o na n di t s a p p l i c a t i o ni ns t a t i s t i c s m a t r i xe i g e n v a l u e i sa l l i m p o r t a n tc o n c e p t i o ni nm a t r i xt h e o r ya n di th a sm a n ya p p l i c a t i o n si no t h e rs u b j e c t s 统计学中的一些矩阵理论及其相关应用 i nt h i s s e c t i o n ，t h et r a c eo ft h es p e c i a lf o r mm a t r i xi sm a i n l yd i s c u s s e da n dt h e i n e q u a l i t i e so fh e r m i t i a nm a t r i xw h i c ha r ee x t e n s i o nf o r m so ft h ek n o w nr e s u l t sa r e g o t t e n t h e s ei n e q u a l i t i e sa r ev e r yu s e f u li nm a t h e m a t i c a ls t a t i a i c s 3 i nc h a p t e r 伽e ，w es i m p l yi n t r o d u c et h ea p p l i c a t i o no fm o o r e p e n r o s ei n v e r s ei n m u l t i v a r i a t ea n a l y s i s i ti sa ni m p o r t a n tc o n t e n to ft h em u l t i v a r i a t ea n a l y s i st os t u d yt h e r e l a t i o n s h i po fr a n d o mv e c t o r s i nt h i sc h a p t e r , w eg e ts o m er e s u l t sa b o u tc a n o n i c a l c o r r e l a t i o nc o e f i c i e n ta n d g e n e r a l i z e dc o r r e l a t i o nc o e f f i c i e n to fr a n d o mv e c t o r k e yw o r d s ：g e n e r a l i z e dr i d g ee s t i m a t i o n k a n t o r o v i c hi n e q u a l i t ye i g e n v a l u e t r a c eo fm a t r i x c a n o n i c a lc o r r e l a t i o nc o e f f i c i e n t g e n e r a l 娩e dc o r r e l a t i o nc o e f f i c i e n t i v 青岛科技大学研究生学位论文 a 互 a 。 a 一1 a a + a 0 a 0 l a l 或d e t ( a ) 印( a ) 五( 舢 a ( a ) r k ( a ) 4 a ) e 仁) v a r ( x ) c o v ( x ，功 l s 估计 m v u 估计 m s e m s e m g m s e 符号说明 矩阵a 的转置 矩阵a 的共轭 矩阵a 的共轭转置( 即矛) 矩阵a 的逆矩阵 矩阵a 的广义逆矩阵 矩阵a 的m o o r e p e n r o s e 广义逆矩阵 a 为半正定阵( 实对称或h e r m i t e 阵) a 为正定阵( 实对称或h e r m i t e 阵) 表示矩阵a 为行列式 表示矩阵a 的迹 表示矩阵a 的第f 个顺序特征值 表示矩阵a 的奇异值 表示矩阵a 的秩 表示矩阵a 的列向量张成的子空问 随机变量或者向量x 的均值 随机变量z 的方差 随机变量或者向量石，】，的协方差 最小二乘估计 最小方差无偏估计 均方误差 均方误差阵 广义均方误差 v 青岛科技大学研究生学位论文 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含本人已用于其他学位申请的 论文或成果。与我一同工作的同志对本研究所做的任何贡献均己在论文中做了明 确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 似奄j 、f 为 日期： 沙口1 年b 月，了日 关于论文使用授权的说明 本学位论文作者完全了解青岛科技大学有关保留、使用学位论文的规定，有 权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人离校后发表或 使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为青岛科 技大学。( 保密的学位论文在解密后适用本授权书) 本学位论文属于： 保密口，在年解密后适用于本声明。 不保密口。 ( 请在以上方框内打“ ) 本人签名： 导师签名： 日期：弘咋年；月f ；日 日期：砷年月多日 4 1 青岛科技人学研究生学位论文 1 1 研究背景及发展现状 1 绪论 矩阵理论在数值计算、线性规划、数据分析、科学试验、信号传输等重大领 域有着极其广泛的应用。随着科技日新月异地进步，人类社会开始步入信息化、 数字化时代，矩阵在生产实践中的应用越来越广泛，矩阵理论的研究也就越来越 重要 1 】。 矩阵理论在现代统计学的许多分支有着广泛的应用，成为统计学中不可缺少 的工具，而且，随着研究的深入和应用的发展，矩阵与统计学之间的关系会越来 越深刻。一方面，统计学对矩阵研究提出了许多新的研究课题，刺激了有关矩阵 理论研究的发展：另一方面，矩阵理论中的结果被越来越多地应用于统计学的理 论研究及其应用中。近三十年，许多统计学家致力于这方面的研究，并撰写了很 多这方面的论文和著作，其中很多结论在统计学的研究中发挥着很大的作用。近 三十年矩阵研究中一些与统计学有密切关系的新发展，包括它们在统计中的应 用，这些研究结果一开始就渊源于统计问题。本文皆在向读者介绍矩阵论中并与 统计学密切有关的如下几个方面：矩阵偏序、矩阵不等式、广义逆矩阵等，这些 方面与统计学息息相关，特别是在多元分析和线性模型参数估计中都有着重要的 应用。 矩阵偏序是当前矩阵论研究的一个热点，国内外许多学者从事矩阵偏序的研 究，他们研究各种类型的矩阵偏序，并将其应用到数理统计等学科中。在矩阵的 偏序中，三执忉仃偏序的研究比较活跃，在某些方面已经得到了深入的研究，并 得到了一些有用的结果。l 6 w n e r 偏序的一个重要的应用就是线性模型和估计的 比较，其中，协方差阵和均方误差阵的偏序都刻画了估计的优劣，在比较线性模 型的相关估计中起到了重要的作用，这方面的主要文献是 2 。 关于矩阵不等式，已经出版了若干部英文专著，其中最有影响的是h a r d y ， l i t t l e w o o d 和p o l y a 的“i n e q u a l i t i e s ”3 1 ，b e c k e n b a c k 和b e l l m a n ( 1 9 6 1 ) 的 “i n e q u a l i t i e s ”4 1 以及m a r s h a l l 和o l k i n ( 1 9 7 9 ) 的“i n e q u a l i t i e s ：t h e o r yo f m a j o r i z a t i o na n d i t sa p p l i c a t i o n s ”f 5 1 。这些书或以数量和函数的不等式为主要讨 论对象，或从某一特定方向研究一类数量或矩阵的不等式。随着矩阵理论的迅速 统计学中的一些矩阵理论及其相关应用 发展及其在自然科学、工程技术和社会经济等领域的广泛应用，关于矩阵不等式 的新结果层出不穷，它们或是经典不等式的改进与推广，或是完全新型的不等式， 或是应用的深入与拓广，这些理论在统计的研究中也起到很大的作用。 广义逆矩阵是上世纪矩阵理论的项极为重要的新发展【6 1 ，广义逆的概念最 早由r e d h o l m 于1 9 0 8 年提出的，他给出t f r e d h o l m 积分算子的广义逆，h u r w i t z 于1 9 1 2 年利用有限维f r e d h o l m 积分算子的零空间给出了此类广义逆的一个简单 的代数表征，h _ i l b e r t 于1 9 0 4 年讨论广义g r e e n 函数时曾提出了微分算子的广义 逆，之后许多学者研究了微分算子的广义逆，特别是m y l l e r 、w e s f f a l l 、r e i d 等。 1 9 2 0 年，m o o r e 首次提出了矩阵的广义逆，他利用投影矩阵定义了唯一的广义逆。 b j e r h a m m e r 在不知道m o o r e 结果的情形下，重新提出了广义逆矩阵的定义，利用 广义逆给出了线性方程组的解。b o t t 和d u f f i n 在研究电网络理论时，引进了后来 被称为b o t t d u f f i n 广义逆。但这时期的研究工作是零散的。在p e n r o s e l 9 5 5 年证 明了m o o r e 所定义的广义逆是满足四个矩阵方程的唯一的矩阵之后，广义逆矩阵 得到迅速发展并在应用学科的诸多领域获得广泛的应用。近四十年来，广义逆矩 阵理论在最优化、数理统计、算子理论、经济学和计算数学等众多数学分支和工 程科技领域发挥了重大作用。尤其在研究最小二乘问题、病态线性、非线性问题， 回归，分布估计，多元分析等统计问题，规划问题，控制论，网络问题的过程中， 广义逆是不可或缺的研究工具。 1 2 本文的主要研究工作 本文共分五章，第一章是绪论，这一章主要介绍与统计学相关的矩阵理论 的发展现状及研究意义，以及交代了本文的主要研究工作；第二章是预备知识， 列举了阅读本文所需有关矩阵方面的预备知识，为下几章矩阵知识的运用做了铺 垫；第三章主要讨论矩阵偏序及其在线性模型比较中的应用，l 6 w n e r 偏序的一 个重要的应用就是估计和模型的比较，在本章第三节利用矩阵偏序理论比较了广 义岭估计与l s 估计，并具体讨论了广义岭估计相对于l s 估计的优良性；第四章 主要讨论了两类矩阵不等式及其在线性统计中的应用，其中分别讨论了 k a n t o r o v i c h 不等式矩阵形式的推广及其在统计中的应用和约束条件下矩阵迹不 等式及其在统计中的应用，两部分都是在原有理论的基础上，把已有结果推广到 了一般形式，扩大了它们的适用范围，这些结果在统计学中都有重要的用途；第 五章介绍了m o o r e p e n r o s e 广义逆在多元分析中的应用。多元分析的一个重要内 容就是研究随机向量之间的关系。对于不同类型的矩阵a 和刀，讨论了随机向量 2 青岛科技大学研究生学位论文 x 和y 的典型相关系数与触和毋的典型相关系数之间的关系，从而得到了x 和y 的广义相关系数与血和毋的广义相关系数之间的关系。 关于这些方面研究的结果都已经发表到相关的期刊上。 3 统计学中的一些矩阵理论及其相关应用 2 预备知识 矩阵分析及其不等式理论是线性模型中不可或缺的工具，其中涉及的内容 繁多，由于篇幅所限，本文不可能逐一地详加阐述，因而本章仅将线性模型中经 常用到的且与本文相关的一些矩阵知识给予系统而扼要地介绍，并将一些常用结 果不加证明地汇集一下，以便读者查阅，详细的证明过程请参见文献【7 - 1 2 。 2 1h e r mit e 阵 设a ；口。为聆阶方阵，记= 刁，即取共轭同时又转置。若a a ，则称a 是一个h e r m i t e 阵，当a 为实矩阵时，h e r m i t e 阵就是实对称阵。 h e r m i t e 阵具有许多类似于实对称阵的重要性质。 定理2 1 1 设a 为，z 阶h e r m i t e 阵，则 ( 1 ) a 的所有特征值都是实数； ( 2 ) 存在一个酉阵u ，即u 满足【，。u l ，使得 u 。a u = d i a g ( 2 q ，以) ， 即h e r m i t e 阵一定是酉相似与对角阵。 定理2 1 2 设a 为疗阶h e r m i t e 阵，则a 0 当且仅当下列条件之一成立。 ( 1 ) a 的所有特征值为非负； ( 2 ) 存在一个h e r m i t e 阵曰，使得a = b 2 ； ( 3 ) 存在t x n 矩阵b ，其中t = ，( 4 ) ，使得a = 曰术b ； ( 4 ) 对任一复方阵p ，p a p z o _ ； ( 5 ) a 的所有主子式为非负。 定理2 1 3 设a 为，2 阶h e r m i t e 阵，则a 0 当且仅当下列条件之一成立。 ( 1 ) a 的所有特征值为正数； ( 2 ) 存在一个可逆h e r m i t e 阵曰， 鲧j l a - b 2 ； ( 3 ) 存在可逆复方阵口，使得a = 口幸b ； 4 青岛科技大学研究生学位论文 ( 4 ) 对任一可逆复方阵p ，p a p 0 ： ( 5 ) a 的所有主子式为正数； ( 6 ) a 的所有顺序主子式为正数。 定理2 1 4 设a ，曰为两个脬阶h e r m i t e 阵g b 0 ，则存在可逆阵q ，使得 a - q a q ， b - q q ， 其中人= 击昭( 五，九) ，乃( 歹= 1 ，玎) 为仰。1 的特征值。 定理2 1 5 设a ，b 为两个甩阶h e r m i t e 阵，则存在酉阵u ，使得u a u 和 u b u 为对角阵，当且仅当a b = b a 。 定理2 1 6 设a ，b 为两个同阶半正定h e r m i t e 阵，则存在可逆阵q ，使得 q a q 和q 曰q 皆为对角阵。 2 2 矩阵分解 所谓矩阵分解，就是将一个矩阵写成某种意义上讲比较简单或对它的性质比 较熟悉的若干矩阵的乘积。本节主要叙述一般矩阵的几种重要分解。 定理2 2 1 ( s c h m i d t 三角化分解) 设a 为研刀复矩阵，( 彳) = 胛，则存在疗刀 上三角阵r 和m x l , l 的矩阵q ，q q l ，使得a = o r 。 定理2 2 2 ( 秩分解) 设a 为m 刀复矩阵，则存在两个可逆阵一和， 使得 a t p ( 乞：) q ， 这里f = r ( a ) 。 定理2 2 3 ( 满秩分解) 设a 为棚玎复矩阵，r ( a ) = r ，则存在班，署- i t x nh 5 统计学中的一些矩阵理论及其相关应用 秩为f 的矩阵曰和c ，使得 a = b c 。 定理2 2 4 ( 奇异值分解) 设a 为m n 秩为f 的复矩阵，则存在两个酉阵u 和吒。，使得 a ；u ( 言三) y ， 其中= d i a g ( o , ，q ) ，呒 0 , i = 1 ，f 矗- 砰，五- 砰为a a 的非零特征值。 注：o 1 - 胆，q = 写胆成为a 的奇异值。 2 3 广义逆矩阵 广义逆矩阵的研究可以追溯到1 9 3 5 年的m o o r e 的著名论文【1 3 】，m o o r e 用如 下四个条件： a x a = a ， x a x = x ， ( 艋) = t t x ， ( x a ) 一x a ， 定义了a 的广义逆x 。但是，在此后的2 0 年中，这种广义逆几乎没有引起人们 的多少注意，直到1 9 5 5 年，p e n r o s e 1 4 h ：l a j t 满足上述条件的广义逆具有唯一性 之后，广义逆的研究才真正为人们所重视，基于这个原因人们把满足上述四个条 件的广义逆称为m o o r e p e n r o s e 广义逆。 本节主要介绍以下两种经常应用的广义逆： 2 3 1 广义逆a 一 定义2 3 1 对矩阵a 拟。，一切满足方程组 嬲= a 6 青岛科技大学研究生学位论文 的矩阵x ，称为矩阵a 的广义逆，记为a 一。 下面的定理解决了a 一的存在性和构造性问题。 定理2 3 1 设a 为m n 矩阵，心 ) = ，若 a ， 这里p 和q 分别为m m ，r l ，2 的可逆阵，则 a 一- q d ( ：三) p 1 ， 这里刀，c 和d 为适当阶数的任意矩阵。 下面的两个定理圆满地解决了用广义逆矩阵表示相容线性方程组集的问题。 定理2 3 2 设a x = b 为一相容方程组，则 ( 1 ) 对任一广义逆a 一，x = a b 必为解； ( 2 ) 齐次方程组血= o 的通解为x = ( j a 一4 ) z ，这里z 为任意的向量，a 一为 任意固定的一个广义逆； ( 3 ) a x = 6 的通解为 x = a b + ( i - a a ) z ， 其中a 一为任意固定的一个广义逆，z 为任意的向量。 定理2 3 3 设a x = b 为相容线性方程组，且b 0 ，那么，当a 一取遍a 的所 有广义逆时，z a b 构成了该方程组的全部解。 下面一定理讨论分块矩阵的广义逆。 定理2 3 4 ( 分块矩阵的广义逆)( 1 ) 若钳存在，则 ( 如a l l 圩( 竹凳嚣小心 ( 2 ) 若砭存在，则 7 统计学中的一些矩阵理论及其相关应用 院a l la 1 2 - m ( 一文州+ 麓臻：) ( 3 ) 若 1 ；滗挣o ， 则 n a i i i - 1 - 心一警j ) 埘如。 j 或小( 一文：鹾+ 苁怂：砭) ， 2 3 2 广义逆a + 从上段的介绍知，一般来说广义逆a 一有无穷多个。在这无穷多个a 一中，有一 个a 一占有特殊的地位，它就是本节一开始提到的m o o r e p e n r o s e 广义逆。 定义2 3 2 设a 为任一矩阵，若x 满足下述四个条件： a x a = a ，x a x = x ，( a x ) 一a x ，( x a ) 一x a ， 则称矩阵工为a 的m o o r e p e n r o s e 广义逆，记为a + 。 引理2 3 1 ( 奇异值分解) 设a 为m x l l 秩为，的矩阵，则存在两个正交阵 和q ，使得 一( a ，弦a 其中a ，t d i a g ( q ，4 ) ，丑 o ，i - 1 ，彳，砰为a a 的非零特征值。 定理2 3 4 ( 1 ) 设a 的分解式满足上式，则 8 青岛科技大学研究生学位论文 质： n q 陌 ( 2 ) 对任何矩阵a ，a + 惟一。 因为a + 是一个特殊的a 一，因此，它除了具有a 一的全部性质外，还有以下性 定理2 3 5 ( 1 ) ( 彳+ ) + = 彳； ( 2 ) ( a + ) ；( a ) + ； ( 3 ) ，a + a ； ( 4 ) r k ( a + ) = 庸( 么) ； ( 5 ) a + 一( a ，a ) + a - a 7 ( 从) + ； ( 6 ) ( a ，a ) + 一a + ( a 7 ) + 。 2 。4 偏序 条： 所谓偏序，是指在一个集合s 上定义的一种关系，记为“ - ”，他满足如下三 ( 1 ) 自反性：x - x ，对一切z s 成立； ( 2 ) 传递性：若x - y ，y 一z ，则x 卜z ； ( 3 ) 若x 卜y ，y _ x ，则x = y 。 如果x 和y 皆为s 中元素，且x y 或者y - x 至少一个成立，则称x 与y 是可 比的。在定义了偏序的集合中，并不是任何两个元素都是可比的，这就是称其为 偏序的原因。 设s 为刀阶方阵的全体，若曰一a 0 ，即曰一a 为半正定阵，则称a 低于曰，记 为b a 或者a b ，s 上的这种关系是一种偏序，称为l 6 w n e r 偏序，特别，当 曰一a 0 时，记为b a 或者a 曰。l 6 w n e r 偏序在统计中有广泛应用。 假定a 和b 为两个，z 阶h e r m i t e 阵，本节研究a 曰和a 曰的基本性质。 9 统计学中的一些矩阵理论及其相关应用 定理2 4 1 ( 单调性) 设a 和曰为两个，z 阶h e r m i t e 阵， ( 1 ) 若a 曰，则丑( a ) 丑( b ) ，f = 1 ，玎； ( 2 ) 若a 曰，则丑( a ) 丑( b ) ，f = 1 ，玎。 定理2 4 2 设a b 0 ，则 ( 1 ) t r a t r b ； ( 2 ) d e t a d e t b ； ( 3 ) ，( 彳) ，( 曰) 。 定理2 4 3 设a 和b 为两个r l 阶h e r m i t e 阵，p 为n x k 矩阵， ( 1 ) 若a 召，则尸a p a p b p ； ( 2 ) 若r ( p ) = 七，a b ，则p a p p 卯。 定理2 4 4 设a b 0 ，则 ( 4 ) c ( b ) 。 1 0 青岛科技大学研究生学位论文 3 1 引言 3 矩阵偏序及其在线性模型比较中的应用 矩阵偏序是当前矩阵理论研究的一个热点，国内外许多学者都在从事矩阵偏 序的研究，他们研究各种类型的矩阵偏序，并应用到数理统计等学科中。矩阵偏 序在线性模型参数估计中有广泛的应用，本章主要将矩阵偏序用于估计与模型的 比较中，特别是利用协方差阵和均方误差阵的偏序刻画了估计的优劣。有关线性 模型中有偏估计的研究一直是统计学中回归分析的热点问题。它有效的解决了l s 估计方法在处理共线性问题中的缺陷和估计的不可容许性。在众多的有偏估计 中，影响较大的是岭估计、广义岭估计、主成分估计、s t e i n 压缩估计和特征根 估计等。在统计学中，对这些不同估计进行比较的准则很多，一般情况下是针对 有偏估计和l s 估计之间的比较，文献 8 在均方误差准则下，利用均方误差阵的 偏序讨论了岭估计优于l s 估计的问题。本章在此基础上，首先介绍了l 6 w n e r 偏 序的一个重要的应用即估计和模型的比较，并在第三节比较了广义岭估计和l s 估计，讨论了广义岭估计相对于l s 估计的优良性质，推广了文献 8 的结论，这 些都说明了矩阵偏序在估计与模型比较中的重要性。 3 。2 估计和模型的比较 估计和模型的比较与选择是将估计和模型的理论与方法付诸实践所遇到的 一个十分重要的问题。对于估计和模型的比较，一般是对有偏估计和l s 估计， 本节简单介绍一下估计和模型比较的一些理论与方法。 我们首先引入一般线性统计模型，含有p 一1 个自变量的线性模型的一般形式 为： y = p o + 屈互+ + 以一1 x 川+ 占， 若对因变量l ，和自变量墨，x p - 1 进行了，z 次观察，得到的刀组数据： 统计学中的一些矩阵理论及其相关应用 ( y j ，五1 ，一，一1 ) ，i = 1 ，n 。 记 y = m y 2 ： 儿 ，x = 1 五1 1 艺1 1 以1 ，8i 届 展 ； 9 p ，g2 q 乞 ： 乞 其中乞为第f 次试验的随机误差，其均值e ( 毛) 一o ，协方差e o v ( c , ，o ) = 仃2 巧， i ，j = 1 ，n 。则得线性模型： y = x f l + s ，e ( 8 ) = o ，c o v ( 6 ) = 口2 ， 这里y = ( ) ，x 被称为设计阵，( x ) = f p 。 在统计学中，最重要的兴趣是针对设计阵x 和协方差阵v 的不同情况，对 或者它的线性组合c 作出具有良好性质的估计，所采用的方法主要是最小二乘 原理。对不同估计进行比较的准则很多，如果被比较的估计都是偏估计，那么协 方差阵和均方误差阵是最常用的标准。考虑一般的参数估计问题，假设鼋和晓为 未知参数向量矽的两个无偏估计，当它们的协方差阵满足 c 。v ( 反) c o v ( 幺) ( 3 2 1 ) 时，则称幺至少与盆一样好。假若鼋和龟中至少有一个无偏估计，则采用均方误 差阵比较合理。 为了以后的需要，我们先引进评价一个估计优劣的标准均方误差( m e a n s q u a r e de l r o r s ，简称m s e ) 。 设0 为p x l 的未知参数向量，台为0 的一个估计，定义参的均方误差为 m s e ( o ) = e 0 痧一o i l 2 = e ( 台一护) ( 舀一口) 定义否的均方误差矩阵为 删( 痧) 一e ( 西一目) ( 舀一p ) 。， 均方误差度量了估计痧与未知参数向量0 的平均偏离的大小，一个好的估计应该 ； 彬7 耵 青岛科技大学研究生学位论文 有较小的均方误差。 如果 施聊( 谚) 旌聊( 晓) ， ( 3 2 2 ) 则称在均方误差阵意义下反至少与反一样好。 注意到( 3 2 1 ) 和( 3 2 2 ) 都是矩阵的偏序关系，这表明，协方差阵和均方误 差阵的偏序都刻画了估计的优劣。 h o e r l 和k e n n a r d 在1 9 7 0 年提出了岭估计 1 5 ，它是一种重要的有偏估计。 文献 6 在均方误差准则下，对岭估计和l s 估计进行了比较，并讨论了岭估计优 于l s 估计的问题。下一节在此基础上，利用本节估计和模型比较的相关理论， 对广义岭估计和l s 估计进行了比较，讨论了广义岭估计相对于l s 估计的优良性 质，并推广了文献 8 的结论。 3 3 广义岭估计相对于l s 估计的优良性 考虑线性回归模型 y = x f l + e ，e ( e ) = o ，c o v ( e ) = 仃2 厶 ( 3 3 1 ) 其中少是n x l 可观测向量，x 是n x p 列满秩设计矩阵，是p x l 未知参数向量， e 是忍x l 随机误差向量，。是疗刀单位矩阵。 线性模型中最小二乘估计( l e a s ts q u a r e se s t i m a t i o n ) 具有许多良好的性质， 其中最重要的是g a u s s m a r k o v 定理，刻画了最小二乘估计在线性无偏估计类中的 最优性，证明了l s 估计在一切线性无偏估计中具有最小方差，但并不表明在整 个线性估计类中是最好的估计。实际应用中会经常遇到含有较多自变量的大型回 归问题，此时设计阵x 的列向量往往具有多重共线性或者近似的多重共线性，l s 估计的精度降低，表现相当不稳定，估计精度较差。 1 9 5 5 年s t e i n 证明了对多元正态分布，在平方损失下其均值向量的l s 估 计是不可容许的。因而均值向量的所有无偏估计都是不可容许的。随后，j a m e s 和 s t e i n 又提出了著名的j a m e s - s t e i n 压缩估计，在二次损失下，它优于l s 估计。 从此，有偏估计的研究吸引了相当一些统计学家，相继提出了很多新的有偏估计。 1 9 7 0 年，h o e r l 和k e n n a r d 提出一种有偏估计，称为岭估计( 也称狭义岭估计) 。 统计学中的一些矩阵理论及其相关应用 其主要思想是在设计阵的计算中引入一个偏参数，通过对此参数的合理取值来消 除由于复共线性带来的估计误差，后来统计学家对这种估计方法中的单变量的偏 参数扩展到了偏参数矩阵，称为广义岭估计。近十年的应用实践表明，当设计阵 病态时，岭估计确实改进了l s 估计。文献 8 在均方误差准则下讨论了岭估计相 对于l s 估计的优良性，文献 1 6 1 7 讨论了在均方误差意义下岭估计优于最小二 乘估计的问题，给出了岭估计优于最小二乘估计的条件。本节在此基础上，讨论 了广义岭估计相对于l s 估计的优良性质( 参见文献 1 8 ) 。 定义3 3 1 设痧为p 1 未知参数向量目的估计量，称删( 谷) e ( 矽一口) ( 否一口) 为痧的均方误差矩阵，称m s e ( o ) 一e ( 西一目) ( 毋一口) 为痧的均方误差。 设鼋和皖为秒的两个估计， 若删( 魂) 一删( 反) o ( 或者 拟姬( 皖) 一旌e ( 反) o ) ，则称鼋在朋删或者船准则下优于晓。 定义3 3 2 对于线性回归模型( 3 3 1 ) 回归系数的最d x - - 乘