（计算数学专业论文）不确定数据的最小二乘.pdf

南京航空航天大学硕士学位论文 摘要 最小二乘是处理参数估计问题的一种有效方法。本文研究部分有界不确定数 据的估计问题，并推广有界变量误差模型。为了有效处理不确定数据的参数估 计问题，本文提出并解决了部分有界不确定数据( p b d u ) 的参数估计问题：即 考虑系数矩阵的某个分块矩阵存在扰动的情形。其优点在于：只要不超出给出 的界，扰动可以任意变化，这样就避免了过分保守和敏感的设计。不同于有界 不确定数据设计，最坏情形下的残向量没有保守正交性。本文还将有界变量误 差模型推广到右端观测向量也带有有界扰动，利用奇异值分解，分析长期方程， 给出问题的最优解。数值结果表明本文提出的方法对计算某类不确定数据的参 数估计问题是有效的。 关键词：不确定性；最小二乘估计；总体最小二乘；最坏情形扰动；长期方程 不确定数据的最小二乘 a b s t r a c t t h el e a s t s q u a r e sm e t h o di se f f e c t i v ef o rs o l v i n gt h ep a r a m e t e re s t i m a t i o n p r o b l e m t h i sp a p e r s t u d i e st h e p a r a m e t e r e s t i m a t i o nw i t h p a r t b o u n d e dd a t a u n c e r t a i n t i e s ，a n ds o l v e st h ee x t e n s i o nf o rt h eb o u n d e de r r o r s i n - v a r i a b l e sm o d e l s t h ee s t i m a t i o nw i t hp a r tb o u n d e dd a t au n c e r t a i n t i e si sp o s e da n ds o l v e di nt h ep a d c r f o re 币c i e n t l yc o m p u t a t i n g t h a ti st oc o n s i d e rt h ec a s et ow h i c ho n l ys e l e c t e db l o c k o ft h ec o e f f i c i e n tm a t r i xi ss u b j e c tt op e r t u r b a t i o n s , w h i l et h er e m a i n i n g sa r ek n o w n p r e c i s e l y i t ss u p e r i o rp e r f o r m a n c ei sd u et ot h ef a c tt h a tt h en e wm e t h o dg u a r a n t e e s m a tt h ee f f b c to ft h eu n c e r t a i n t i e sw i l ln e v e rb eu i l r l c c c s s a r i l yo v e r - e s t i m a t e d b e y o n d w h a ti sr e a s o n a b l ya s s u m e db yt h ea - p r i o rb o u n d s ，c o n s e q u e n t l y , o v e r l yc o n s e r v a t i v e d e s i g n s ，a s w e l la s o v e r l ys e n s i t i v ed e s i g n s ，a r ea v o i d e d i nc o n t r a s t t ot h eb d u e s t i m a t i o n ，o n c et h ew o r s t - c a s e p e r t u r b a t i o n i s i d e n t i f l e d , t h e s o l u t i o nc a n n o tb e c h a r a c t e r i z e db yt h eo r t h o g o n a l i t yc o n d i t i o n a n o t h e rp e r f o r m a n c ei nt h ep a l e ri st o e x t e n dt h eb o u n d e de t l o r s - i n - v a r i a b i c sm o d e lt 0t h e o n ei nw h i c ht h er i g h t o b s e r v a t i o nv e c t o r si sa l s o s u b j e c t t ot h e p e r t u r b a t i o n s w e i n t r o d u c et h es v d d e c o m p o s i t i o no f t h ec o e f f i c i e n tm a t r i x a n da c h i e v et h eo p t i m a ls o l u t i o n n u m e r i c a l r e s u l t ss h o wt h em e t h o d st h e p a p e rp r o p o s e sa r ee f f e c t i v ef o rc o m p u t a t i n gs o m e p r o b l e mw i t h d a t au n c e r t a i n t i e s k e y w o r d ：u n c e r t a i n t y ；l e a s t s q u a r e se s t i m a t i o n ，t o t a ll e a s t - s q u a r e s ；w o r s t c a s e p e r t u r b a t i o n ；s e c u l a re q u a t i o n 承诺书 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立 进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本 论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明 确方式标明。 本人授权南京航空航天大学可以有权保留送交论文的复印件，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或其他复制手段保存论文。 作者签名：! 趸童：蛾、 日 期：型篮：立：i7 南京航空航天人学硕士学位论文 注释表 用大写字母表示矩阵，小写字母表示向量，小写希腊字母表示数。 表示珂维实向量空间”表示所有月x m 实矩阵。 x 和7 分别表示向量x 和矩阵的转置，x 。表示x 的第k 个元素。 d e t ( a ) 表示矩阵爿的行列式。 ，表示玎阶单位阵，在不产生混淆时，用，表示单位矩阵。 d i a g ( c r i ，仃2 ，盯。) 表示对角元素依次为盯i ，口! ，仃。的 阶对角矩阵： r a n g e ( a ) 或者r ( a ) 表示矩阵a 的值域。 r a n k ( a ) 表示矩阵a 的秩。 五。表示a 的某个特征值。 a + 表示矩阵a 的p e n r o s e 广义逆。 如不特别声明，所有的矩阵、向量范数均为2 一范数。 i | _ | | 。表示f r o b e n i u s 范数。 如果一，x 2 。一x 。是m 个，l 维向量，则x = k ，。，r ，。】表示一个 m 矩阵， 其中r ，表示的第i 列：s p a n ( x i ，x 2 ，x 。，) 或s p a n ( x ) 表示由x 的列所张成的子 空间。 如不特别声明，z 上y 表示向量工与y 正交，而x 上u r ”表示向量x 和l + 的各列所张成的子空间正交。 壹室堕窒塾丕查堂堡主堂垡丝奎 第一章引言 最小二乘方法是处理不确定数据的有效方法之一，它在图像恢复、图像分 割、数字信号处理、数字通讯、统计等领域有广泛的应用 卜1 0 e 其研究具有 重要的理论意义和应用价值，吸引了国内外许多专家从事该领域的研究，并取 得了许多重大进展。 估计的基本问题就是利用一系列不完整、遭到破坏的数据，使未知参数尽 量准确，所要解决的问题本质上就是一个超定方程：血m 6 ，其中已知一r ， b e r m 。关于这个问题，到目前为止已经给出了很多种设计准则，如最小二乘 方法 1 1 1 3 ，正则化最小二乘方法 1 1 ，1 4 。1 5 ，总体最小二乘方法 1 6 ，1 7 ，王l 估计 8 ，1 0 ， 方法 1 8 ，鲁棒估计 9 ，1 9 ，2 0 ，等等。然而正如数学 家勒让德所说：“在所有处理极小化残最平方的方法中，没有一个比最小二乘应 用上更广泛。计算上更准确简单。”1 7 9 5 年，高斯在天体学的研究中首次提出最 小二乘( l s ) 1 1 1 3 。此后凭藩它计算和统计上的优势，该方法在各个领域 中得到重视和应用。最小二乘方法的基本思想是：对血* 6 的右端项给出修正 岛，使曲物1 2 。且满足血= b + 国。1 9 8 0 年，g o l u b 和v a nl o a n 提出了总体 最4 - - 乘( t l s ) 1 6 因为它允许数据矩阵4 和右端项6 同时有扰动因此它 要比普通最小二乘准确，所以该方法引起了广泛注意 1 1 。但在实际情形中， t l s 会导致其解是保守的。在处理病态问题时l s 和t l s 对数据矩阵( 一，6 ) 的扰 动仍会很敏感 1 l ，1 7 ，2 l 一2 4 ，为解决此问题，人们提出了一些正贝化方法， 其中大多数方法( 包括t i k h o n o v 正则化 2 5 ) 等同于解一个增广系统的加权最 小二乘问题。但正如文 1 1 所提出的，权( 或正则参数) 的选择通常又是不明 显的，依赖于具体问题 1 1 ，2 6 3 1 。这促使人们研究新的设计准则。 1 9 9 8 年，s a y e d 等人提出有界不确定数据估计问题( 8 d u ) ，给出了一个新 的设计准则m i n m a x 3 2 。3 3 ，只要满足扰动界，该方法允许扰动任意变化，并 且讨论了消耗函数是带正刚化和加权的参数估计问题【3 4 3 7 。成功地把一个 向量最优化问题转化为一个等价的标量最优化问题，并且给出的消耗函数是单 峰的，从而大大简化了计算量。 有界不确定数据的另一个设计准则是m i n - m i n 3 8 ，3 9 ，它利用奇异值分解 ( s v d ) 技术，分析长期方程，给出闭形式的解。 不确定数据的最小二乘 本文主要研究了两方面内容：第一是部分不确定数据的估计问题，即系数 矩阵的某块存在有界不确定数据，其它块的数据是准确的；第二是推广有界误 差模型，即在m i n m i n 设计准则下，将模型( 4 + 谢，b ) 推广到右端项也有扰动的 情形( 爿十翻，b + 弱) 。 南京航空航天大学硕士学位论文 第二章最小二乘和有界不确定数据的两种设计准则 2 1 普通最小二乘 考虑下列线性模型： b = a x + v ， ( ：1 1 ) 其中a 是n x n 的已知数据矩阵，b 是n 维的已知测量向量，v 是n 维未知扰动 向量，x 是n 维未知向量。由于v 的存在，b 隹r a n g e ( a ) 。最小二乘就是要找一 个b = a j e r a n g e ( a ) ，使得b 与b 距离最小，即 叫n 0 彳工一b l l 2 。 ( 2 1 2j 上式可以通过求解其法方程 ( a7 爿) 曼= a 7 b ( 2 1 ： ) 耿得 4 0 。等价地，上式可以写成如下形式 a 。( 彳曼一b ) = 0 。( 2 1 4 ) 这说明残向量般- b 正交于a 的值域【3 2 】，如图2 1 所示。 圈2 1 残向鬣正交丁- a 的值域 ( 2 1 3 ) 或者( 2 1 4 ) 的解可能是不唯一的。但若a 满秩，则解是唯一 的且 主= ( 彳7 _ ) a r b ， 占= “( 4 r 爿) 一l 彳，6 兰j d 6 ， 其中只是a 的乖交投影矩阵f 1 1 ，1 2 】。 定理2 i 州 已知a e r “n 胛，r a n k ( a ) 刮一，h ，6 r 、。一的奇 不确定数据的最d , - - - 乘 异值分解为爿= 矿f ： 则线性最小二乘问题( 2 1 2 ) 有一个解是 和u 一：卜， 且量。是最小二乘解中范数最小的唯一解。 这个定理说明，虽然( 2 1 - 2 ) 会有多解但6 到r a n g e ( a ) 的投影i = 爿i 址 唯一的。 2 2 总体最，b - - - 乘 在普通最d , - - 乘问题中，存在一个不言自喻的假定：所有误差仅限于观测 向量b 。然而，在实际应用中，这个假定一般是不成立的。因为抽样误差人的 误差，模型误差与测试( 仪器) 误差等都妨碍了精确地获得数掘矩阵a 。1 9 8 0 年，( ；o l u b 和v a nl o a n 针对数据矩阵a 和右端项b 同时存在误差这个问题，首 次提出了总体最小二乘方法。在数理统计中，这种方法称为正交回归或变量误 差回归。 考虑下列模型： ( a + 翻) x = b + 品， ( 2 ，2 】j 其中a 是n 疗的已知数据矩阵，b 是维的已知测量向量，拟，劢分别是a 6 的扰动，x 是未知向量。总体最d , - - 乘就是在约束条件( 6 + 面) r a n g e ( a + d a ) 下，求 卿n 畦翻，两衅。 ( 2 2 ! j 令增广矩阵b = 【a ，b 】的奇异值分解为b = u z v 7 当n ，t 时，方程( 2 2 1 ) 是超定的，利用总体最小二乘求解有两种可能 的情况 4 1 。 情况l 盯。 0 ，且满足玎 0 成立，则下列最优化问题 叩勰忖+ 谢) x 一6 0 的唯一解可通过如下过程确定。 ( 1 ) 对a 作奇异值分解一= u f ：j v 7 ，其中u 月。 7 r m j 7 足i ：交则：1 ： = d i a g ( # ) - ，q ，) ，口l 吼口h q ， 0 是a 的奇异值。 南京航空航天大学硕士学位论文 ( 2 ) 对向量u 7 6 作分块f ：1j ：u r 6 ，其中“肜，6 2e r 、- ”。 0 ， ( 3 ) 引入长期方程 g ( 口) ；6 i ( z ：一私) ( ! 一甜广”蚵牡。 ( 4 ) 确定g ) 在区间( 7 2 , 盯：) 内的唯一根应，若无根则令西= 仃：。 ( 5 ) 若d 盯。2 ，则唯一最优解为 i = ( 爿7 a 一甜) 一a7 6 ； 若矗= 盯。3 且盯。 盯。，则存在两个最优解 ( 暑2 一盯：，) 一1 三巨 妇矿f 丧( 厕| 汜：；- 7 j l 厨彳卜p _ ”_ 其中万( 兰玑：一矿似：一甜) - 2 瓦一到牡。 否则，若a 有重奇异值叮一令u 。表示由盯，的左奇异基向量构成的矩阵， 则 ( a ) 若眇：6 l | 0 ，则舀 0 是a 的奇异值。定义 6 l 2 u 1 7 6 ，吼= u ；b 。如果下列条件为之一成立，则问题( 2 3 6 ) 退化。 ( 1 ) 叩 正，。 假定存在z 使得刁j 阻工一圳，为求得退化情形的一个解，考虑下列问题： 不确定数据的最小_ 二乘 m i n i i x l l 。 _ 0 5 i 【9 j j 一 r 。 ( 2 3 8 j 若盯。是单重的，则扎= o ；若盯。是k 重的，j j l l b “，。1 1 = o 。其中 。，表 示6 l 的第”个分量b 1 j 。，表示由6 的第月一k + 1 到第盯个分量构成的女维向 量。分块，如下： ：f l 0 1 ， 。l0 盯。j 其中置：d i a g ( o 一一，盯，。) 。令瓦表示由6 l 的前女个分量构成的向量。引入长期 方程 g ( 口) = 6 ；6 2 + b l r ( x ；+ 口，) t ( 口3 ，一叩2 i ) 6 l ， 则问题( 2 3 8 ) 的解如表2 1 。 表2 1 退化问题的解 条件解 r 盯 盯。 o - j ，q ，= o i p - k + i ，h b 。一。+ ，。i i = 0 ， 量= v 。( 三? 一盯：，) 一三，瓦 g ( 一盯：) 0 r o 卜 g ( 盯：) ? r 1 一盯： i i | i =l 其他 x = ( 爿7 a + 甜) + a 7 b 口l m a x ( - # j 一r 3 ) 川仃1 满2 【g ( a ) = 0 南京航空航天大学硕士学位论文 第三章部分有界不确定数据 在信号处理和图像处理领域里，经常需要解决有界不确定数据问题。然而 在实际模型里，数据矩阵a 可能不是所有的列都有扰动，而只是部分列存在不 确定性，其他列数据是确定的。文 3 4 ，3 9 讨论了数据矩阵a 分成两块的情形， 即( ( 爿，a ，+ 8 a ，) ，6 ) 和( ( 4 ，a ，+ 6 a ，) 6 + 国) 。文 3 7 研究多种不确定性模型的参 数估计( ( 4 + 翻l ，以+ 甜- ，a + 积。) ，6 ) ) 。本文旨在研究更一般的形式，即。4 的 部分块存在不确定性的情形。 3 1 部分有界不确定数据的基本思想 爿锻斜 其中 副t ，吖( m ”，已知6 甜、，勘= ( n ”6 1 旷” 6 lgr a n g e ( a a 1 2 ) ，b 2 叠r a n g e ( a 2 1 a 2 2 ) 。设a 的某一块存在扰动，不妨设a 、， 存在有界扰动，则给出下列设计准则： 喁鼢陋a h 如h 地i 2 ：卜( 3 1 i j 对一也作出相应分块x 2 ( 乏j ，其中x t r 1 ，上：剧a 3 2 唯一零解 首先讨论不确定集岛= 协：l 翻：9 ，7 。只要在球b 。内，扰动删：可以f i 意变化。事实上，( 3 1 1 ) 解的情况依赖于该球内是否存在一个6 , 1 。，使得 ( 彳+ 积) 7 b = 0 - 下面的引理解砖了这一问题。 引理1 不确定集i 旧。i i s 叩 中包含一个扰动翻：满足 唑a ：d a 卜。， h ， l 省：12 2 + ! ! j 一 当目仅当 一一至塑塞墼堡塑墨尘三垂 a i 6 i + 4 刍6 2 = 0 ( ：3 1 ：jj 和玎崆! i m 丝刿 川， 同时成立。 证明：先证必要性。 若有没如 一7 魁则 a ：i b 。+ a ；i b ：= 0 ，a ( b 。+ ( 爿：+ 翻2 ：) 76 ：= o ， 即爿j 6 ，+ 月：1b ：；一鲥刍6 ：， 所以哞掣刮蚓卿 这样( 3 1 3 ) 和( 3 1 4 ) 成立。 下面证充分性。若( 3 1 3 ) 和( 3 1 4 ) 成立，下面证必存在甄二，l l 甄：1 1 s ，7 一 使得 h爿、lh ：o 。 l 月3 la 2 2 + o 埘! ! 鞅l 慨学硎 这样 占- 2 ：= 学s 兰i 刍商j ；墨! 业玎， ：4。m+12历瓦：7乏=(一：乜+一丢。a：,rb!；擎=(：=。 事买上，r 的大小决足jb 与( a 1 2 ，一2 2 + d a _ - ，2 ) 酮l 卜父性。当7 7 足够天t 洲优 动倒：也是足够大的，且6 正交( 4 ，a 2 。) ，此时直觉上x 的最理想估计i = 0 = 苦 最优解枷删无论阮如何变动- 总有心如 0 卜籼j ) 和( 3 i 4 ) 成立，对任意非零x ， 瓢m a x 胪1 a ：ll 。如m + 1 2 私。卜a i i , l i 南京航空航天大学硕士学位论文 引理3 2 ( 零解向量) 问题( 3 1 1 ) 有唯一的零解，当且仅当( 3 1 3 ) ， 硼：若有( 3 1 3 ) ( 3 1 4 ) 成氩旗：盟静趁瑚引 乳充分性的证明过觏i 陋z i i 辄且一t , a 2 1 如 现 7 眭 地 下面证明唑射a i 甄2 ：卜是满秩的。采用觚法，若( 乏如a + i 甄2 ：卜 f,a：llta4 - i - 镜卜。2 14 2 翻2 2 j 一 ( “蚓吼 蛐 昔。一副爿 2 【i 恢1 l ( 6 2 0 玎b 2 刍) 一， 铀砷则【i 1l f ，埘0 剖卜， ( 妻) 音( 鸲o = o ， 所以”o ，铲静 故碍：= 功：( 口为某一个标量) 。 这样0 “4 ：) p = 吼= o ，“4 ：扫= 窖：= 吐。这与已知6 2 芒脚0 ，a ，1 矛 盾，所以眨也：a + 1 2 甄： 是满秩的。 a ” 如+ 削” 4 ： 如+ 魄 所以对任意非零向量x ，有 j l 一6 j | i 卜 冉扇“幻 - 4 4 于m趴 交正 6为因又 反过来，若i = 。是问题：1 j i ) 豹唯一解，那么对任意工。，则 m a x 1 1 4 如a 城1 2 ：蚪删， 一。”删 ： - 耐氏”。4 c x 如i + a 蝴j 2 x 2 - m b lh ， 取屯2 0 ，一o ，则( 3 1 5 ) 式变为 “ 即 卸是母胁十蝴， 脚。 丽这简化为普通最小二乘问题，所 x 斋，。，。 乜i 必= o 即群岛+ 屯：o 下醯叭3 。1 4 芸坝蚴乩托拿魏吨h 一刀 即 碱如卜一枷。 腓溯艰哮酬如扣十懈。 坷知k 7 ， 日。l 如+ 魄j 一“ ：以有皆s 毒：阶峨厂6 2 - 0 ， 口 ， i 黼铆 坤l隅 纠批 一 4 以九知护硪矧 南京航空航天大学硕七学位论文 3 3 最坏情形下的扰动 由引理3 2 知著( 3 i 3 ) 、( 3 i 4 ) i 刊时成立，l 司题( 3 1 1 ) 只有唯1 零解。因此问题( 3 ，1 1 ) 存在非零解，( 3 1 3 ) 、( 3 1 4 ) 至少要有个4 i 成 立。 下面的讨论假设( 3 1 3 ) 、( 3 i 4 ) 至少有一个不成立。 问题( 3 1 1 ) 等价于 m 。i n 。m 刮a x ；州。f a ，u 爿：a + 1 2 翻： x a 。 c ，曩， 下面讨论( 3 3 1 ) 的内层扰动 。m 。a x ；训。彳4 ：11 、彳。- + 4 1 2 。魏。 x a = 袈怒9 ( 爿：z ，a + il x 。一i ：- 4 1 - a + izx。1：-，工b：164一b：甜：2 i s ”爪爿2 l + ( 一：! +2 2 ) 工2 2 川 。工- + 4 ：工：一是j l ：+ 。m 。a x ，) , 4 ：t 工t + 魄+ 翻：! ) 互! 一b _ 、l t 2 因为 蝴m a x 。k a ，玉+ ( 4 ：+ 尉：) j c 2 - - b 2 1 1 2 蔓忆，一+ 4 ：x ：一6 1 i i + , i i x ：1 1 ) 2 ，f ：j ： ! j 若取 啦簿寰a 螽舞i l l l x t 置 j l 爿2 l 五+ 工2 6 22 则l 睁铷s t 7 ，且( 3 3 2 ) 等号成立，即 。m 。a 。x i i a - ，一+ ( 鸣：+ 翱：) 恐一b 2 1 1 2 = 0 彳：。一+ 彳：x ：一6 ：1 1 + ，7 t l x ： | ) ：。 ( ： _ 1 ， 在( 3 3 3 ) 中要求i i 一：i 五十一1 2 x 2 一b 2 l | o 且k i i 0 。事实上无论是 怕：。一+ 彳：z ：- b 2 1 l - - - - 0 。还是恢i l = o ，最终都可归为( 3 3 4 ) 的情形。所以 1 。m a l x 叫 l 卜l 爿a ： 。4 ： 乙：) z a = l i a ，x + 爿，2 工：一b l i l 2 十 _ ：x + 一：x ：一6 ，i i + 叩j b ，i i ) ：。 3 4 非零解 一旦最坏情形的扰动确定，则问题( 3 1 i ) 等价子 至堕塞墼塑塑墨! ：三墨 m 。i ，n ! ( 1 l a ，x ，+ 4 ，：x ：一乜1 l 2 + 0 1 彳：，x + 彳：x ：一6 ：1 j + 叩1 1 工：1 1 ) 。 下面给出( 3 4 1 ) 非零解的存在条件。 引理3 3 ( 非零解的存在性) 假设( 3 1 3 ) 、( 3 1 4 ) 至少何个小成、 则问题( 3 1 1 ) 存在非零解主。 证明：对任意x ，( 3 1 1 ) 等价于( 3 4 1 ) 。由b lgr a n g e ( a a l ：) ， 6 ：r a n g e ( a 2 i a 2 2 ) ，则( 3 4 1 ) 消耗函数对x 是严格凸的t 因此存在唯一全局 最小点。当( 3 1 3 ) 、( 3 1 4 ) 至少有一个不成立，由引理3 2 ，女= o 不可能 是全局最小点因此存在唯一非零全局最小点。 记上( x 工：) = 1 l a 。，x + a i ：工：一b l l l 2 + l a ：，x ，+ a ：工：一6 ：i i + , , t l x ：j l r = i i 一。x + 爿i ：x ：一b 。02 + l i 爿：x l + 爿：x ：一6 1 | | ： + 2 圳t 爿：。五+ 一： 一也i l + 冲2 忙：l 2 那么对b 、，x ：) 分别求 和x ：的偏导数，并且令其为零： 垦生掣= 2 一j ( 爿。_ + 4 1 2 工2 6 1 ) + 2 a 五( 爿2 。一+ 4 ：_ ：c 2 6 2 ) + 2 j r 了：；4 ；( 爿2 l 五+ 爿2 2 2 2 6 2 ) = o ， 。i l 爿! i x l + 一2 2 工2 6 2 【l 。1 2 l 2 “1m 2 2 “2“2 ” 璺曼譬 兰立= 2 彳二( 爿，。一+ 爿，：工2 一岛) + 2 爿是( 爿：，x + a ：。：一6 1 ) + z 1 i i 热a 一互c 一：，z + 月：x ：一吼) + z 下百 、 ，1 工1 十一， j ，一d 、，十z l l 爿：l x l +1 2 x l 一6 2 i i “1“。 j + 2 玎2 r ，= o 。 将这两个式子整理为矩阵形式为 爿7 ( ：4 北 乙墨 x 一6 ：叩2 ( ( t + 兰 ，： 或者 ( ：l ：；：i c x 一。，= 叩2 ( ( ，+ 昙 工： ， 其中口= 吁蚓i | | 石+ 爿：二i 习。 , 7 _ i i a 2 l x l + 爿2 2 r ：一6 ：| i 南京航空航天大学硕士学位论文 因此最优解i 就是非线性矩阵方程( 3 4 2 ) 或者( 3 4 3 ) 的解。 考察( 3 4 3 ) ，若主：0 ，则有异于模型( 爿+ 翻6 ) 3 2 ：、模型 ( 一+ 谢，b + 6 b ) 3 3 】和模型( ( 4 + 翻l ，a 2 + 翻2 ，a i + 融。) 6 ) ) 3 6 ，残向量 a x b 不存在_ ：i ：e 交性。 综上所述，可得如下定理： 定理3 4 已知a r “”，( 行) 为满秩矩阵，且a 有如下分块 爿：4 ：1 ， l 以2 i以2 2j 其中氏猷”埘州棚妇，酗帅醐、胚= ( “眯宾” 醐。w ， r 口n g e ( a ，4 ：) ，6 ：芒r 口n g e ( a ：1 爿：) ，对x 也作出相应分块x ：f ! 1 其中 l 上二 x i ，x ! 掣一。设a 2 2 存在有界扰动，则最优化问题 r a 。i n i 。m ! ! a 喀x ，投( 4 a ：。爿：a + 1 2 五。! ：) x 一6 | 存在唯一解，并且 ，若一j 岛+ 爿；a ：= 。，柙妊塑话寻垫同时成立，存在唯一零解。 ( i i ) 若月i 乜+ 一弘：= 。叩紫至少有一个不成立，则存在唯 一非零解，且解可由非线性矩阵方程( 3 4 3 ) 和( 3 4 4 ) 求得。 令x = 缸i 工i 0 ，屯0 ，若非零最优解曼x ，即立= o 或者i ! = 0 ，则称i 为边界解。下面讨论边界解。 ( 1 ) 若主2 = o ，毫0 ，那么原问题等价于 m 。i 。n 。l a ，- x - 一b l i i2 + i i a ：。x 。一6 ：l i 2 = m 删i n 肌如a n ， 矿圳2 ， 这退化为普通最小二乘问题。当a i b l + 爿；6 ：0 ，该问题有唯一非零解 曼，= ( 4 心) 。名6 ， 所以问题( 3 1 1 ) 的最优解 不确定数据的罱小二乘 量制= p 爿6 ， 小j ， 其中凡。c 乏：j ( 因为彳是列满秩的，所以( 厨4 ) - l 是存在的) 。 ( 2 ) 若曼l = 0 i 2 0 ，那么原问题等价于 m 。i n 。1 a ：x ：一b l i | 2 + i i 爿卫z ：一6 ：1 1 2 + 2 刁i i x ：4 ：x ：一6 10 + 叩2 i b ! i f 。 f3 4 nj 在讨论该问题之前，先x 1 ( 3 4 i ) 的消耗函数作一些等价变形。记一，= ( a ：1 。) 月：= 。! 4 ：) 。若令呜= ( ：? ，其分块由f 妻 而定，有肛州二：1 1 4 , x l ! 二，t ( 3 _ 4 1 ) 等价于 m 。i 。n 8 a ，x - b 。i | 二+ l i 爿：x 一6 ：| | 3 + 2 习0 爿，x 月：一b ：| | + 叩2 l i 爿，x | | 2 。 ( ： - ? 显然( 3 4 6 ) 是( 3 4 7 ) 的特彻i 南京航空航天大学硕士学位论文 第四章推广有界变量误差模型 本章研究有界不确定数据的另一设计准则m i n m i n ，2 2 节讨论了模型 ( 一十倒，6 ) ，即哗勰i i ( 彳+ 谢讧一b l l 。本节将该模型推广到右端项也有扰动的 情形( 一+ 尉，b + 历) 。首先给出该问题的基本模型： 设4 e 足是一个列满秩矩阵，b e r 。，r 0 , r 0 ，捌，面分别是么，6 的 有界扰动，即0 尉l f r , i 陋8 巩，求解下列最优化问题： 呼阿占鸭砘i l 一十耐扭一( 6 + 历 ( 4 0 1 ) 4 1 等价的最小化问题 由范数的性质，显然有 + 捌沁一( 6 + 西9 出一6 | | 一粉一西| i 。 ( 4 1 1 ) 若所有的鼻都满足如下条件 肛缸一跏2 7 煳+ ，九， ( 4 1 2 ) 那么 l a x 一6 0 乏，7 心i + 仉牌+ 悴4 临纠+ 删2 胁一西l 。 从而( 4 1 1 ) 式可变为 | | ( 彳+ 谢妞一( 6 + 西) | i 8 出一6 释一陋一历l i 出一6 l j 7 州i 一仉， ( 4 1 3 ) 因此，只要取 硝。背前北网( a x - b ) 和 那么( 4 1 3 ) 式可以取到等号。即存在翻o ，国。使得 4 ( 爿+ 尉。弦一( 6 + 历o ) | f = 陋一b n - , l k l l 一仉， 这样( 4 0 1 ) 就等价于 m 8 血一刎一，7 嗍一， ( 4 1 4 ) 其中对所有的x 都满足( 4 1 2 ) ：一6 ，7 m + 仉，称该条件为基本假设。 4 2 基本假设( 4 1 ，2 ) 的意义 下面给出基本假设( 4 1 2 ) 在本问题中的重要意义。假设存在并( 1 不满足 1 9 不确定数据的最小二乘 7 0 x o ) j l + z t b 0 血o 一b 0 ， ( 4 2 1 ) 那么取扰动 静1 ) _ 刊) 小。爵确m 。岗孙 则 0 ( 爿+ 谢m ) x o 一( b + 6 b o 瑚= l x m - b + t e d o z o 一面m 0 = o 并且| 阻m0 o 。取x 2 = x m + 艿，艿由下式决定 咖o | + k - h i l ， ( 4 。2 。2 ) 即叩陋o + 占忡玑忙( 工o + 占) 一6 若叩肛o 1 1 - 1 删+ , 7 。陋一6 | | + 似舻0 成立， 则上式必成立，8 p i p i i 肛i 鬲6 若艿满足如上条件时，( 4 2 2 ) 式必成立。由( 4 2 1 ) 以下的推导知，工t 2 ) 也是( 4 1 4 ) 的解。这样下去可知，( 4 1 4 ) 的解不唯一。因此基本假设的成 立保证了淘题( 4 i 4 ) 解的唯一件。 4 3 非退化的基本条件 若问题( 4 0 1 ) 对所有的x 都满足基本假设( 4 1 2 ) ，称该问题是非退化 的：否则称问题是退化的。 对基本假设，7 旧f + 仉血一酬两边平方得( 啦i + 仉) z s i 出一印，又 2 r 2 i l x l l 2t 2 2 ( 圳硎+ 仇) 2 。所以令 ，( x ) 三2 珂2 牡8 2 + 2 仉2 一i 4 x 一6 1 1 2 = x 7 ( 2 ，7 2 ，一一7 a ) x + 2 x 彳7 b + 2 r l , 2 一b r 6 。 若j ( 工) 恒小于0 ，那么基本假设( 4 1 2 ) 也恒成立。下面考察， ) 恒小于0 要 满足的条件，即j ( x ) 要有最大值，并且最大值要为负数。也就是要满足下列两 式 p ，_ u 。 ( 4 3 1 ) 【k 0 7 又当量= ( a a 一2 ，7 2 ) 。a 7 b 时，j ( x ) 取得最大值 - ，眦= ，( 旬= 6 r ( 一( 彳r a 一2 野2 ，) 一1 一r 一，) 6 + 2 ，7 5 2 。 这样t ，( 功恒小于0 的充要条件为 南京航空航天大学硕士学位论文 f2 叩2 o ，这就解释了假设爿为满秩。 对一做奇异值分解4 = u ( ： 矿7 ，其中【，e 矗。，y e r 是正交矩阵， = d i a g ( o r i ，吒) ，- i o t 盯2 o r n _ i 0 。向量u 7 6 可分解为u 7 b = 其中b le r n , 6 2e r 。 在讨论问题( 4 1 4 ) 前，首先假设a 的两个最小奇异值是互异的，即 1 吒 本文主要考虑这两个奇异值互异的情形。 4 4 解决最小化问题 令工( x ) = 岭一酬一，7 懒- r h ，显然工( x ) 是关于x 连续且有下界0 ，工( x ) 的最 小值只能在，不可微点或者平稳点处。其中不可微点为x = o 和满足血一b = 0 的点。由条件( 4 1 2 ) 知满足出一b = o 的点不可能是最小值点；z = o 也不是 最 小点l 后面讨论) 又因为薄已“功= l 恐8 矧一叩m 一仉( - t ) 嗍i i 一哼a 。，i 州忡i 州枷” ” 。 ” 。” 所以x = a o 也不是最小值点。下面考察( 的平稳点 吼2 网1 ( 血山卜南扣晒南“a r a - a 1 ) x - a r b ) 舯拈眢瑚基本假帅1 2 ) 可胁n 肾杠 令耽o ) - - - - o 得 ( a 7 一- 0 2 ) x 一一7 b = 0 ，( 4 4 1 ) 其中 口= 掣 又( x ) 的海赛阵为 嘶，2 网1c 舶咖+ 卜南昔矿x 2 南c “+ 南2 辱 ( 4 4 2 ) 2 不确定数据的最小二乘 2 南口_ 刮卜高再位叫2 7 。 当口 r 2 时，上式第二项为半正定。因而由柯西交错定理 1 6 ，a ( 曲的最小特 征值必须在矩阵幡未可a r a - 岱i ) 的两个最小特征值之间，即 五m ( 。) e 【一一口，吒2 一i - a 。而a 上( 工) 必须半正定，所以a o l 一口0 ，即口蠢i 。 因此下面只需研究口的下列范围 r 2 口s 仃三l ( 4 4 3 ) 下面引入长期方程并且给出最小化问题的解，分两种情况来讨论。 ( 1 ) 口彗 一，。) 的情形。此时由方程( 4 4 1 ) 可得最优解 童= ( 一7 a 一鲫。a 7 6 ，其中口( r 2 , 畦l 】并且口一，吐。 引入长期方程 g ( o o