（基础数学专业论文）两类约束线性随机模型的渐近最优平均选择.pdf

两类约束线性随机模型的渐近最优平均选择 基础数学 研究生解其昌 指导教师赖绍永( 教授) 论文摘要：本文运用最小二乘方法和极小化信息模型选择准则、研究了两类受约束 线性随机模型的选择问题在一些正贝! l 条件下，证明了我们的模型选择是渐近最优 的 第一章研究了一类独立同分布约束线性随机模型的选择问题，并运用平均 最小二乘方法得到了这类约束线性随机模型的一个线性无偏估计在一个离散 指数集合中，我们定义了所研究模型的平均估计，然后利用极小化广义信息准 则( t i c ) 方法来选择一个最佳的平均估计这个选择出来的平均估计被证明是渐 近最优的 第二章研究了一类g a u s s 分布约束线性随机模型的选择问题，并运用加权最小 二乘方法得到了这类约束线性随机模型的一个线性估计在一个离散权集中，我似 定义了模型的加权估计，并建立了一个k 类广义信息准则( b g c ) 来选择一个最佳 的加权估计使用最小化k 类广义信息准则方法，这个选择出来的估计被证明是渐 近最优的，即获得了最小均方误差 关键词：模型选择；约束线性随机模型；独立同分布；均方误差；最小二 乘估计；c h e b y s h e v 不等式；幂等矩阵；g a u s s 分布；渐近最优；广义信息准则 第i 页，共3 4 页 a s y m p t o t i co p t i m a l i t ya v e r a g i n gs e l e c t i o nf o rt w o t y p e so fc o n s t r i c t e dl i n e a rs t o c h a s t i cm o d e l s p u r em a t h e m a t i c s w r i t e r ：x i eq i c h a n g s u p e r v i s o r ：l a is h a o y o n g a b s t r a c t ：i nt h i sp a p e r ，t h el e a s ts q u a r e sa p p r o a c ha n dm i n i m i z i n gi n - f o r m a t i o nm o d e ls e l e c t i o nc r i t e r i o na r ea d o p t e df o ri n v e s t i g a t i n gt h es e l e c t i n g p r o b l e m sf o rt w ot y p e so fc o n s t r i c t e dl i n e a rs t o c h a s t i cm o d e l s u n d e rc e r t a i n r e g u l a rc o n d i t i o n s ，t h e s es e l e c t i n gp r o c e d u r e sa r ep r o v e dt ob ea s y m p t o t i co p t i - r e a l i t y c h a p t e r1f o c u s e so nt h es e l e c t i n gp r o b l e m sf o rac o n s t r a i n e dl i n e a rs t o - c h a s t i cm o d e lw i t hi n d e p e n d e n ta n di d e n t i c a ld i s t r i b u t i o n al i n e a ru n b i a s e d e s t i m a t o ro ft h ec o n s t r a i n e dl i n e a rs t o c h a s t i cm o d e li so b t a i n e db yu s i n gt h e a v e r a g e dl e a s ts q u a r e sm e t h o d i na d i s c r e t ei n d e xs e t ，as e r i e so fa v e r a g e de s t i - m a t o r so ft h i sm o d e la x ed e f i n e da n da no p t i m a la v e r a g e de s t i m a t o ri ss e l e c t e db y m m m u z m gag e n e r a l i z e di n f o r m a t i o nc r i t e r i o n ( g i c ) t h es e l e c t e de s t i m a t o r i sp r o v e dt ob ea s y m p t o t i co p t i m a l i t y , n a m e l y , o b t a i n i n gt h em i n i m u ma v e r a g e s q u a r e de r r o r c h a p t e r2a i m st ot h es e l e c t i n gp r o b l e m sf o rac o n s t r a i n e dl i n e a rs t o - c h a s t i cm o d e lw i t hg a u s sd i s t r i b u t i o n al i n e a re s t i m a t o ro ft h ec o n s t r a i n e d l i n e a rs t o c h a s t i cm o d e li so b t a i n e db ye m p l o y i n gt h ew e i g h t e dl e a s ts q 眦e s m e t h o d i nad i s c r e t ew e i g h ts e t ，as e r i e so fw e i g h t e de s t i m a t o r so ft h i s m o d e la r ed e f i n e da n dak - c l a s sg e n e r a l i z e di n f o r m a t i o nc r i t e r i o n ( 七- g j e ) i ss u g g e s t e dt oc h o o s ea no p t i m a lw e i g h t e de s t i m a t o r b ym i n i m i z i n gt h e 第i i 页，共3 4 页 k - c l a s s g e n e r a l i z e di n f o r m a t i o nc r i t e r i o n ，t h es e l e c t e de s t i m a t o ri sp r o v e dt o b ea s y m p t o t i co p t i m a l i t y , n a m e l y , o b t a i n i n gt h em i n i m u ma v e r a g es q u a r e de r r o r k e yw o r d s ：m o d e ls e l e c t i o n ；c o n s t r a i n e dl i n e a rs t o c h a s t i cm o d e l s ；i n d e - p e n d e n ta n di d e n t i c a ld i s t r i b u t i o n ；a v e r a g es q u a r e de r r o r ；l e a s ts q u a r e se s t i m a - t i o n ；c h e b y s h e vi n e q u a l i t y ；i d e m p o t e n tm a t r i x ；g a u s sd i s t r i b u t i o n ；a s y m p t o t i c o p t i m a l i t y ；g e n e r a l i z e di n f o r m a t i o nc r i t e r i o n 四川师范大学学位论文独创性及 使用授权声明 本人声明：所呈交学位论文，是本人在导师戆缉丞熬援指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文 不含任何其他个人或集体已经发表或撰写过的作品或成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律 结果由本人承担。 本人承诺：已提交的学位论文电子版与论文纸本的内容一致。如因不 符而引起的学术声誉上的损失由本人自负。 本人同意所撰写学位论文的使用授权遵照学校的管理规定： 学校作为申请学位的条件之一，学位论文著作权拥有者须授权所在大 学拥有学位论文的部分使用权，即：1 ) 已获学位的研究生必须按学校规 定提交印刷版和电子版学位论文，可以将学位论文的全部或部分内容编入 有关数据库供检索；2 ) 为教学、科研和学术交流目的，学校可以将公开 的学位论文或解密后的学位论文作为资料在图书馆、资料室等场所或在有 关网络上供阅读、浏览。 本人授权中国科学技术信息研究所将本学位论文收录到中国学位 论文全文数据库，并通过网络向社会公众提供信息服务。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：铂失5 签字日期：j j 习年r月pe l 导师签名：j f 矢，痧自乙 签字日期：砷年f 月厂e 1 1 上- j 刖吾 0 1 研究背景及方法 人们进行建摸是为了能够对事物的将来发展趋势做出更好的预测一个有 用的模型常常是能够对将来事物产生一定的预测相反，个不能对将来事物 进行较好预测的模型是无用的于是一个模型的预测力就决定着一个模型建立 的成败而这种预测力的好坏则体现在是否能够对给定数据产生最佳拟合如 果一个模型对实际数据有着较好的拟合度，那么我们就可以通过对模型自身性 质的研究来判断事物的发展所以，要从众多的备选模型中选择一个好的模型 对我们研究现实问题是至关重要的这样，模型选择问题也就成为科学研究最 流行和最前沿的问题之一 下面举一个例子来说明模型选择的背景和方法 例如，在统计和经济学中，我们经常需要建立一个点的预测来近似地预测 向量五下目标变量k 的条件期望，即7 7 ( 五) = e 瞰l 矧这个目标变量m 可以被看 成是由随机模型 = 7 7 ( z t ) + 毛( 0 - 1 ) 生成的，其中矗是有限方差和零期望值的随机误差项在给定m 和五的n 个观测 样本条件下，我们可以把( o - 1 ) 写成 y = n ( z ) + ，( 0 - 2 ) 这里y = 陬，k 】r ，z = 【历，磊】丁和e = e l ，e 。r 令 忱( z ) ：z r ) 为一系列可测函数，孙是一些非递减的正整数序列 a n 是n 上的一系列子集并且每一个子集中至少包c z p , , 个元素q a 竹是n 上 的一个子集且包含个元素文【1 ，2 】提出y ( o - 2 ) 的一系列近似模型族，且 表示为 = r ：z r 切( z ) = z 丁7 _ + o , s o d z ) ，r r a ，o i r ，q a n ) ，( o - a ) t 口 这里7 和吼是一些参数向量 第l 页共3 4 页 前言 那么对于每一个q 厶，t 7 ( z ) 的一系列估计族可以表示为 0 ( z ，q ) = 矿于+ 反忱( z ) ，( o - 4 ) l 口 其中系数f 和文可以通过最小化 陬一矿r + 巩红( z ) 】2 ( o - 5 ) i = 1i e a 来得到 近来，文 3 - - s l 中提出t ( 0 - 2 ) 的一系列局部近似模型族，即当7 ( z ) 局部光滑 时，( o - 2 ) 的局部近似模型族可以表示为 ，= ，7 ：z r h ( 刃= z r f + 巩协( z ) ( z 一五) ，r d ，巩r ，q 厶) ， a ( 0 - 6 ) 这里r 和良是一些参数向量 那么对于每一个o t a n ，7 俾) 的一系列局部估计族可以表示为 o ( z ，q ) = 汐f + 乏二反协( z ) ( z 一五) ， ( m 7 ) t a 这里系数f 和反可以通过最小化 瞰一z t r + 以仇( z ) ( z 一五) 讹ik ( 兰云垒l ( 0 - 8 ) i = it q 一 来得到，其中k ( ) 是光滑核，h 是一些固定的带宽 显然，不同的q 厶会产生7 ( z ) 的不同估计但究竟哪一个o ( z ，q ) 对我们 来说是有用的呢? 哪一个而( 互q ) 可以对将来的事物有较好的预测呢? 因此，选 择一个好晰( z ，q ) 是决定一个模型良性的首要条件也就是说，模型选择是进 行建模活动的必要条件 如何从众多备选的0 ( z ，q ) 中选择一个最优的估计是我们主要关心的问题 首先，一个好的模型能够对给定的样本数据有着很好雠i 合性其次，一个好的 模型能够对将来事物发展有着较好的预测于是我们可以根据0 ( z ，q 对给定样 本数据拟合性自劬子坏和对7 7 ( z ) 的预测力来决定这个估计的好坏 定义均方误差厶( q ) 为 厶( q ) = 去忉( 五) - o ( z , ，口) 1 2 ( o 9 ) ”= l x q i c h a n g y a h o o c o m 第2 页，共3 4 页毕业论文 前言 从均方误差l n ( q ) 的定义中可以看出均方误差是7 7 ( 五) 的真实值与其估计值 残差平方和的均值在理论研究中，均方误差l n ( q ) 也常常被用来衡量一个估计 的好坏如果一个叩( 五) 的估计使l n ( q ) 的取值最小，则表明叼( 磊) 的估计值越接 近其真实值，那么这个估计就是最优的也就是我们想要的估计相反，如果一 个7 7 ( 五) 的估计使l ( q ) 的取值不能达到最小，则表明，7 ( z ) 的估计值越偏离其真 实值，那么这个估计就不是最优也就是说，我们想要的估计是能使l n ( q ) 取值 达最小的那个估计 然而，由于叩( 五) 的真实值常常是未知的，所以以均方误差工n ( q ) 来作为模型 选择的评价标准在实际应用中是有缺陷的于是，许多科研工作者建议了不同 的估计方法和模型选择评价准则来代替l n ( q ) 比较流行的估计方法有l a s s o - t y p e 估计【6 】，非凸处罚似然估计【7 ，8 1 和普通 最小二乘估计【9 ，1 0 除此以外，l i n 和y i n g 1 1 使用记数过程方法来研究半参 数模型的选择问题模型平均方法是另一个比较流行和广泛使用的模型选择方 法( 1 毛a f t e r y 等 1 2 1 ) 所谓模型平均就是对不同的候选模型的估计进行平均贝 叶斯学与频率学是研究模型平均的两个主要方向贝叶斯模型平均可以参考 文【1 3 1 和【1 4 】在频率学方向，文f 1 5 1 详细描述了模型平均方法并给出了些具体 的应用；b u c k l a n d 等【1 6 1 使a k a i k e 信息准则权来对模型进行平均加权关于模 型平均的近来发展可以参考f 1 7 1 和 1 8 1 t 伴随着不同模型选择方法的出现，各种各样的模型选择准则也慢慢 涌观出来例如，a k a i k e 信息准贝, j ( a i c ，a k a i k e ( 1 9 7 3 ) ，【1 9 1 ) ，m a l l o w s c l 准 贝i j ( c l ，m a l l o w s ( 1 0 7 3 ) ，【2 0 1 ) ，c r o s s - v a l i d a t i o n 准则( c y ，s t o n e ( 1 9 7 4 ) ，【2 1 】) ， b a y e s i a n 信息准则( b j c ，s e h w a r z ( 1 9 7 8 ) ，【2 2 】) ，广义c r o s s - v a l i d a t i o n ( g c v ， c r a v e n 和w a h b a ( 1 9 7 9 ) ，【2 3 】) ，积累预测误差准则( a 尸，i n g ( 2 0 0 7 ) ，【2 4 】) ， 广义信息准则( g j c ，s h a o ( 1 9 9 7 ) ， 9 】) ，置后信息准则( p i c ，p h i l l i p s ( 1 9 9 6 ) ， p h i l l i p s 和p l o b e r g e r ( 1 9 9 6 ) ，【2 5 ，2 6 】) 和固定信息准贝u ( f i c ，c l a e s k e n s 和h j o f t ( 2 0 0 3 ) ， 2 7 1 ) 等p r e m i n g e r 和s a k a t a 2 8 使用处罚孓s c a i e ( 尸s c ) 信息准则来选择 模型d r o g e 1 使用一个类似g ，c 的模型选择准则g ( m ) 并证明了使用这个模 型选择准则与使用a i c 和既准则有着同样的渐近性质 在无约束线性随机模型背景下，大量的文献讨论了对不同的随机误差项， x q i c h a n g y a h o o c o r n a l l 第3 页，共3 4 页毕业论文 前言 模型选择的最优性s h i b a t a 2 9 ，3 0 1 研究了g a u s s i a n 随机误差项模型选择的渐 近最优性问题在同方差随机误差条件下，l i 1 0 使用m a l l o w s c l ( 既) ，c r o s s - v a l i d a t i o n ( c v ) 和广义c r o s s - v a l i d a t i o n ( g c v ) 准则证昵了模型选择是渐近最优 的在考虑异方差随机误差条件下，a n d r e w s 3 1 推广- j l i 1 0 的工作运用平 均跨越最小二乘方法，h a n s e n 3 2 证明了模型平均估计选择是渐近最优的 p s t s c h e r 3 3 考虑了鞅随机误差模型的选择问题 0 2 本文的主要工作 尽管模型选择的研究层出不穷，但是绝大多数这些工作是固定在无约束条 件下由于自然界的事物是相辅相成相互制约的，因此，在一定的约束条件下， 研究某些事物的内在规律和性质是很重要的在经济和金融研究中，大多数模 型都是在某些约束条件下形成的本文在线性约束条件下，考虑线性随机模型 的选择问题通过最小二乘和极小化信息准则方法，我们发展了一些原有的模 型选择方法并且证明了在某些正则条件下，这些选择方法是渐近最优的 具体地说： 第一章运用平均最小二乘方法和极小化广义信息准则( g j c ) ，研究了一类 独立同分布误差项的约束线性随机模型的选择问题在一些条件下，我们检验 了这个约束线性模型选择的渐近性质并且证明了广义信息准则是渐近等于均 方误差换言之，在一系列的模型平均估计中，一个适定的平均估计能够渐近达 到最小均方误差 第二章运用加权最小二乘方法和极小化k 类广义信息准贝, u ( k - a i c ) ，研究了 一类g a u s s 分布误差项的约束线性随机模型选择问题首先，我们使用加权最小 二乘法来估计这个受约束的线性随机模型其次，我们构造了一个k 类广义信息 准则，并用它来选择这个受约束模型的权这个k 类广义信息准财是一个均方误 差估计并且包括了一些常规的模型选择准则作为特殊情况最后。在一些条件 下，这个权选择程序被证明是渐近有效的，即在一系列加权估计中，一个适定的 加权估计渐近地实现了最小均方误差 x q i c h a n g y a h o o c o i t i c n 第4 页盐3 4 页 毕业论文 第一章一类独立同分布随机模型平均选择 1 1 模型及其估计 令玑，耽，为n 个固定值x l ，x 2 ，z n 的独立反应变量，并且x t = ( z l i ，z 蕊) 是需要确定维数的解释变量假设戤的维数不超过一个固定的 正整数m 考虑以下同方差线性随机模型 玑= 雎+ e ， ( 1 - 1 ) m 地= 巧 易= ( 秒，甄) ， ( 1 - 2 ) j - - 1 e ( e “露) = 0 ，( 1 - 3 ) e ( e 2 1 x , ) = 盯2 ，( 1 - 4 ) 其中( ，) 是希尔伯特空间中的内积运算，0 = ( p 1 ，如) t 定义为需要决定其维 数的未知参数向量，e 是期望运算，e t 是满足条件( 1 3 ) ( 1 4 ) 的随机误差项，a r 2 是 随机误差岛的方差系统( 1 - 1 ) 一( 1 4 ) 代表了一个经典的线性随机模型，并且被广 泛研究( 见【9 ，1 0 ，3 2 】) 。 令m 1 为一个固定正整数满足0 ：11 1 p 一乒1 1 2 ：量竺二= _ 壁鱼塑生掣，( 1 - 1 3 ) 其中| 1 1 i 为范数事实上，我们就是要从瓦中选出一个合适的k 使其满足均方误 差n ( 七) 最小 进一步，我们定义l n ( 后 的条件期望均方误差为 r ( 七) = e ( l n ( 七) i ，虬) ( 1 - 1 4 ) 引理1 2 1 由r ( 后) 的定义可得 础) ：峰掣+ 掣笋， ( 1 1 5 ) 其中觑= i 一晟 证明由厶( 七) 的表达式直接计算有 礼l 竹( ) = ( p 一皿( 七) ) t ( p 一卢( 七) ) = ( p r l j 霞( p + e ) ) r ( p t 7 一晟( 弘+ e ) ) = 【 致p 丁一，7 一e t 殿】【慨p r r 一r e j = 0 正反p r 一，7 0 2 一( p 一义m 。r = 夕) r 五曙露e + ，霹鼠e 一，砑矾一。础办 对上面等式两边同时取条件期望并由e ( e r 胃冗e l 。，咒) = 0 - 2 t r ( 殿r ) 可以直接得到( 1 1 5 ) 第8 页址3 4 夷 毕业论文 第一章一类独立同分布随机模型平均选择 1 3 广义信息准则及其渐近最优 定义如下广义信息准则( g ，c ) ) ：坠塑掣+ 笙掣，( 1 - 1 6 ) 这里q 满足q 1 事实上许多模型选择的信息准则是对q 取值的不同设定( 见 文【1 ，9 ，2 0 ，2 9 】) 所以，信息准则( 1 一1 6 ) 更一般 引理1 3 1 在( 1 1 6 ) 中，如果a = l ，则有 e ( g ( 克) i ，x k ) = r ，i ( 惫) + 口2 ( 1 - 1 7 ) 证明由g ( 七) 的定义司得 n c ( k ) = ( y 一乒( 七) ) t ( y 一豇( 七) ) + 2 a 0 , 2 t r ( r ) = 矾y 7 7 】r 【觑y 一川+ 2 a a 2 t r ( r ) = 2 a a 2 t r ( 履) + e r 霹矾e + ( 矾一 7 ) 丁矾e + e t 韬( 厕k p i i ) + i l 正砍p 一7 7 1 1 2 ( 1 1 8 ) 注意e r 胛矾e 可以被分解为 e r 廊蚕慨e ：e r ( i 一晟) r ( ，一a ) e = e t e e 丁殿e e r 反e + e ? 殿r e 对以上四项表达式分别取条件期望可得 e ( e r e l k ，托) = 矿2 i ， ( 1 1 9 ) e ( e 丁霹e i ，风) = 0 2 打( 霹) ， ( 1 2 0 ) e ( e r r ej ，风) = 0 - 2 打( r ) ， ( 1 - 2 1 ) e ( e r 露r e l 。，x k ) = 0 2 t r ( 霹晟) ( 1 2 2 ) 从( 1 1 8 ) 舞6 1 ( 1 1 9 ) 一( 1 2 2 ) 可得 佗e ( g ( 七) l 。，甄) = i l 觑p 一圳；+ a r 2 打( 露展) + 钆盯2 ( 1 - 2 3 ) 使用( 1 2 3 ) 和引理1 2 1 ，可知( 1 1 7 ) 成立 从引理1 3 1 的结论中，我们可以看出g j c 的条件期望等于条件期望均方 误差r ( 是) 与一个常数仃2 的和现在我们选择这个指数，定义为毛，使其极小 x q i c h a n g y a h o o t o m v i i 第9 页垃3 4 页 毕业论文 第一章一类独立阿分布随机模型平均选择 化g ( 七) 因此这个最佳的模型平均估计就是使用了指数k l 拘( 1 1 0 ) 在一些弱 条件下，我们将证明上述模型选择程序是渐近最优的，即 磊叫1 ，i n p r o b a b i l i t y p r o h t 1 - 2 4 “) 丽忑五丽一j ， 因此，如果这个平均估计皿( 七) 使用这个选择出的指数七，那么真实的随机模型将 会被更好的近似 为了建立广义信息准则g ( 七) 的渐近最优性质，和文 1 0 ，3 1 】_ 样，我们给出 以下假设条件，即 e ( 4 + 1l 戤) = l l e l l 2 + n ：l n ( 七) + 2 ( e ，p t 7 一r ( 肛+ e ) = l l e l l 2 + n l n ( 七) + 2 ( e ，觑p 一7 一r e ) = l l e l l 2 + n l n ( 七) + 2 ( e ，矾p 一，7 ) 一2 ( e ，r e ) 因此引理1 3 2 成立 使用引理1 3 2 ，可得等式 g ( ) = l n ( 七) + 第1 0 页，共3 4 页 2 ( c r c 2 t r ( 反) 一( e ，r e ) ) _ _ - _ - - - 一 死 毕业论文 第一章一类独立同分布随机模型平均选择 选择尼使得后= a r g 挺m i n c ( k ) 由上述g ( 七) 的分解式可知，我们仅需选 择尼使得表达式 l n ( 七) + 最小对比k ( 七) ，最优性的证明只需证明对任恿的后瓦使得去( e ，慨弘一7 7 ) 和击( q 沪打( r ) 一( e ，r e ) ) 是一致可忽略的具体来说，为了证明( 1 2 4 ) 是渐近最 优的，我们仅需证明表达式 s 麟u p 帮一o ，i i l p r o b a b i l i t y0 - 2 8 ) 裟鳢锻者型一。，i 1 1 p r o b 捌i t y ( 1 - 2 9 ) 般l 端1 i o - i n p r o b a b i l i t y ( 1 - 3 0 ) 定理1 3 1 假使条件( 1 2 5 ) 一( 1 2 6 ) 成立，那么广义信息准则( 1 1 6 ) 是渐近最 优的，i i p ( 1 2 4 ) 宅e k ：后时成立 h l ：m 返里i l l = 明足埋l - 3 1 的万纭采探十l i 1 0 b c j 工作从上述分析口】知，为 二了说明g ，c 的渐近最优性质，我们只需证明( 1 2 8 ) ，( 1 2 9 ) 和( 1 3 0 ) t i 茈3 z 首先，我们证明( 1 2 8 ) 成立对任意的a 0 ，由c h e b y s h e v 不等式有 ，p s 麟u p 等 邯乏豢淼若 m 3 1 ， 黼a 毒2 到慨酽协删划 洲一篆器骺 = g 百2 篆丽1 丽( t - 3 2 ) x q i c h a n g y a h o o c o n l c n第1 1 页，共3 4 页毕业论文 第一章一类独立同分布随机模型平均选择 由三角不等式，可得 s 麟u p 堕学s 麟u p 幽铲+ 艘监粽产 ( 1 3 3 ) 因此证i t f l ( 1 2 9 ) 成立，仅须我们证明表达式( 1 3 3 ) 中的第一项和第二项依 概率趋于零我们先证明表达式( 1 3 3 ) 的第一项趋于零由表达式矾r ( 反) = e ( e r h e ) 有 e ( a e t r ( r ) 一( e ，反e ) ) 2 = e ( e ( e r a e ) 一( e ，晟e ) ) 2 对常数g 0 ，我们有 e ( e ( e 丁露e ) 一( e ，冗e ) ) 2 g ( 打( 晟p d ) 注意不等式 打( 霹反) a - 2 n r ( k ) ， ( 1 - 3 4 ) ( 1 - 3 5 ) ( 1 - 3 6 ) 因此对岛 0 ，我们得到 p s 麟u p 咝蒜产 邯篆笺鬻 篆笺警s 岛腻e r 1 ，n ， m 3 7 ， 二惫 心( 后) ) 2 二u 2 址腻r “砒， p 训7 由条件( 1 2 6 ) ，我们得到( 1 3 7 趋于零接下来我们将证明( 1 3 3 ) 中的第二项 也趋于零由引理1 1 1 ，有以下表达式成立，即 s 腻u p 监端掣般 i ( q 1 ) 盯2 亍i n 风( 七) 。 由假设条件( 1 2 6 ) ，表达式( 1 3 8 ) 也趋于零因此，( 1 - 2 9 ) 成立最后，我们证 明( 1 3 0 ) 通过一些简单的代数运算可得 | i 肛一p ( k ) 1 1 2 = i i i , 一7 7 一冗p r e l l 2 = i 尥p 一，7 一r e l l 2 = i i 觑卢一, 7 t t 2 2 ( 觑p 一，7 ，j 龟e ) + i l r e l l 2 ( 1 - 3 9 ) 由等式( 1 3 9 ) ，三n ( 七) 和岛( 七) 的定义，可得到分解式 l n ( 后) 一r ( 七) = 一型堕竺二翌：垒生+ ! ! 垒剑：二翌竺( 望垒2 nn x q i c h a n g y a h o o c o r n c l l 第1 2 页：共3 4 页 ( 1 - 4 毕业论文 第一章一类独立同分布随机模型平均选择 骰监韭菘篙鲤盟一。t n 即h b i l t t y ( 1 - 4 1 ) s u p 坐芝型丝一o i nynr 恕而_ 矿( k l 一眈m b a b i l i t y ( 1 - 4 2 ) p r o b a b i l i t ( 1 - 4 2 ) 要证( 1 - 4 1 ) ，注意到l | r e l l 2 = ( 帮磊e ，e ) ，0 r 2 打( 帮r ) = e ( e t j 繁r e ) 和 e ( a 2 t r ( j 覃晟) 一( j 繁鼠e ，e ) ) 2 g 【t r ( 霹r ) 2 】，( 1 4 3 ) 这里常数c s 0 因为 打( 殿晟) 2 h 缸( r ) 2 打( 霹晟) ， ( 1 - 4 4 ) 所以对某个岛 0 我们得到 p s 麟u p 剑铲 6 k e g ：幽毵铲 篆哗掰崭掣k e g ：紫卅舶，二急 加r ( 钟 弋3 厶 风( 七) ) 一 叶叫 ? 由表达式( 1 2 6 ) 和( 1 - 4 5 ) 可知( 1 4 1 ) 成立接下来我们证明( 1 4 2 ) 成立注 意( m 肛一叩，r e ) = ( 帮( 矾p 一7 7 ) ，e ) ，并且对正常数臼和a ，使用证明( 1 2 8 ) 的 同样方法可以得到 p t 恕紫 邯篆锷赫铲 s时k罨躲严(1舶)eg： 因此，使用引理1 2 1 及不等式 i i j 孽( 而k “一 ) 1 1 2 k 。，( a ) 2 i l ( 丸雎一卵1 1 2 ， 可得( 1 4 2 ) 成立 x q i c h a n g y a h o o c o r n c i l 第1 3 页，共3 4 页 毕业论文 胪一 貉型协，| 嚣 姒 麟 雨 端董i 默 第一章一类独立同分布随机模型平均选择 1 4 渐近一致性 令k t | i c 为一个真实指数向量，假设以下两个正则条件成立 条件1 当南= k t 时，矩函数e b 一口( 七) 】等于零 条件2 矩函数e c i i p c k ) 一p c k t ) 1 1 2 ) 依概率收敛于零当且仅当n 趋于o 。时， k _ 成立 首先，条件1 是一个正规条件，因为平均估计皿( 尼) 使用这个指数向量肛是必 然充分趋近于p 其次，条件2 也常被用于参数的识别中这个条件意味着当n 充 分大时，真实的指数向量七t 是唯一一个能够极小化广义信息准贝i j g ( 后) 的 由引理1 3 1 可以得到选择出来的指数向量k 也极小化条件期望均方误 差心( 七) 由条件1 和2 可以得到以下收敛定理 定理1 4 1 假设条件1 及条件2 成立，在j | | c 中，当n _ ( 3 0 时，这个选择出来的 指数向量鬲依概率一致收敛于这个真实的指数向量舻 证明使用条件1 和叠代期望运算得 e ( p 一声( 七) ) ( 皿( 七) 一皿( 七) ) 】= e e f ( p 一豇( 七) ) i 叉m 。，x 4 ( 豇( k t ) 一届( 七) ) l = 0 这样可以推出 竹r ( 七) = e c i b p ( k ) t 1 2 ) = e ( i b p ( k t ) 1 1 2 ) - t - e c ij p , ( k ) 一p ( k ) ) 1 1 2 ) = n p h ( k t ) + e c i i p ( k ) 一p c k ) 1 1 2 ) 由足。( 七) 冠。( 矽) 可得r 。( 七) 忍。( 驴) 又因为后= a r g 七cm i l l 尼。( 七) ，我竹 有心( 尼) r ( 驴) 因此，r ( 忌) = 忍( 七) 再由条件2 得出l j 5 _ 舻( 依概率) 1 5 一些注解 下面是关于( 1 9 ) 的详细推导由( 1 8 ) 知 e m l = j 夕一磷r 口o q x q i c h a n g y a h o o ，c o i i i 饥 第1 4 页洪3 4 页 ( 口) 毕业论文 第一章一类独立同分布随机模型平均选择 把( a ) 代x ( i 一7 ) 得 上式等价于 y = 叉k 1 ( r 品9 一砾j r e g ) + 五e q + + e y x m l r = g = ( k x 。1 r = r ) e 口+ + e ( ) 因为场= y 一，藤j 夕和x + = k 一k ，端岛，所以由表达式( 舰) 得 场= x + 0 口+ e + e 0 口的最小二乘估计为g = ( x + r x + ) x + ? y u 在( a ) 中用6 。代替e q ，我们 可以得到e m l 的估计是6 m ，= 端9 一踹局0 口因此，我们有 卢= l o m l + 五e 口 = k - ( 砾j g 一瑞蜀0 口) + k e g = 义k l r 磊9 + ( 五一义击1 冗磊局) 口 = x m l 磅9 + x + 包 k 1 端9 + x + ( + r x + ) 一1 x + t 场】 = 1 端9 + 日场 = 叉1 r i 9 + r ( y 一义k 1 r 矗夕) = ( j b ) 1 碥9 + 昂y = ，7 + 岛y x q i c h a n g c 垡y a h o o c o i n c l l 第1 5 页，共3 4 页毕业论文 第二章一类g a u s s 分布约束随机模型权选择 2 1 模型及其估计 假设弘：( i = 1 ，n ) 是在固定值，忍) 处的随机观测每一个以= ( j t i l ，z 咖) 是固定维数的解释变量五= ( 忍1 ) 是可数无穷维数附加的解释 变量我们考虑如下的线性约束随机模型 玑= z i j 岛+ 忍咖+ e t ，s u b j e c t t o j = 1 i = 1 n 以= 啦一啦+ k ， ( s = 1 ，功， ( 2 - 1 ) ( 2 2 ) 其中p 是一个正整数，e i 是随机误差项，是第s 个参数0 。的约束因子，o 。和6 。是 随机模型( 2 2 ) 中的一些正常数镜= ( 0 1 ，) t 定义为磁未知参数向量 并且皿= ( 妒1 ) 定义为无穷维未知参数向量他们各自对应着已知解释变 量磊和由于实际和理论上的原因，戤是模型中所必须的解释变量然而， 旎是一些附加的解释变量在实际应用中，我们常常需要知道是否么是必须的 或者多少项z i 在模型中是必要的如果我们把啦j 看作戗的一个约束因子，那 z a ( 2 - 2 ) 是- 个具有硝0 = b 7 形式的约束方程，这里r 是参数0 的约束因子，b 是 一个常向量我们假设咖( 忍t l 咖) = 磊，f 砒均方收敛由于名可以看成一系列 的级数展式，因此模型( 2 - i ) 包括了半参数随机模型在经济和金融研究中，模 型( 2 1 ) 已经受n t 广泛关注( 见文 3 6 ，3 7 d 由于五的维数是不确定的，我们考虑系统( 2 1 ) 和( 2 - 2 ) 的一系列约束近似模 型对g = l ，2 ，3 ，第口个约束近似模型包括磊的前g 个元素，他们是磊。1 磊 并且，每一个参数仇被约束为g 个元素魄的线性组合与一个常数的和因此， 第g 个约束近似模型可以写为 p 口 鼽= 毛j 岛+ 盎咖+ d q , i + 色s u b j e c t t o j = 1 1 - - - 1 r 。以= ，摹霍口+ 瞄一+ 玩，( s = 1 ，p ) ， 第1 6 页，共3 4 页 ( 2 - 3 ) ( 2 - 4 ) 第一章一类g a u s s 分布约束随机模型权选择 其中0 口，。= ( a s , 1 a ) ，口= ( 矽1 c q ) t ，d q , t = 蔬j 锄且噶，。= a s ，f 锄 l = q + l l = q + l 是近似误差 令y = ( y l ，) t ，d q = ( d q , 1 ，d 口，n ) t ，磁= ( d ；1 ，噶，p ) t ，b = ( b l ，b p ) t r e = ( e l ，e n ) t 硝却g 矩阵，它的第5 行元素是o o 通过矩 阵表达，( 2 3 ) ( 2 4 ) 的第q 个约束近似模型是 y = x o q + z ；皿口+ d 口+ e ，s u b j e c tt o r o 口= a q 2 口+ 蛾+ b ， ( 2 - 5 ) ( 2 - 6 ) 其中x 是nxp 矩阵，它的第巧个元素是戤j ，磊是死xg 矩阵，它的第巧元素是乏j r 是一仰p 对角矩阵，它的第i 个对角线元素是n 假设随机误差 e t ) 墨1 满足e ( e t k ，z t ) = o 且遵从g a u s s 分布它的条件协方 差矩阵定义为q 以= e ( e e t i x ，z ) ，即 f ，砰n 乳一、 q 。：i 篡譬譬2i ( 2 _ 7 ) l 二。o ：矗j ? 把方程( 2 6 ) 代入模型( 2 5 ) 中，我们可以得到场= 乙，让皿g + d q4 - e ，其 中场= y x r 1 b i r 乙，u = 名+ x r - 1 唧在第q 个近似模型中，m 口的近似估 计是皿口= ( u 乙冉) - 1 z 知场，其中( 绍u 乙，让) - 1 定义为矩阵u 磊，。的逆矩阵因 此；在第q 个近似模型中，p = e ( y i x ，磊) 的估计, - j p a 写为 口q = x e 口+ 乙皿口= ? 7 + 局k( 2 -