（概率论与数理统计专业论文）关于部分线性模型的惩罚高维经验似然.pdf

学位论文独创性声明 1 删攀嬲 本人承诺：所呈交的学位论文是本人在导师指导下所取得的研究成果。论文中除特别加以标注和 致谢的地方外，不包含他人和其他机构已经撰写或发表过的研究成果，其他同志的研究成果对本人的 启示和所提供的帮助，均已在论文中做了明确的声明并表示谢意。 学位论文作者签名：叠茎 学位论文版权的使用授权书 本学位论文作者完全了解辽宁师范大学有关保留、使用学位论文的规定，及学校有 权保留并向国家有关部门或机构送交复印件或磁盘，允许论文被查阅和借阅。本文授权 辽宁师范大学，可以将学位论文的全部或部分内容编入有关数据库并进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文，并且本人电子文档的内容和纸质 论文的内容相一致。 保密的学位论文在解密后使用本授权书。 学位论文作者签名：叠苤指导教师签名：盔垒 签名日期：年月日 辽宁师范大学硕士学位论文 摘要 o w e n n 2 1 胡提出的经验似然方法是统计推断中最重要的方法之一，它在置信域的构造 方面有许多优点除有域保持性，变换不变性，b a r t l e t t 纠偏性以及无需构造枢轴统计 量等优点外，更重要的是无需估计渐近方差且置信域的形状由数据自行决定因此，经 验似然方法受到了许多统计学家和经济学家的广泛关注，他们将这一方法应用到统计的 诸多领域 本文由以下四章组成： 第一部分着重介绍了部分线性模型的形式，经验似然方法的背景以及定义，各种惩 罚函数的表达形式，并指出对于高维数据，经验似然方法依然适用相应的，也提出了 这些领域的国内外学者所取得的研究成果和贡献 第二部分通过引入权函数( f ) ，j = 1 ，疗，其中o ( f ) 1 和( f ) = l ，将部 j - - 1 分线性模型转化为线性模型构造的经验似然函数 r 月1 ( ) = s u p 兀玫 o i o ，q = 1 且鸱( 历= 0 li = li = ii = ij 在一定条件下，针对带有发散参数的参数估计和变量选择问题提出了惩罚经验似然方法 通过选取适当的惩罚函数，我们发现惩罚经验似然方法具有很好的性质也就是说，如 果模型的稀疏性已知，依概率1 ，惩罚经验似然确定的真实模型和估计非零系数一样有 效在假设检验和构造置信区间时，惩罚经验似然方法的优点充分体现出来 第三部分通过数值模拟证实了主要结果 第四部分对主要结果进行证明首先，为证明主要结论，得到了若干具有独立意义的 预备性引理对随机变量阶的估计方法，l a g r a n g e 乘子法，l i n d e b e r g f e l l e r 中心极限 定理的运用使我们得到本文中的绝大部分结果，显示出其在统计推断中的重要地位和作 用 关键词：高维数据分析；部分线性模型；经验似然；s c a d 关于部分线性模犁的惩罚高维经验似然 p e n a l i z e dh i g hd i m e n s i o n a le m p i r i c a ll i k e l i h o o d f o rp a r t i a l l yl i n e a rm o d e l a b s tr a c t t h ee m p i r i c a l1 i k e l i h o o dm e t h o d i n t r o d u c e db yo w e n t t z q 3 l , i so n eo ft h em o s ti m p o r t a n t s t a t i s t i c a li n f e r e n c em e t h o d s i th a sm a n ya d v a n t a g e sf o rc o n s t r u c t i n gc o n f i d e n c e i n t e r v a l s e x c e p tt h a tr a n g ep r e s e r v i n ga n d t r a n s f o r m a t i o nr e s p e c t i n g ，a n db a r t l e t tc o r r e c t a b l e ， t h em o s ti m p o r t a n ti st h a tt h ee m p i r i c a ll i k e l i h o o dr e g i o n sa r es h a p e d a u t o m a t i c a l l y b yt h e s a m p l ew i t h o u te s t i m a t i n ga s y m p t o t i cv a r i a n c e e m p i r i c a l l i k e l i h o o dh a sb e e np a i dg r e a t a t t e n t i o nb ys t a t i s t i c i a n sa n de c o n o m i s t sa n dh a sr e c e i v e dw i d e l yr e s e a r c h e sa n da p p l i c a t i o n s t h ep a p e rc o n s i s t so ft h ef o l l o w i n gc h a p t e r s ： c h a p t e r 1 i sm a i n l yf o c u s e do ni n t r o d u c i n gt h ef o r mo fp a r t i a l l yl i n e a rm o d e l , t h e b a c k g r o u n d sa n dt h ed e f i n i t i o no fe m p i r i c a ll i k e l i h o o dm e t h o d ，t h ef o r mo fk i n d so fp e n a l t y f u n c t i o n s ，f o rh i g hd i m e n s i o n a l i t yd a t a ，t h ee m p i r i c a ll i k e l i h o o dm e t h o di ss t i l la p p l i e d ，w i t h a ne m p h a s i so ns o m ea c h i e v e m e n t so nt h es u b j e c t sa th o m ea n da b r o a d i nc h a p t e r2 , a c c o r d i n gt ot h ew e i g h tf u n c t i o n 阿0 ( ，) ，j = 1 ，刀，w h e r e0 w 0o ) s 1 a n d ( ，) = 1 ，t h ep a r t i a l l yl i n e a rm o d e li st r a n s f o r m e d t ol i n e a rm o d e l g i v et h ee m p i r i c a l j = l l i k e l i h o o df u n c t i o no f ： rh月月1 l ( p ) = s u p n 鸱：嘭o ，码= 1a n d 嘭( ) = o li = i i = if = l j t h ep e n a l i z e de m p i r i c a ll i k e l i h o o df o rp a r a m e t e re s t i m a t i o na n dv a r i a b l es e l e c t i o nf o r p r o b l e m sw i t hd i v e r g i n gn u m b e r so fp a r a m e t e r si sp r o p o s e d b yu s i n ga na p p r o p r i a t ep e n a l t y f u n c t i o n , w es h o wt h a tp e lh a st h eo r a c l ep r o p e r t y o u rr e s u l t sa r ed e m o n s t r a t e dr e g r e s s i o n c o e f f i c i e n t si np a r t i a l l yl i n e a rm o d e l s t h a ti s ，w i t hp r o b a b i l i t yt e n d i n gt oo n e ，p e n a l i z e d e m p i r i c a l l i k e l i h o o di d e n t i f i e st h em o d e la n de s t i m a t e st h en o n z e r oc o e f f i c i e n t sa se f f i c i e n t l y a si ft h es p a r s i t yo ft h et r u em o d e lw e r ek n o w ni na d v a n c e t h ea d v a n t a g eo fp e n a l i z e d e m p i r i c a ll i k e l m o o di si l l u s t r a t e di nt e s t i n gh y p o t h e s i sa n dc o n s t r u c t i n gc o n f i d e n c es e t s i nc h a p t e r3n u m e r i c a ls i m u l a t i o n sc o n f i r mo u rt h e o r e t i c a lf i n d i n g s t h ep r o o fo fm a i nr e s u l t si sg i v e ni nc h a p t e r4 f i r s t l y ，t op r o v em a i nc o n c l u s i o n , w e e s t a b l i s hs e v e r a ll e m m a sw h i c ha r eo fs i g n i f i c a n c eo nt h e i ro w n 堍h t ，t h ee s t i m a t i o n t e c h n i q u e so nr a n d o mv a r i a b l e so f t h eo r d e r ，l a g r a n g em u l t i p l i e rm e t h o d ，l i n d e b e r g f e l l e r s i i 辽宁师范大学硕士学位论文 c e n t r a l l i m i tt h e o r e m p l a ya ni m p o r t a n tr o l ei nd e r i v i n go u rr e s u l t s ，w h i c hs h o wt h ei m p o r t a n t p o s i t i o na n dr o l ei nt h es t a t i s t i c a li n f e r e n c e k e yw o r d s ：h i g hd i m e n s i o n a ld a t aa n a l y s i s ；p a r t i a l l yl i n e a rm o d e l ；e m p i r i c a ll i k e l i h o o d ； s m o o t h l yc l i p p e da b s o l u t ed e v i a t i o n i i i 关于部分线性模型的惩罚高维经验似然 目录 摘要i a b s t r a c t i i 1 绪论1 1 1 部分线性模型1 1 2 经验似然2 1 3 惩罚估计和高维数据4 2 惩罚经验似然估计6 2 1 方法和假设一6 2 2 主要结果8 3 模拟1 0 4 主要结果证明1 2 结 论2 3 参考文献2 4 攻读硕士学位期间发表学术论文情况2 7 致 射2 8 一i v 辽宁师范火学硕士学位论文 1 绪论 1 1 部分线性模型 模型( 1 1 ) 是一种半参数回归模型，是2 0 世纪8 0 年代发展起来的一种重要统计模型， 它是e n g l e 等1 在研究用电量与天气、收入以及季节等变量之间的关系时提出的，其后， 在工业，农业，医药，经济，金融等领域都得到了蓬勃发展由于它们有着丰富的研究 内容和广泛的实际应用范围，因而受到人们的广泛重视 假设随机样本 ( 置，t i ，z ) ，1 i 胛 来自于以下部分线性模型： r = 掣+ g ( ) + q ， f = 1 ，胛， ( 1 1 ) 其中z 为响应变量，置= ( 一l ，一，1 是p 维协变量，t i 的支撑集为有界闭集，不妨设为 ，7 【o ，l 】，= ( 屈，犀) 是p 维未知参数向量，g ( ) 是定义在【o ，1 】上的未知可测函数， 蜀，乞是独立同分布的随机误差，其均值为o ，方差为d r 2 0 我们同样假设 工) 矧是 一列独立同分布的随机向量本文我们假设e ( 置) = 风，v a r ( x ) = = ( a j k ) ：矧 因为部分线性模型既包含了参数部分也包含了非参数部分，作为线性模型和非参数 模型的有机结合，所以它比线性模型更自由灵活正因为如此，吸引了更多的学者来估 计模型( 1 1 ) 中参数和非参数的相合性和渐近性半参数回归模型集中了主要部分( 即 参数分量部分) 的信息，因此有较强的解释能力在e n g l e 等3 之后，更多的人开始关注 如何估计模型( 1 1 ) ，由此产生了一些估计方法，主要有样条估计、核估计、分片多项 式估计等r i c e 心1 得到了在x i ，t i 为随机且不相关时，矽可达到n - t 2 收敛速度；s p e c k m a n 3 基于核估计及最d - 乘法得到的刀相合估计，在五与相关情况下，证明了的估计 是渐近有效的，且g 的估计也达到非参数最优收敛速度上述结果均是在误差与五， 独立的条件下得到的c h e n 1 研究了观测数据为完全数据情形下最小二乘估计的渐近性 质；王启华嫡1 等研究了右删失情形下核估计的性质；l i a n g 等嫡1 考虑了模型( 1 1 ) ，其中 协变量x ，含有测量误差，提出了参数的修正估计，研究了估计的相合性和渐近正态性； l i a n g 等盯1 考虑了模型( 1 1 ) 中x ，随机缺失的情况，给出了和函数g ( ) 的估计；w a n g 等陋1 考虑了模型( 1 1 ) 中r 随机缺失，提出了z 的均值的几种估计：l i a n g 等阳1 考虑了响应变量 带有缺失而协变量带有测量误差的部分线性模型，给出了基于观测数据下参数的估计 关于部分线性模型的惩罚高维经验似然 及总体均值e ( ) 的估计；w a n g $ 1 s u n n 仍考虑了模型( 1 1 ) 中响应变量缺失的情况，对缺 失数据借补后，给出了估计卢和函数g ( ) 的方法及估计的性质关于部分线性模型的详 细介绍，可参见h g r d l e 等n 传统的模型都假定是有限维，提出了估计参数和非参数的方法，如核方法、样条 方法、局部线性方法等但是，当p 很大，与刀的大小相当甚至大于刀时，已有的方法 不能处理该问题，因此，考虑高维的部分线性模型，假定p 很大，稀疏，即的一些 元素是o ，对非参数部分，采用样条方法逼近非参数函数g ( t 1 ，然后用d a n t z i g 或l a s s o 变量选择方法进行变量选择，同时估计未知参数 1 2 经验似然 经验似然是o w e n n 2 3 在完全样本下提出的一种构造未知参数的置信区间的非参数统 计推断方法该方法较一些经典的统计方法优越，例如，在很多情形下较正态逼近方法精 确，尤其是当数据来自非正态总体或方差估计不稳定时；此外，它有类似于b o o t s t r a p 的抽样特性，这一方法与经典的或现代的统计方法比较有很多突出的优点，如在置信域 的构造方面有域保持性、变换不变性及置信域的形状由数据自行决定等诸多优点外，还 有无需构造轴统计量及b a r t l e t t 纠偏性等优点经验似然方法的本质是在约束条件下求 非参数似然比的极大值，而总体参数由约束条件带入极大似然比中正因为拥有这些优 点，自提出后引起了许多统计学家的极大兴趣，他们已经把经验似然方法成功地应用到 各种统计模型和领域 假设五，k ，以为独立同分布样本，分布函数为f o ( 未知) 对于，y ，其中丁为 分布函数族，定义非参数似然函数 l ( f ) - - f i ，( 置) 一f ( 墨一) ) = n f 置) 易知经验分布函数c ( x ) = 去， 置x ) 为f o 的非参数极大似然估计 同参数似然比方法类似，在总体分布未知的情况下，我们用非参数似然比进行假设 检验与区间估计，即定义 即) = 器 辽宁师范大学硕士学位论文 不象参数似然比，非参数似然比中不包含未知参数一个自然的问题是如何使用它对参 数做统计推断，注意到一些参数口是总体分布的泛函，即锣= 丁( f ) r 尸，其中丁( ) 是分 布，的某泛函，属于某分布类f ，如总体均值及分位点等就是上述形式泛函的例子 为t 对t ( f 1 ：秒做检验，文献n 2 3 定义了如下的经验似然比检验统计量 r ( 秒) = s u p r ( f ) i t ( f ) = p ，日f ) ( 1 2 ) 很显然，经验似然比实际上要求，在满足约束条件丁( f ) = 0 下，使非参数似然比达到极 大( 在无约束条件时，极大非参数似然比是1 ) ，而参数口由这一约束条件引入这一极大 似然比中，从而得到关于参数口的非参数似然比函数用这一非参数似然比作假设检验， 区间估计或进行其他统计推断，这一方法就是所谓的经验似然比方法如果定( 岛) r o ， 经验似然假设检验拒绝 h o ：丁( f ) = 岛 而经验似然置信区域为 口：咒( 秒) 。) ( 1 3 ) 其中是某一临界值 由式( 1 2 ) 知，只有样本观察值的概率质量大于0 时，经验似然比才可能达到极大， 所以只需考虑离散型分布函数类歹不失一般性，假设数据没有结点，根据o w e n n 列的引 理1 知，即使数据存在节点，经验似然比函数仍相同设分布函数f 在x i 处的概率质量 为p j ，l 2 和0 0 1 2 硬门限( h a r dt h r e s h o l d i n g ) 惩罚函数： q 。( i 0 1 ) = 五2 - ( i o - z ) 2i ( o l l ，( 乏- m 。( o ，佃) ，并且当4 七，乞乞时， e ( 露露萄) = ( 露) e ( 笱) e ( 萄) ( 2 3 ) 类似文献【1 4 ，基十正规万栏, - j 以构造邵分线住干臭型阴经验1 以然定义辅助父重 配( ) = 量( 霉一霹夕) ，的经验似然函数是 i 井 h l l ( f 1 ) = s u p n 璐：o ，磁= l 且璐u ( ) = o ( 2 4 ) li = li = 1 i = l j 显然，可以用l a g r a n g e 乘子法计算( 2 4 ) 构造l a g r a n g e 函数 g = l o g ( ) 一，l 彳 u i ( ) + y l 磁一1i ” ” ，”、 i = li = 1i = l 由 篓：0 ，扛1 ，一，甩， 得 鼍= 百1 一删 劂小”一 关于部分线性模型的惩罚高维经验似然 对上式左右两边同乘以璐，关于f 从1 到刀求和，利用线性约束条件可得 1 螅2 一 刀 i 丽r u f = 1 ，n ， 将( 2 5 ) 式代入l ( ) ，我们可以看出( 2 2 ) 式的最大值等价于 ( 2 5 ) ( 2 6 ) hp z p ( ) = l o g 1 + 钐( 历) + 胛p ，( 1 屈1 ) ( 2 7 ) f _ ll = l 的最小僵 本文中，当刀- 一w t ，p 亦发散到假设属= ( 屈1 ，一，屈，) 。为模型的真实参数假 设对于o 歹p o ，属，0 ，但是对于每个， p o ，屈，= o 在此，当胛一一时，p o 的发 散速度与p 的发散速度相同根据以上假定，我们可以将写作= ( 屏，羼) ，其中 屈吼凡，厦吼，因此真实参数为鼠= ( 厥，o ) 7 记茏= ( ：屁j o ) ，显然，丸的维 数是h = p o 为得到本文主要结果还需如下假设： c 1 ：设七3 ，模型( 2 3 ) 中的观测值 置) ：。是独立同分布的 c 2 每) ：。独立同分布，并且当i 3 时，e ( 彳) c 1 0 ，的特征值满足c l 兀( ) 托( ) 巧( ) c 2 c 4 ：当玎一，p o o 时，对于附言引理4 4 里给出的万，则有p 2 珂1 矿( 4 ) 一0 ， p , - 2 , n v 2 2 万一0 ，并且p o p c 5 ：当，l _ 。时，对于c 1 所指定的艿，调整参数f 满足f _ o 和2 - ( n p ) v 2 一- - - ) 0 0 非零 元满足m 拒i 。n i 风一f 一 c 6 ：m 廊a xp m 朋= 。 ( 屈) 一) ，警p 舶巾= 。 p - v 2 + , n - , 2 2 主要结果 一历 、， 萝一， 1 1 ，-l，揣 辽宁师范大学硕士学位论文 定理2 1 在正则化条件c 1 c 6f ，当n _ o o 时，则有 1 ( 选择一致性) 依概率1 ，有度= 0 ； 2 ( 渐近有效性) 二呢石v 2 ( a 一层。) - n ( o ，g ) 其中形吼弘砌，对于g 吼州，满足吃嘭一g 和i x = 矿1 下面我们利用惩罚经验似然方法为假设检验和构造置信区间给出一个整体的框架 事实上，对于非零参数有限维置信集合是十分有趣的为达到这个目的，我们考虑以下 的假设检验 h o ：厶届o = 0v sh 1 ：厶层o 0 其中l ：是q x p 。阶矩阵，对于确定并且有限阶的厶，满足厶e = i q 则惩罚经验似然值 检验统计量可表示为 z ( 厶) = 一2 夕) 一癣。孽，( ) ) ( 2 8 ) 我们通过以下定理总结检验统计的性质 定理2 2 在零假设和定理2 1 的条件下，当刀一一时，则有 乏( 厶) o 彳 然而，关于t 夕的l 一口水平下的置信集合为 圪= y ：- 2 粤p ( 矽) 一层聚，粤p ( ) ) z 。一口 ( 2 9 ) 其中，农。吨是z 分布的1 一口水平分位数进而，我们有当”一时， 户( l 层。圪) 一1 一口 关于部分线性模型的惩罚高维经验似然 3 模拟 在数值模拟研究中，考虑如下部分线性模型 y = x r 夕+ g ( r ) + 其中，参数真值属= ( 3 ，1 5 ，0 ，0 ，2 ，0 ，o ) r 是p 维参数，x 是p 维正态分布，均值为1 ， 协方差阵为单位矩阵，岛n ( o ，1 ) ，f - l ，刀g ( t ) = s i n 2 z t ，t e o ，1 】，非参数部分估计用 的核函数足( x ) 为足( z ) = 三( 1 一工2 ) ，i x l 1 在模拟过程中，样本量刀的取值分别为5 0 、1 0 0 、 2 0 0 ，p 的取值分别为l o 、2 0 、3 0 ，模拟结果见表3 1 表3 1惩罚经验似然方法在估计部分线性模型回归系数时的模拟结果 t a b 3 i s i m u l a t i o nr e s u l t so f p e lm e t h o di ne s t i m a t i n gt h e r e t 丑 e s s l o nc o e t t l c l e ml nd a r t a a l l yl m e a rm o o e i s 0 系数的平均个数 p , m s e t r u ef a l s e 8 。 j b ： 9 s 注：3 5 列是非零变量的估计值；第6 列代表3 个非零变量错误设为。的平均个数；第 7 列代表p 一4 个非零变量正确设为o 的平均个数 由表3 1 的结果可以看出，惩罚经验似然方法准确地将非零元素错误设为0 估计出 的零系数的个数接近p 一3 ，表明按照非零系数选择的模型非常接近真实模型夕的惩罚 经验似然估计与夕好的( 尾) 估计进行比较，我们发现惩罚经验似然估计的结果虽比尾 偏大，但是十分接近对于大样本， 烛i p = 3 0 ，n = 2 0 0 ，夕与皮几乎相等由此证实了 定理2 1 的结果，惩罚经验似然估计与好的估计相比渐近有效 辽宁师范大学硕士学位论文 表3 2 层的给定值未落入9 5 ( 2 9 ) 式置信集合的经验频数层= 3 t a b 3 2 t b ee m p i r i c a lf i e q u e n c yt h a tag i v e nv a l u eo f 层d o e sn o tf a l l i nt h e9 5 c o n f i d e n c ec o n s t r u c t e db y ( 2 9 ) t h et r u t hi s 屈= 3 层 2 8 2 93 03 13 2 p = 3 0 ，刀= 2 0 0 0 6 0 1 0 2 2 40 0 8 00 2 3 70 6 4 0 对于( 2 8 ) 式中厶= ( 1 ，0 ，o ) 7 ，对于层芒圪，其中圪由( 2 9 ) 式给出，我们也 可观察出经验拒绝频数，这里屈是的第一个分量由表3 2 可以看出在模拟里，当屈被 设为真值时，经验拒绝速度接近0 0 5 显著性水平，这就证实了定理2 2 的结果 一1 1 关于部分线性模型的惩罚高维经验似然 4 主要结果证明 为证明定理，需给出如下引理 引理4 1 若对于k 1 ，m 4 ，则 e ( i x , - o l l 2 ) = = ( ) ( p ) ，v m r ( x , - o l l 2 ) = = o ( v 1 2 ) 证明：见参考文献c h e n 等中的引理l ，只需把证明中的护( ) 改为p ，其余类似， 故略去口 引理4 2 若对于k 1 ，m 4 ，则依概率1 m a x 。i x ，一风0 证明：通过简单的计算可得 m ；，a ；x 。i x ；一4 磷卧心州以2 ” = q ( p ； + 。p p - ( 2 卜1 ) ( 4 t ) 刀矿( 4 i ) l 懋陪l o l l 2 + - e ( 1 l x , 一4 h 陪o i l 2 ) ) 巩2 q = n 瞰 l s i o ，且俐i = 1 ，所以i i 1 - - p 同嘶e n n 3 1 类似，我们有 o = ( ，训= ( 矽) 0 矿q 1 。( p 秒) i = 刀一1 秒7 喜c ，一喀黼 l 2 矽7 喜珊一刀。1i 喜臼7 u i ( f 1 ) n 1 4 - p ou il 智 。，)i 智l p 伊7 r o ( f 1 ) 秒 + p m a x l l u , ( f 1 ) i 一刀一 喜秒7 ( 夕) l 因此，( 3 1 ) 式成立 一方面，注意到墨满足因子模型( 2 3 ) ，乞与置相互独立，并满足条件2 正因如此，连 同u ( 屈) = 墨毒，我们可以推出 因此，估计出 j , - i 主吲屈忙q ( 厮) 又因为 显然有 玎一l l ( 屈) 此外，由条件2 可知所4 。 因此 关于部分线性模型的惩罚高维经验似然 p 喜蝴) 卜( 厮) ( 屈) w ( p o ) - - , 一叉。，以。，t 乞- 2 o t r ( 屈) 口= q ( 1 ) = e ( 酽 1 1 一1 4 一 ( 3 4 ) ( 3 5 ) 屈，i u 伊 。矧 u 。渊 一 玎 | i 、i， 反 ， u 伊 。 u 伊 。一 辽宁师范入学硕士学位论文 此时，得到 乙( ) 一l ( 属) = - 2 刀一1 窆碧，f f ( 一屁) + 1 1 - r 窆z 霹 f ( 一屁) ) 2 ， ，；i，= 1 秒r l ( p ) e = a r z ( a ) e + o ，( 1 ) = q ( 1 ) ( 3 6 ) 又因为e ( 置) = o ，并利用引理4 2 ，有 m 剐矧= m 剐置一z o l l = o pi pj卜p-(2k-o(4)nv(4*)1 ) ，、 而且，注意到对于见， 因此，由条件4 ，得到 m a x l 置j j ( 一屈) l | 。m a x “2 7 f i | 2 = ( 1 ) 峄m 蹄一1 l 耖( ) 卜( 1 ) ( 3 7 ) 联合( 3 5 ) 一( 3 7 ) ，引理4 4 得证口 注：重复( 3 7 ) 的证明过程，我们注意到以下事实，会在以后证明中用到 m a x8 巧( ) 忙0 如l 眦x 帜( ) i | = o p ( 1 ) ( 3 8 ) 引理4 5 当疗- ) o o 时，依概率1 ，( 2 6 ) 式所给出的粤p ( f 1 ) 在d 内存在最小值 证明：对于见，由l ( p ) 的定义，得到 蝴乃) 玎善高一o 9 ， 根据引理4 4 ，( 3 8 ) 式表明对于见，m ，x i 乃u ( ) i = o p ( 1 ) 对q 1 。( ，乃) 泰勒展开， 可以得到 o = n 叫u , ( p ) - r ( ) 乃+ ， ( 3 1 0 ) 关于部分线性模型的惩罚高维经验似然 其中余项为= 刀一1 主( ) 筋u ( ) ) 2 ( 1 + 毒) 。3 ，并且l 毒i i 钐( ) i 由( 3 1 0 ) 得到 乃的表达式 九= 巧1 ( f 1 ) u ( f 1 ) + r ；1 ( ) 其e e v ( f 1 ) = r 1 - 1 窆( ) 将代入粤( ) ，很容易看到 2 9 ( f 1 ) ：玎万( ) 丁巧1 ( ) 万( ) 一船巧1 ( ) + 2 3 壹 巧( ) ) 3 ( 1 + 专) 。4 i = 1 注意到( ) = 置毒和模型( 2 3 ) 中的观测值对于觋，不难验证 rh、orh、 2 e ( p ) 一2 e ( p o ) = 刀 r - 1 ( 置f ) ( 一f l o ) 巧1 ( ) n - i ( 置f ) ( 一屈) = q ( 刀) l i = 1 jl l = ij 上式表明对任何的c 0 ，当刀一时， p 陋( ) 一2 z ( 成) ) c 卜1 而且，对于充分大的刀， 粤，( ) 一z p ( 属) = e ( f 1 ) 一z ( 成) + 刀x p ，( 1 肛1 ) 一p ，( 1 e o 朋) e ( f 1 ) 一粤( 屈) + 刀 p ，( 1 屏1 ) 一p ，( i 屈m ) e ( f 1 ) 一粤( 屁) 由s c a d 惩罚的无偏性及当刀充分大时，对于_ ，艽，p ，( 1 屁朋= 岛( i 层i ) ，最后一个不等式 成立因此，依概率1 ，对于a d ，z ，( ) 粤( 屈) ，这样就完成了引理4 4 的证明口 定理2 1 的证明： 由引理4 5 可知，在球 ：忪一屈0 。 n d p i 对于膨( 一c a 。，0 ) ， 吉掣 。 n d p 因而，依概率1 ，度= o 至此完成了定理2 1 的第一部分证明 关于部分线性模犁的惩罚高维经验似然 现在我们证明第二部分为了简便，不妨假设= 1 由第一部分，我们考虑了( 2 7 ) 式的最小值服从日：f l = o 应用l a g r a n g e 乘子法，( 2 7 ) 式的最小值服从日：f l = 0 等价于以 下目标函数的最小值 z ( ，五，y ) = n - 1 e l o g l + 彳, 7 u ( ) ) + 羔p ，( 例) + v t i - 1 2 f l 其中y 吼p 一凡是另外一个l a g r a n g e 乘子 对于乜，由引理4 4 ， = ( 1 ) ，= d p ( 1 ) 定义 q l n ( f l ，兄，y ) = u ( ) l + 五7 ( ) ) + b ( ) 十磁y 啪川一- n 一喜端郴) 蟛y q ，。( ，兄，y ) = w 2 f l 其中b ( 夕) = 怔( 矧) s 劬( 届) ，p ：( 蚓) j 劬( 屈) ，p ：( i 氏1 ) s 初( 氏) ，o ，o r 将以上等式在( 屈，0 ，o ) 。处展开，我们得到 一q 。( 屈，0 ，0 ) 0 0 = 譬 力一0 8 一b t 侈一0 坝。 ( 3 1 1 ) 其中r ：5 群，趟k ( 碟n ，磺扪，o ) 7 ，r 卫吼，及趟? 吼p ，碟，：1 ，2 的第k 个分量 表达式如下 r 彬m = 圭( 毋一编) ，a 2 q 附( r ) a t a t r ( 毋一吼) ， 刁= ( f l ，五) 7 ，矿= ( ，五) 满足i i 一屈i l 炉一f l o i l 并且l l 兄i - 1 五1 ， 、一、 0 h o o 联。五。町 辽宁师范大学硕：l j 学位论文 硝2 ) = o , b r ( 属) ，。) 7 ，砖3 ) = 0 ， 6 ，( 屈) ( 夕一属) ) 7 ，。) r ， r ：5 ) = ( 瓦( 属) 一) 五) 7 ， ( l ( 屈) 一z ) ( 夕一属) ) 7 ，。) r p ( 乙( 属) 一) 五) r ， 由条件6 及s c a d 惩罚函数，我们有0 硝2 0 = 。p ( 1 石) ，l k 刊= o p ( 1 i ) 进一步，因为 b ( ) 与b ，( ) 只是在非零元中出现，所以当胛充分大时，r ：2 = 碍3 = o 又因为 有 定义 0 l ( 屈) 一i i = q ( 而) ，9 夕一屈i i = q ( ) 及l | 厶0 = q ( ) ， 啤4 i l _ q ( 以石) q ( ) = o p ( - 石) ，8 磁5 l i ：0 p ( 1 石) k i i = - , , k 1 2 = 川心忪b 斜 并且令侈= ( ，y7 ) 在等式( 3 1 1 ) 左右两端同时左乘k ，得 (主二：)=k一1一qh蚤反，。，。一兄) 其中r = 磁，并且由以上讨论，得 k = l r 忙割酬、( 1 石) 应用分块矩阵求逆的方法，我们有 其 则 k - 1 ：一 ( 0三) + ( 中彳= 如一t ，何k ：= ( 手) 一1 9 卜1 ( 一墨，何1 ) ，) k ：降k1 i 心。疋：j ， k 一， k 一 关于部分线性模型的惩罚高维经验似然 b - o o = 彳k ：，k 托。( z o ，0 ，o ) + 。p ( 1 石) 另外，对分块阵彳求逆，有 从而有 ( 3 1 2 ) 彳一：fr 1 一r 1 日；( h z 一日；) 日：。1 i( h ：一磁) 吼一 夕一屈= 卜一磁( 日：z h r ) - ih 2 z - 1 炉 其中r 。是向量兄的分量，并且i i 尺，。i = o p ( 1 i ) 显然屈的非零元可展开为 f ：篡纠一( 日：嘲) “ j 置毒+ 蜀。 i = l a 氓h , z - 1 _ h , z - 1 h r ( 日：跗；) 够盱1 硝= 抽。矗的渐近协方差为 经过分解得 置毒+ 尺。 i = 1 i b = 日，h i r - h 。_ 1 日；( 日：- 1 日；) 日：一日j 其中杰口= q 。1 h ；，我们有 对分块矩阵求逆得 乏) i b = l l 一1 2 2 2 2 l 一= ( 爿冀于列攀f - 1 2 1 f 厂1 )l 一，- 1 2 。l 其中f = 2 2 - z ：。i f 。2 这表明 i b = 一 一2 0 一 堑主堑蔓盔堂堡主兰垡笙塞一 一一一 义凼为 9 石嘭f ；啦r 。l | =