（应用数学专业论文）相依样本下非参数回归函数的小波估计.pdf

相依样本下非参数回归函数的小波估计 摘要 回顾回归分析的历史，大致在二十世纪七十年代以前，研究的重点在于参 数回归，而七十年代以来，非参数回归的研究日渐兴起，吸引了众多统计学者 的关注。参数回归模型对回归函数提供了大量的额外信息( 通常是相背离) ，所 以促使人们寻找别的出路，从而导致对非参数回归的研究，其特点就是：回归函 数的形式是任意的，变量的分布也很少限制，因而有较大的实用性。因此，f a n y ( 1 9 9 0 ) 讨论了非参数回归模型：z 扣= g ( 0 帅) + i = 1 ，2 ，厅，其中为( ， 吣 固 定设计点列，其误差序列f 0 哪 为相依和不同分布的随机变量时，建立了回归函 数g ( r ) 的权函数估计并研究了它的弱收敛性、均方误差收敛性和一致收敛性。 柴根象教授对于非参数回归模型：r = g ( t ，) + 暑，i = 1 ，2 ，行。其中为 ) 固定设 计点列，其误差序列豫) 为p 一混合( 2 0 0 1 ) 和口一混合( 2 0 0 4 ) 的平稳序列时， 建立了回归函数g ( r ) 的小波估计，并研究了它的渐近无偏性、相合性、强相合 性和收敛速度问题。 本文对于双下标的非参数回归模型；匕，= g ( t 。) + 矗，i = 1 ，2 ，聆，其中为 固定设计点列，主要研讨了误差序列分别为以下两种相依样本时，它的些大 样本性质：( 1 ) 误差序列 s 。) 为鞅差序列时，建立了回归函数g ( f ) 的小波估计， 并研究了它的g 一阶矩的相合性与收敛速度问题。( 2 ) 误差序列 s 。 为l q 一混 合的平稳序列时，建立了回归函数9 0 ) 的小波估计，并研究了它的g 一阶矩的相 合性与强相合性问题。 关键词：非参数回归模型小波估计鞅差序列口一混合的桐合性强 相合性收敛速度 w a v e l e te s t i m a t i o no fn o n p a r a m e t r i c r e g r e s s i o nf u n c t i o n u n d e rd e p e n d e n ts a m p l e a b s t r a c t r e v i e w i n gt h eh i s t o r yo fr e g r e s s i o na n a l y s i s ，t h er e s e a r c hh a df o c u s e do n p a r a m e t e rr e g r e s s i o nb e f o r et h e7 0 。si nt h et w e n t i e t hc e n t u r y ，w h i l et h e r e a f t e rt h e r e s e a r c ho fn o n p a r a m e t r i cr e g r e s s i o nw a sf l o u r i s h e dg r a d u a l l yw h i c ha t t r a c t e d m a n ys t a t i s t i c i a n s 。a t t e n t i o n ，p a r a m e t e rr e g r e s s i o nm o d e lo f f e r sm u l t i t u d e s o f e x t r ai n f o r m a t i o nf o rr e g r e s s i o nf u n c t i o n ，s oi td r i v e sp e o p l et os e e ko t h e rw a y st o d ot h er e s e a r c h c o n s e q u e n t l y i tc a u s e dt h er e s e a r c ho fn o n p a r a m e t r i cr e g r e s s i o n t h ec h a r a c t e r i s t i c so fi ta r ea r b i t r a r yr e g r e s s i o nf u n c t i o nf o r ma n dl e s sr e s t r i c t i o n t ot h ed i s t r i b u t i o no ft h ev a r i a b l e s t h e r e f o r e ，i ti sv e r yp r a c t i c l e f a n y ( 1 9 9 0 ) c o n s i d e r e dt h en o n p a r a m e t r i er e g r e s s i o nm o d e l ：誓= g ( 0 砷) + 西，i = l ，2 ，n ， w h e r e t f f ) w e r ek n o w na n df i x e dd e s i g np o i n t s ， 莳町 w e r ea s s u m e dt ob eb o t h d e p e n d e n ta n dn o n i d e n t i c a l l yd i s t r i b u t e dr a n d o mv a r i a b l e s h eg o tt h ee s t i m a t i o n o fg ( ，) w i t hw e i g h tf u n c t i o nm e t h o da n dd i s c u s s e di t sw e a k ，m e a ns q u a r ee r r o r ， a n du n i v e r s a lc o n s i s t e n tu n d e rv e r yg e n e r a lc o n d i t i o n so nt h et e m p o r a ld e p e n d e n c e a n dh e t e r o g e n e i t yo f 哪。s a s y m p t o t i cd i s t r i b u t i o no ft h ee s t i m a t o rw a sa l s o c o n s i d e r e d p r o f e s s o rc h a ig e n x i a n gc o n s i d e r e dt h en o n p a r a m e t r i c r e g r e s s i o n m o d e l ：l = g ( ) + q ，i = 1 ，2 ，刀，w h e r e ) w e r e f i x e dd e s i g np o i n t sa n d ) w e r e p - d e p e n d i n gr v a n d 口一d e p e n d i n gr v ，h eg o tt h ee s t i m a t i o no fg ( ，) w i t h w a v e l e tm e t h o da n dd i s c u s s e di t sw e a kc o n v e r g e n c e ，s t r o n gc o n v e r g e n c ea n dt h e r a t eo fc o n v e r g e n c e i nt h i sa r t i c l et h ea u t h o r sm a i n l yc o n s i d e rt h en o n p a r a m e t r i cr e g r e s s i o nm o d e l ： ，= g ( t i ) + ，i = 1 ，2 ，n ，w h e r e 0 ) b e as e to ff i x e dd e s i g n e dp o i n t sa n d 矗，) b es t a t i o n a r yp r o c e s su n d e rt h et w od e p e n d e n ts a m p l e s ： ( 1 ) w h e n ) i sm a r t i n g a l ed e f e r e n c es e q u e n c e ，w ea d o p tw a v e l e tm e t h o dt o e s t i m a t er e g r e s s i o nf u n c t i o n 占( f ) a n dt os t u d yi t sc o n s i s t e n c ea n dt h er a t eo f c o n s i s t e n c e ( 2 ) w h e n 毛0 i s f m i x i n g a l e ，w ea d o p t w a v e l e tm e t h o dt oe s t i m a t e r e g r e s s i o nf u n c t i o ng ( ，) a n dt os t u d yi t sc o n s i s t e n c ea n ds t r o n gc o n v e r g e n c e k e yw o r d s ：n o n p a r a m e t r i cr e g r e s s i o nm o d e l ；w a v e l e te s t i m a t i o n ；m a r t i n g a l e d e f e r e n c es e q u e n c e ；口一m i x i n g a l e ；c o n s i s t e n c y ；s t r o n gc o n s i s t e n c e ； c o n s i s t e n e er a t e i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研宄成果，也不包含为获得 金胆王些盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示谢意。 学位论文作者签名：五二毒丘签字日期：力年j 碉孑。口 学位论文版权使用授权书 本学位论文作者完全了解盒理王些盔堂有关保留、使用学位论文的规定，有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授 权盒胆王些厶堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 缸 签字日期：c 年、f 月7 0 日 f 学位论文作者毕业后去向： 工作单位：密务上移彳， 通讯地址：乌磁d 印刮k i 7 导师签名： 彩孝弘 签字日期：伽7 年厂月夕矿日 电话：r r r 一- ：# 7 ) 邮编： 致谢 本论文的工作是在我的导师杜雪樵教授的悉心指导下完成的。从论文的选 题、收集资料和研究、到撰写和完善，自始至终都得到杜老师的指点和帮助。 在整个研究生的学习和论文写作期间，杜老师深渊的专业知识、严谨的治学态 度和诲人不倦的教学态度让我受益终身，并将成为我今后学习和工作中的宝贵 财富在此，向杜老师致以深深的敬意 在这段期间，我得到了凌能祥教授指导、帮助和启发，令我受益匪浅；凌 老师精深的专业知识，开阔的学术眼界，令我佩服。在他的指导下，我独立从 事科研的能力得到了很大的提高。 其次，感谢我的同学们，对我生活上的关怀与帮助，使我拥有一个良好的 学习氛围，也共同度过了宝贵而又愉快的研究生生涯。 最后，感谢我的家人，是他们为我提供了这样的条件和机会，使我能够安 心学习也正是在他们一如继往的鼓励下，我得以顺利地完成我的学业。 再次，向所有帮助过我的老师、同学和家人表示感谢l 1 1 1 作者：王二红 2 0 0 7 年5 月 第一章引言 1 1 背景简介 根据回归函数的形式，回归模型可以分为以下三种：参数回归模型，非参 数回归模型半参数回归模型回顾回归分析的历史，大致在二十世纪七十年 代以前，研究的重点在于参数回归，尤其是线性回归，这个方面目前仍在向纵 深方向发展。七十年代以来，非参数回归的研究日渐兴起，吸引了众多统计学 者的关注。参数回归模型对回归函数提供了大量的额外信息( 通常是由经验和 历史资料提供的) ，当参数假定与实际向背离时。基于经典的假设模型所做的 推断其表现可能很差，这种情况促使人们寻找别的出路，而非参数回归则是朝着 这个方向的一种努力非参数回归模型的一个明显特点就是：在不用指定回归 函数的形式下对函数作出估计，它主要针对比较复杂的统计模型，在这些模型 中提出具体的参数形式非常困难。因此。对非参数回归模型的研究有着一定的 理论意义和实际需要本文将研究固定设计下非参数回归的小波估计问题 设随机变量】，是因变量，x 是自变量( 解释变量) ，它可以是确定的也可 以是随机的称 厂( 砖= 联y l x = 砖 为】，对x 的回归函数或条件回归函数，其中x r 。非参数回归模型就是要在 给定样本条件下，得到回归函数的一个估计非参数回归模型的估计方法有三 大类：权函数方法、最小二乘法、稳健估计 非参数回归模型可分为固定设计变量和随机设计变量两大类，f r e e d m a n 曾强调了两类模型的许多差异。固定设计变量非参数回归模型可写成如下形式 r = ，( 毛) + 弓，f = l ，2 ，撑 其中k ，砭，夏是在固定点毛，x 2 ，毛处的观测值，毛，乞，岛是i , i ，d 。随机变量， 且e ( 岛) = o ，骈= 盯2 ，f - l ，2 ，i 1 回归函数f ( x ) 都未知，我们也不知道它的函数 形式。另一类回归模型即随机设计变量回归模型，也可写成类似形式 r = ( 五) + 蜀。f = l ，2 ，n 其中瞄，巧) 隅，艺) ，写) 是来自总体( 置y ) 的f f ，d 样本，蜀的情况同上 八工) = z ( r i x = 力是未知的回归圜数，在上模型中厂( 工) 的估计问题称为回归函 数的非参数估计问题。回归函数的非参数估计问题已经有许多作者进行了讨论， 提出了核估计、近邻估计、直方图估计和局部多项式估计等方法。这些估计有 如下形式 三 o ) = 乞c o , ( x ) g t = 1 其中o , a x ) = q ( x ，五，墨) 或q ( 力- - - - c o i o ，毛，靠) 是任意的可测函数。我们可以 看到这些函数都是关于k ，五，的线性函数，因此，这类估计我们称之为线性 估计 九十年代初，d o n o h o 等人通过一系列文章把正交小波的方法引进到统计 学中，特别是回归函数和密度函数的非参数估计。他们利用门限的思想，构造 了回归函数和密度函数非线性小波估计，考察了估计在b e s o v 空间的收敛速度 问题自此小波方法引起了很多统计学者的注意，为回归估计开辟了一种新方 法。 1 2 小波分析的发展及其在统计中的应用 小波分析是当前数学中一个迅速发展的新领域，它同时具有理论深刻和应 用广泛的双重意义小波变换的概念最初是由法国从事石油信号处理的工程师 m o r l e tj 在1 9 7 4 年首先提出的，通过物理的直观和信号处理的实际需要经验地 建立了反演公式1 9 8 6 年著名数学家m e y e ry 偶然构造出一个真正的小波基， 并与m a l l a ts 合作建立了构造小波基的多尺度分析之后，小波分析才开始蓬勃 发展起来小波分析的应用是与小波分析的理论研究紧密地结合在一起的，它 在许多应用领域都有着十分广泛的应用，例如：数值分析、信号处理、图象处 理、量子力学、理论物理、军事电子对抗与武器的智能化、计算机分类与识别、 音乐与语言的人工合成、医学成像与诊断、地震勘探数据处理、大型机械的故 障诊断等方面。 九十年代初，小波作为一种技术已成功地应用到了密度估计和非参数回归 估计之中，a n t o n i a d s 在非参数回归中利用小波光滑的方法构造了未知函数g ( 的估计，并讨论了估计的大样本性质，例如。均方相合性，强相合性和渐近正 态性；薛留根在完全与删失数据下得到了g ( 的小波估计的强一致收敛速度， 柴根象等将小波估计应用于一般的半参数回归模型中，建立了系统的大样本性 质小波估计相对于其它正交技术估计来说，得到的大样本性质较为理想，正 因为如此，小波估计在最近几年已得到了广泛的研究小波光滑已被很好地应 用到非参数回归模型中，并得到了一些满意的大样本性质。 1 3 本文的主要工作 本文考虑了非参数回归模型下，误差分别是在鞅差和f 一混合两种情况， 通过利用小波估计的方法给出了未知函数的估计。在一些特定条件下，证明了 估计的相合性与强相合性，并给出了它的收敛速度等一些大样本性质。 前三章都是对非参数回归及小波的一些相关知识作出的介绍在第四章 中，研讨了如下非参数回归模型； 】：l f = g 以) + 毛f = l ，2 ， 2 其中非随机的固定设计点列，不失一般性，设o a t , l ，误差= 匕一g ) ， l = l ，2 ，疗为鞅差序列情况下，利用小波估计的方法讨论它的g 一阶矩的相合性 与强相合性而在第五章。则是在误差为口一混合下，去研究它的g 一阶矩的相 合性与强相合性问题 2 1 非参数回归的历史回顾 第二章非参数回归 设在一实际问题中，我们感兴趣的变量z 与y ( 均可为多维的) 有某种相关 关系即当给定x = x 时，虽然还不足以确定的l ，值，但y 的条件分布由x 所确 定，为方便记，称x 为自变量，】，为因变量例如x 是某种农作物单位面积的 施肥量与播种量，此时，z 为二维的自变量，而】，为该农作物的亩产量，y 的 值当然与x 的取值有关，但还未达到由它完全确定的地步，因为】，还受到诸如 管理水平，气候变化及其它大量因素的影响但是在许多实际问题中，可以认 为z 取一定值时，能确定r 的条件分布，后者对x 取值的依赖关系，即是最广 义下的回归关系在经典回归分析中，常假定c x ：】，有多元正态分布( ，) ， 其中 铋z = 眨2 ) z ，z 表达式中的分块相应于x ，】，的维数在此假定下，当x = 工给定时，y 的条件分布仍是多元正态分布。】，的条件期望为 m c x ) = e ( y i x = 曲= e ( y i 力= 段+ a 2 1 人才 一一) ( 1 ) 函数m ( x ) 常称为( 】，对x 的) 回归函数，它描述了】，的条件期望随z 值变化 的情况。若有来自( x ，y ) 的随机样本乙； ( 五，墨) ，五) ，( 瓦，k ) ) ，则可基于 乙，作出( 1 ) 中未知参数的最s b - - 乘估计。理论和实践都证明了在上述正态回归 模型下，最小二乘估计有种种优良性质。然而在很多实际问题中，正态性不一 定成立。这时我们要另找办法去估计回归函数e ( y l 及其它有意义的量，如条 件方差陆( 】，i 功等有时可通过直接估计y ( 在x = 工给定之下) 的条件分布来 达到这一目的例如，考虑下面这样一种情况：对给定的工在五，五，k 中有 若干个( 数目较大) 五恰好等于善譬如，设置= x ，j = l ，2 ，k ，则可用 f t y l x ) = 圭乏峨s y 】 来估计给定x = x 时，】，的条件分布函数e ( ) ，i 曲。然后，用 赢g ) = d 兢i 力= 毒气 ( 2 ) j = l 作为回归函数m ( x ) 的估计。这种作法只是在很特殊的情况下才可行，般来说， 对给定的x ，可能在五，五，以中有很少的样本( 甚至一个也没有) 恰好等于x ， 上述作法就行不通了因而，必须寻找一种普通适用的估计条件分布的方法。 4 我们还可以从另一角度考察这一问题，如能找到一种方法估计e u 0 ) l 力，其中 ，为任一是函数，则当八y ) = y e 刎( a 是某个区间) 时，就能估计条件概率： 而当f ( d = y 或，( y ) = 【y - r ( y i x ) 2 时，即得条件均值及条件方差的估计。于是 诸如条件量的估计问题可以归结成估计回归函数e ( z i 的问题，其中z = 厂( r ) 仍用】，代替记号z ，我们可以将问题一般地表述为：设有因变量y ( 为一维) 与自 变量z 维) 配对，( x ，y ) 的分布未知，只假定e m 。今有来自( x ，y ) 的随 机样本( 五，l ：) ，f = l ，2 ，巩要求基于该样本估计回归函数m ( 的= e ( y i 功，即构造估 计( 力；似五，墨，五，】：) ，使得对每一个j r 。，用( 力作r e ( x ) 的估计 s t o n e 在1 9 7 7 年提出了一种非参数回归估计的权函数方法。并在理论上论 证了这种方法的优良性( 主要是其大样本性质) 。s t o n e 的方法引起了广泛的重视 在这段时间内，这一方向取得了很大进展下面着重介绍权函数方法的有关概 念以及方法 2 2 两种重要非参数估计法 我们从上一节提到的特殊情况出发，设有j ，与z 配对 置，墨) ，i = 1 ，2 ，t t 是 来自( x ，y ) 的随机样本。对给定的x e r 4 ，将五。五。，鼍中恰好等于工的那些 样本挑选出来例如其下标为，i 2 , - - , t ( 显然，f 2 ，既同x 有关，也与 五，五，以有关) ，则在估计胁( 力时，样本( 五，) u = l ，2 ，的显得比别的样本 重要。如用既= ( 嚣五，。以) 表示样本 ，1 ) 在估计r e ( x ) 时的重要程度， 或者说样本瞄，巧) 的权，则既( 功应有如下形式 r 1 ： 壹，当堤，和“，丘之一( 3 ) 【 o ，对别的f 这是因为置，= 苫，- ，= l ，2 ，虹因而，z ，) 应有相同的权，而总数一共为七个，因 此( 2 ) 可以改写为 j ；l = - i 将上述构造过程加以推广，就得出如下的一般定义。 定义1 1 以”记样本大小，则，1 个形如暖= 甄五，五) ( i f f i l ，2 ，珂) 的函数，称为权函数( 权函数可以指这一个的整体，或者其中任一个) ，又若 辟乙2 0 ，1 f s 疗；阡0 ( = l ( 4 ) 则称 既( 善) 为概率权函数对给定的权函数 既( x ) ) 。定义回归函数r e ( x ) 的估 5 计为 = 气 ( 5 ) 并称( 为m ( x ) 的一个权函数估计 从( 5 ) 可以看出；一个权函数估计完全由给定的权函数 既( 力 所确定，而 权函数的分布只同z 的分布有关样本薯 或者说( 墨，】：) ) 对( 砖的贡献，除其 本身之值外还取决于权( 。因而权( 矽表示在估计r e ( x ) 时，样本( 五，写) 所起的作用“大小”由上述定义可知，( 3 ) 所确定的 ( 功) 是一种特殊的概率 权函数，而估计( 2 ) 是由之确定的权函数估计下面将介绍两种构造权函数的方 法，即近邻权及核权方法 2 2 1 近邻权方法 其直观想法是，对给定的样本五，砭，五及工r 。，虽然可能没有一个五 恰好等于x ，但可将“等于工”的要求降低为“与x 接近”。依每个置对给定x 的距 离重新排序，与距离x 接近的其重要程度越大为了简便起见，我们选用欧氏 距离l i - i ir 将样本五，五，五依在距离8 8 的意义下- 与x 接近程度排成 k 一工一x 忙以0 五一x 0 ( 6 ) 再选定万常数g 。，乞：，c 二，满足条件 c _ c ：2 c ：。o ，c i = l ( 7 ) j i i 用 g 作为权的大小的计量因矗与x 最接近，赋予权，其次一个是黾， 赋予权g ：，最后我们定义权函数为 ( 力= q ，t = 1 , 2 。，栉 ( 8 ) 当( 6 ) 中等号出现时，可采用“足标靠前原贝 j ”，即若有1 i _ ，s 疗，使 0 五一钏= i 一苫0 ，则在( 6 ) 的排序中，五出现在之前称如此定义的权函数为 近邻权函数注意到( 6 ) 中的下标墨，是，毛既同z 有关，又同样本墨，如，丘 有关，不难验证近邻权是概率权函数。由此定义可知( 3 ) 所确定的权函数是近邻 权的一个特例。近邻权方法在理论上已经证明了有诸多优良的大样本性质，但 是其计算较复杂，对每一个工，要重新按( 6 ) 排序。另外，在近邻权的定义中距 离与( 7 ) 中常数 巳 都有很大的选择余地，这正如核密度估计中，有一个核与 窗宽吃的选择问题 2 2 2 核函数法 选定r 4 上的核函数足( ) 及窗宽吃，然后定义 = x 串，妻置毕玑啊 ( 9 ) 称此 为核权函数由权函数的定义可知，核权函数也是概率权函数，相应 的权函数估计为 m 一= 窆# - ii 足单，窆j - i k 单 ， 估计( 1 0 ) 的合理性可作如下解释；设( x ，】，) 有联合密度f ( x ，y ) 则有 r e ( x ) = e o , l x ) = l 谚协由 q b ，协由，= l 万妊，协匆i 妁 边缘密度正( 功的核估计为面1 善n 足( 争：而助饥y 坶可用去喜足( 警珥 去估计，分别以这两个估计作分子和分母即锝( 1 0 ) 。有趣的是。当取 脚) ：涛当o “8 引 【o ，对其它甜 其中g 是r 。中单位球的体积记 b ( x ，4 ) = f ：f r a , 肛一硼 田， 则有 既= p 以落在菩爨篇篇尚邸o 又回到近邻权的情况。核权函数的优点是有一个明确的关于x 的统一表达式， 从而便于计算。但由于( 1 0 ) 的分母是随机变量，给理论处理带来一定的困难。 7 第三章小波简介 众所周知，一个复杂的波形可以看作是一个函数或模拟信号，也可以看作 是一种复杂的震动现象，它是由许多不同频率、不同振幅的谐波叠加而成的。 例如。光波为不同强度、不同波长的单色光的叠加，光波可分解为光谱。声音 也可分解为不同音调、不同声强的声谱天线回路中的复杂信号可分解为不同 频率、不同振幅的简谐电磁波。f o u r i e r 分析就是对函数( 模拟信号) 作谐波 分解、合成和分析的有力的数学工具，但是f o u r i e r 分析也有很多的局限性， 因为它在时一频分析中，不能根据高、低频信号的特点，自适应地调整时一频窗， 它在时一频局部化的精细方面和灵活方面表现欠佳。而小波变换则可以克服这一 缺点，针对自适应时一频的要求。 3 1 小波的产生与发展 小波分析是当前数学中一个迅速发展的新领域，它同时具有理论深刻和应 用广泛的双重意义小波变换的概念最初是由法国从事石油信号处理的工程师 m o r l c t j 在1 9 7 4 年首先提出的，通过物理的直观和信号处理的实际需要经验地 建立了反演公式1 9 8 6 年著名数学家m e y e ry 偶然构造出一个真正的小波基， 并与m a l l a ts 合作建立了构造小波基的多尺度分析之后，小波分析才开始蓬勃 发展起来小波分析的应用是与小波分析的理论研究紧密地结合在一起的，它 在许多应用领域都有着十分广泛的应用，例如：数值分析、信号处理、图象处 理、量子力学、理论物理、军事电子对抗与武器的智能化、计算机分类与识别、 音乐与语言的人工合成、医学成像与诊断、地震勘探数据处理、大型机械的故 障诊断等方面。并且，传统上使用f o u r i e r 分析的地方，现在基本上都可以用小 波分析来处理。小波分析优于传统的f o u r i e r 分析的重要原因在时域和频域内同 时具有良好的局部性质。对高频成分采用逐渐精细的时域取样步长，可以聚焦 到对象的注意细节，从而特别适用于研究函数的局部性质。 小波分析方法的提出，可以追溯到1 9 1 0 年h a a r 提出的小波规范正交基及 1 9 3 6 年l i t t l e w o o d p a l e y 对f o u r i e r 级数建立的l p 理论，即按二进制频率成分 分组f o u r i e r 变换的相位变化，本质上不影响函数的形状和大小长期以来，在 各种信号数据处理方面，特别是频谱分析和各种滤波方法中最基本的数学工具 是f o u r i e r 分析但是，f o u r i e r 变换反映的是信号或函数的整体特性，不能检 测到信号突变，但在不少实际问题中我们所关心的却恰恰是信号在局部范围内 的特征。为了弥补f o u r i e r 这方面的不足。1 9 4 6 年g a b o r d 引进了窗口f o u r i e r 变换的概念他用一个有限区间( 称为窗口) 外恒等于零的光滑函数( 这个有 限区间的位置随一个参数而变) 去乘所要研究的函数，然后对它作f o u r i e r 变换 3 这种变换确实能反映函数在窗口内部分的频谱特性，因而能在一些需要研究信 号的局部性质的问题中起到一定的作用。但是，由g a b o r d 引进的这种f o u r i e r 变换的窗口位置虽然能随参数变化丽任意移动，但是窗口的大小和形状是固定 不变的，与频率无关这与高频信号的分辨率比低频信号高，因而频率愈高窗 口应愈小这一要求不符加上g a b o r d 变换的其他一些缺点，它未能得到广泛 的应用和发展。c a l d e r o n 于1 9 7 5 年用其早年发现的再生公式给出抛物型空间上 日1 的原子分解，这个公式后来变成了许多函数分解的出发点，它的离散形式已 接近小波展开，只是还无法得到组成一正交系的结论。1 9 8 1 年s t r o m b e r g 对h a a r 系进行了改进，证明了小波函数的存在性1 9 8 2 年b a t t l e 构造量子论场中使用 了类似c a l d e r o n 再生公式的展开1 9 8 4 年法国地球物理学家m o r l e t 在分析地 震波的局部性质时，引入小波概念于信号分析中对信号进行分解。随后， g r o s s m a n 对m o r l e t 的这种信号按一个确定函数的伸缩，平移系 rl-1 | 口1 1 烈芏；d ，6 r ，d 0 展开的可行性进行了研究。可见小波分析的思想来源 r 。 a j 于伸缩与平移的方法。 小波热开始于1 9 8 6 年，m e y e r 开创性地构造了具有一定衰减性的光滑函数 ，t 、 9 。其二进制伸缩与平移 ( 曲= 2 功烈2 ，x 一蛾歹，k 震l 构成了p 嫂) 的规范正交 l 。j 基。小波变换继承和发展了g a b o r d 变换的窗口f o u r i e r 变换的局部化思想，并 且它的窗口随频率的增高而缩小，因此符合高频信号的多辨率较高的要求可 以说，小波分析既保留了f o u r i e r 分析的优点，又弥补了f o u r i e r 分析的不足之 处它从有限个具有正则性、局部性与振动性的小波函数出发，通过平移与伸 缩，为l 2 ( r ) 空间提供了一个新的正交基一波正交基。继m e y e r 提出小波变换以 后，l e m a r i e 和b a t t l e 又分别独立地给出了具有指数衰减的小波函数。1 9 8 7 年， m a l l a t 巧妙地将计算机视觉领域内的多辨分析的思想引入到小波分析中小波函 数的构造及信号按小波变换的分解与重构，从而成功地统一了在此之前的 s t r o m b e r g 、m e y e r 、l e m a r i e 和b a t t l e 提出的具有小波函数的构造，研究了小波 变换的离散化图形，并将相应的算法m a l i a t 算法有效地应用于图形分解和重 构与此同时，d a u b e e h i e s 构造了具有有限支集的正交小波基。这样，小波分 析的系统理论初步得到了建立1 9 9 0 年崔锦泰和壬建忠构造了基于样条函数的 单正交小波函数，并讨论了具有最好局部化性质的多辨分析的生成函数及相应 的小波函数同年b e y l k i n 。c o i f m a n 等将小波变换应用于算子理论。1 9 9 1 年， j a f f a r d 和l a u r e n e o t 等将小波变换应用于偏微分方程数值解，w i e k e r h a u s e r 等将 m a l l a t 算法进一步深化，得到了小波包算法1 9 9 2 年，钱前清等人将小波变换 运用于分形地貌制图预处理，并取得令人满意的效果。 9 0 年代初，h a l l 、p a t i l 、m a r t i n 、d o n o h o 、a n t o n i a d i s 等人通过一系列文 9 章把正交小波的方法引进到统计学中，特别是回归函数和密度函数的非参数估 计中他们构造了回归函数和密度函数的非线性小波估计( 小波压缩估计) 考 察了估计的收敛速度问题。 3 2 两种常见小波变换 为了行文方便约定，用小写字母，比如，( r ) 表示时间信号或函数，其中括 号里的小写英文字母t 表示时间域自变量，对应的大写字母f ( e o ) 表示相应函数 或信号的傅立叶变换，其中的小写希腊字母国表示频域自变量；尺度函数总是 写成( f ) ( 时间域) 和o ) ( 频率域) ：小波函数总是写成矿( ，) ( 时间域) 和甲( 功 ( 频率域) 下面考虑函数空间r ( 足) ，它是定义在整个实数轴r 上的满足要求 - 2 ii f ( o id t 4 - 0 0 的可测函数f ( t ) 的全体组成的集合，并带有相应的函数运算和内积工程上常 常说成是能量有限的全体信号的空问直观地说，就是在远离原点的地方衰减 得比较快的那些函数或者信号构成的空间 3 2 1 小波 小波是函数空间r ( 月) 中满足下述条件的一个函数或者信号们) ： q = l 争 l 时，这个范围比原来的小波函数似f ) 的范围要大些，小波的波形变 矮变胖，而且，当口变得越来越大时，小波的波形变得越来越矮、越来 越胖，整个函数的形状表现出来的变化越来越缓慢；当o ( 即i i g n ：= j 1 雪 ) 1 2 ( 1 + o j 2 ) 咖 o ) l i p s c h i t z 条件； ( a 2 ) 9 有紧支撑集； ( a 3 ) 9 是g 一正则的( 即对v k - - i ，2 ，q 和p e z ，j c - o ，使得 i 伊耻1 s 百i 争，坛r ) ，其中g 是正整数： ( “) 当善一。时，l 多( 0 - 1 1 = o ( 0 ，其中拳是伊的f o u r i e r 变换； ( a 5 ) n l a x i $ 厂叫= d ) 此外我们用c 表示一不依赖于打的正常数，在不同的地方出现可取不同的值。 4 2 若干引理 刀j 让睨本荦的足理，我们给出一些鞅序列的不等式。记2 c ，l = ( = 刍) 7 2 - 3 州c = ( c ，。r ) ，一l 。 引理2 1 。1 设氍，z ：i 2 1 为鞅序列，则v r 2 ，有 2 州善e i x a e m s e 蹬俳2 c , ：e ( 喜砰) | 蠢嚷e 孵l r - 2 ) s 赢e ( 丢n 碍) 器罾例r - 2 ) s 破2 e ( 善f ) j r i 2 俾m ，。a x i s - ) _ r - 2 s - r 2 c , ：觑喜巧) 心) + _ r - 2 e m 。a 。x f s , r e 懋蚶= 手( 巳+ c ：) e ( 喜矸) ；+ 垡re 嚣m ( 2 ) ( 3 ) 引理2 2 1 l 设 s ，巧：f 1 为鞅序列，则v r 2 并4 o 2 ，有 昱罂m s 2 c ，2 唾( 昱例尹严 若进一步假设存在o 2 ，有 e 蹬蝌s 2 + 口r ：c ，喜e 面+ 西嘶 弓l 理2 4 1 1 5 1 设伊( ) 满足( a 2 ) ( a 3 ) ，则有 ( 5 ) ( 6 ) 1 ) 对每一整数k 1 ，了q o ，使得 l 瓦( f ，s ) i 崭，f ，s r ，搠2 。 2 ) s u p t , m f i 瓦( f ，s ) l 凼s c 引理2 5 1 1 。1 若( a 1 ) ( a 2 ) ( a 4 ) 满足，则 f e o ，s ) g ( s ) d s = g o ) + d ( ，7 _ ) 其中 ，7 i = 守1 , , q ，i l v i 弓i 理2 6 i s l 设( a 1 ) - ( a 5 ) 满足，则 1 )e 季( t ) - g ( t ) = d ( ) + o ( n ”) 2 ) s u p i 蹭( 0 一g ( ，) i = d ( ，z _ ) + d ( 玎”) o g 蛆 ( 7 ) ( 8 ) ( 9 ) ( 1 0 ) ( 1 1 ) ( 1 2 ) 4 3 估计的相合性与强相合性 定理3 1 设( a 1 ) ( a 5 ) 满足， 砖。，昂：f 玉摊) 为鞅差序列， s u p e h r l 且3 1 矿) ， 五= q 乃， t - i 则 萋i l 瓦瓴，) a s = 五+ 五 智1 扎” p q 。 我们可以看出“，e ：f s 一) 仍为鞅差序列， s ：p e l y , l m a x 2 ，们有 e 怫c 喜l l 瓦c 晶r ，凼| ，e l 乃i ，+ 喜c l 瓦。，r ，西，：玎； 斗巾。1 字 取7 充分大司知；p q 五| 占) 乒) ，可尸i 磊i + 剐毒f j 玩) ，由予， 三，所以存在p 使。 p 三。 g q 则 s n 川刁l 叩川窆仍白一窆研s 翻巾肿窆罟， t - i i - ih ik ii 记最= 喜等显然 鼠，e ) 下鞅，且 褂喜争= 2 喜掣2 喜篝唾疗妃 因此8 1 ：p e 慨i i 1 【刘恻l ，2 = 月季扣) 1 2 ( 1 + m 2 ) 如 0 ) l i p s c h i t z 条件； ( a 2 ) 妒有紧支撑集； ( a 3 ) 9 是鼋- 正则的( 即对啦! ，2 ，棚和p e z , 3 c 肚 o ，使得妙b 南， v x 五) 其中g 是正整数； ( a 4 ) 当善专。时，l 乒( 0 - q = o ( 0 ，其中庐是9 的f o u r i e r 变换： ( a 5 ) 罂答l 墨一l - d ( 玎q ) 5 2 相关引理 引理2 1 1 1 7 i 尹( ) 满足l i p s c h i t z 条件且具有紧支撑，则 磊( ，f ) = 卅一m 啦一力 j e z 关于f 一致满足l i p s c h i t z 条件 引理2 2 l l 卅设9 ( ) 满足( a 2 ) ( a 3 ) ，则有 ( 1 ) s u p s u pj 1 吃力陟 0 有j i e c x ，) )