（概率论与数理统计专业论文）基于统计深度对多元数据的非参数检验.pdf

摘要 在统计推断过程中，经常要对总体做一些假定经典数理统计把总体分布假定为 一个参数模型，未知的只是模型的参数，问题就是根据样本观测值估计这些参数或 者对参数做假设检验在实践中，这些假定并不一定总是合适的，而且有时验证这些 假定也并不容易非参数统计对总体分布不做具体参数模型假定。只做一些比较弱的 如连续对称等定性假定，仍然可以对总体的未知特征( 如位置，尺度、分量相关性 等) 进行推断非参统计方法已经得到了广泛的发展和应用，而且新的非参思想和方 法正在不断涌现 但是多数非参检验方法都是关于一维数据的，能很好的处理多维数据的检验方 法很少。而且不系统统计深度的概念使得数据可以产生由内向外的一种排序，为系 统的发展对多维数据的非参检验提供了新的机会 在简要回顾非参数统计学的基本问题和相关的检验方法以及统计深度和相关的 估计检验的基础上，本文提出了新的能处理多维数据的相关性检验，位露检验和位尺 检验方法，主要结果如下- l ，新提出的相关性检验方法能够检验多个变量问的相关性，具有仿射不变性，并且 对正态总体功效函数懿模羧维果显示，尽管作为一锋非参数方法它并笈有秘冤数 据的正态性，但是它的功效并不逊于参数的检验方法 2 新提出的位置检验方法克服了r d u s s o n ( 2 0 0 2 ) 中的检验统计量对坐标系和度量 单位的依赖问题，即具有仿射不变性对正态和非正态数据的模拟显示，其功效 也比l i ua n ds i n g h ( 1 9 9 3 ) 的质量系数和r 日m s d n ( 2 0 0 2 ) 的检验方法强 3 ，新的位尺检验整合了两样本在位置和尺度上的差异信息，能够同时检验出两样 本在位置或尺度上的差异，仍然具有仿射不变性，而且对正态数据的模拟结果显 示，它与r d u s s o n ( 2 0 0 2 ) 的位尺检验方法和l i ua i l ds i n g h ( 1 9 9 3 ) 的质量系数 相比功效更强 摘要i i 关键词：非参数检验，相关性问题，位置问题，尺度问题，秩向量，线性秩统 计量，统计深度，深度秩，中位向量，h 0 t e u i n g 铲检验，质量系数，主成分投影， 位置估计投影 a b s t r a c t i ns t a t i s t i c a li n f e r e n o ew eo r e nn e e dt om d k e 髑u 加p t i o n 8a b o u tt h ep o p l l l 扣 t i o n c 1 8 s 8 i c 8 lm a 七h e m a t k 8 ls t a t i 8 乞i 曙勰舳姗性i ed i 8 t r i b u t i o no ft h ep o p u l a t i o nt o b eap a r 锄删cm o d e l t h eo n l y 幽a w ni 8t h ep a r a m e t e ra n dt h ep r o b l 锄i 8t o 铝t i m a 沁t h ep a r a m e t e r so rt e 蘸b y p o t h e s 培a b o t0 h ep 8 r a m e 乞e r 8 蚴r d i n gt ot h e o b 8 盯v a t i o n 8 b u ti np r a c t i c et h ea s 咖p t i o n sa r en o tn e c e 鹄a r n y 印p r o p r i a t ea n d 8 0 m e c i m 明t h ec o i l i i 嘞t i o no f 址【e 鹤8 l 王m p t i o 8 王sn o te 8 8 y ：n o n p a r 觚n e t 矗c 乱a t i 争 t i 明n e e d 8n o t 印e c 进cp a r a 赋r i ca 船啪p t i o 珊b u t8 q m ew e a l 【抛s 砌p t i o n ss 1 1 出鹄 c o m i n u 慨掣f n l e t b u tw ec a n 姒nd r a wi f e f e i l e 鹪8 b o u tt h ec l l a r 矗c 洄i g t i o f t h ep o p l l l a t i o n n o n p a r a m e t r i cs t a t i 8 t i c sh 嬲b e e w i d e l yd e 州o p e da n d 印p n e d ， a n dm 卸yn e wt h o u g h t 8 缸l dm e t h o d 8a 舱a p p e 嘲n ga tt h e8 a 肛l et i m e i nt h i 8t h 髑i sw ep r o p 0 8 en e wn o n p a r a h l e t r i ct e s t 8f b ro o r r e l a t i o n ，l o c a t i o n 棚l d l o c 8 t i o n a i ep r o b l 蜘啮o fm l l l t i v a r i a t ed a t a 世e r 龇m m a r 乜i n gt h ei d e 鹪a n dm 或h - o 凼o fn o n p a r 锄e t r i c8 t 8 t i s t i c s 龃ds ta _ c i s t i c a ld 印t h t h em a i nc o n c l l l s i o n 8a r e ： lt h en e wc o r r e l a t t o nt e s tc a nd e t e c tt h ec o r r e l a t i o nb e t w e e n 拇r o 砌a b 】eg r o u p s 锄di 8a 伍n ei n v a r i a n t t h e 醯咀u l a t i o nf o rn o r m a lp o p u l 8 t i o n si n d i c a t 四t h a ti t j 8n o tl e 皤，i fn o tm o r e ，p 讲岭r f i nt h a ni t sp 8 r 锄e t r i ce q i i i v a l c t ，e v e nt h o u g hi t n e e d 8n on o m a u 够 2 t h en e wl o c a t i o nt e s ti 8 胡i n ei n 州a n t ，o v 盯c 砌n gt h ep r o b l e 瑚o fd 印e n d i n g o nt h ec o o r d i n a t j o n 印s t e ma n dm e 船u r 鲫e n t 肌c ha si nr o l l 8 8 0 n ( 2 0 0 2 ) t h e 如u l a t i o nf o rn o r m a la n d 越m o m a ld i s t r i b l l t i o 珊i n d i c a t e 8t h a ti ti 8m o r ep o 碡r e r f i i lt h 觚t h eq u a l i t yi n d e xp r o p e dw l i ua n ds i n g h ( 1 9 9 3 ) a n dt h e1 0 c 8 t i o n t e 8 to fr ( 脚s o ( 2 0 0 2 ) 3 7 n l en e l 释1 0 c a t i o n 础t 凹ti 8 龋n ei i l 、谢a 丑t c o 缸i b i n et h ei f o m a t i o no fl o t i o na n d8 c a l ea n dc a nd e t e c tt h ed 豇r 联m c e bi nl o c a 土i o no r8 c a l e t h e 面m l a t i o n f o rn o r m 8 lp o 叫8 t i o n s8 h o 稍也a ti ti 8m o f ep o w e r f l 王t h 蛆t h eq u a b t yj n d 奶【 n l a b s 饥西 p r o p 0 8 e db yl i u8 n ds i n g h ( 1 9 9 3 ) a n dt h el o c a t i o n 8 c a j et e s t i nr o u 8 s o n ( 2 0 0 2 ) k e yw o r d s ：n o n p 缸锄耽r i ct e s t ，c o r r e l a t i o np r o b l e m ，l o c a t i o np r o b l 锄，s c a l e p r o b l e m ，r a kv e c t o r ，u n e a rr a n ks t a t i 8 t i c ，s ta _ c i s t i c a ld e p t h ，m e d i a nv e c t o r ，d e p t h r a n l 【h o e 璇n g 铲t e s t ，q u a l i 七yi n d 既，p r i n 咖a l 锄p o e n tp r o j e c t i o n ，1 0 c a t i o ne s t i _ m a t i o np r o j e c t i o n 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 解密时间：年 月 日 各密级的最长保密年限及书写格式规定如下： 彬 磷 凇 | | 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名：洲钐 加d6 年妨2 府日 第一章非参数检验简介 统计学的基本任务是利用观测样本对去推断总体的性质在推断过程中，经常要 对总体做一些假定经典数理统计的多数方法把总体分布假定为一个参数模型，未 知的只是模型的参数，问题就是估计这些参数或者对参数做假设检验在实践中，很 多时候在没有足够的证据证明假设的合理性，这时进行参数估计或假设检验的结果 是不可靠的，非参数统计对总体分布不做具体的模型假定，只做些比较弱的定性假 定，比如分布连续性或对称性，仍然可以对总体的未知特征( 如位置尺度，分量相 关性等) 进行推断非参数统计学的基本方法和理论已经非常成熟，而且已经成为很 多应用领域的常用方法 本章将简单介绍非参数检验的基本思想和方法，着重介绍与独立性问题、位置问 题和尺度问题相关的检验 1 1 非参数检验的基本思想和模型 非参数方法对总体分布的假设往往比较弱，比如只假设连续性或对称性，我们 把这样的分布族记为莎设置，恐，来自分布f 莎，如果统计量 t ( x l ，恐，五，) 对任意f 莎有相同的分布，则称t 关于穸是分布无关的 ( 也s t r t 眦i 帆，r e e ) 如果统计量序列 死( 蜀，恐，弼；) ) 对于任意f 莎具有 相同的极限分布，则称 矗) 关于穸是渐近分布无关的非参数假设检验通常都是 以这两种统计量作为检验统计量的 以下我们考虑几种最常用的分布无关统计量 定义l 1 设x 为来自连续总体f 的样本，称皿( x ) = 妒( x a 0 ) 为计数 统计量，其中 f l 妒( t ) = 【o 当t 0 时 否则 定义1 2 设置，恐，五。来自连续分布f ( z ) 的随机样本，置1 ) 墨2 ) 第一章非参数检验简介 置。) 为其次序统计量，则随机变量 尼= r ， 当五= x ， i = 1 ，2 ，n 2 当足唯一确定时，则称样本观测值五有秩足0 = 1 ，2 ，犯) ，称冗= ( 冗l ，岛，兄。) 为秩向量。其取值空间为 历= ( r 1 ，r 2 ，r 仆) i ( r i ，r 2 ，r 忭) 是1 ，2 ，n 的一个排列) 由于f 连续。见不唯一确定的概率为d 关于秩向量r = ( 冗，兄，风) 的分布，我们有如下定理 定理1 1 当分布f 连续时，秩向量r = ( r 1 ，j 琵，局；) 在取值空问魔上均 匀分布 证明：见孙山泽( 2 0 0 0 ) 或g i b b 咖( 1 9 9 2 ) 在此基础上，我们可以定义一类非常重要的统计量 定义1 3 具有形式 s = c ( ) o ( 足)z j 、 t = 1 的统计量称为线性秩统计量，其中n ( 1 ) ，o ( 佗) 称为分值( s c d 旧，c ( 1 ) ，c ( 礼) 称为 系数 很多的常用统计量是线性秩统计量，所以讨论一般线性秩统计量的渐近分布非 常有意义 定理1 2 线性秩统计量s 中，若回归系数 ( ) 满足0 e 冼e r 条件，即 其中乙= ：1 ( t ) ，分值( ) = ( 嘉) ，( u ) 是平方可积函数，而且秩向量 r = ( 兄l ，恐，尼；) 在其取值空问毋中均匀分布，则 曼i ；生有渐近正态分布( o ，1 ) ， 靠 第一章非参数检验简介 其中 = e ( s ，= 礼e k ， = 击雪嘶) 吲2 ) 喜晰) _ 斫) 3 证明；见孙山泽( 2 0 0 0 ) 或g i b b o n s ( 1 9 9 2 ) 为严格起见，我们往往参数化地表达假设检验问题例如一样本问题t 样本x ， 咒，墨来自连续分布f 一日) ，函数f ( z ) 关于原点对称，检验假设 凰：口= 0 ，日1 ：p 0 则可以确定形式参数= f ( t ) ) ，参数空间为q = ( 取f ( 啪归o ，f 连续，且关 于原点对称) ，风对应的空间为= ( 口，f ( t ) ) 归= o ，f 连续，且关于原点对称 皿的空间为q 此时，可以和参数模型一致迪定义功效函数为 级= 最 凰被拒绝 当f 时，级为第类错误的概率，当q 时，1 一沪f 为第二类错误 的概率对功效函数为苏的个检验，若 s i l p n ， e f b 则称该检验的水平是口 对般的非参数检验问题，不易求得级的明确表达式，但是我们可以选择一 些有代表性的f ，如均匀分布正态分布，c a u 吐l y 分布等，利用计算机模拟级在 这些点的近似值通过这些近似值可以比较不同的检验方法。在以后几章中我们会给 出详细的模拟比较过程 1 2 相关性问题 独立性或相关性检验是一个很常见的问题很多统计方法需要假设样本之间的 独立性，在使用时经常需要对验证这些假设是否真正成立例如，考察农作物产量和 施肥量之间的关系，研究吸烟和肺癌的关系等如果我们考虑随机变量x 和y 的相 第一章非参数检验简介 4 关性问题，设( 。h ，k ) ，( 配，酶) ，( ，k ) 是来自二维连续分布的随机样本一个 典型的相关性检验问题是 日0 ：x 和y 独立 备择假设可以是单边的( x 和y 正相关或x 和y 负相关) ，也可以是双边的( x 和 y 相关) 这里，我们以单边备择假设 皿：x 和y 正相关 为例介绍常用的检验方法 不妨设样本蜀 恐 6 ( q ，竹) ) ， 5 其中，6 ( n ，n ) 是二项分布的上口临界值，对于较小的n ，可以准确计算得到，对于 较大的n ，利用其渐近正态性得到 设五，尥，x 。和h ，k ，k 分别来自连续分布f 0 一尥) 和f 一 毛) ，问题 h o ：m = m v ，h l ：m ； m 。， 称为单边的两样本位置问题最常用的比较位置的检验是w i l 嗍n 秩和检验首先 把有m 个观察值样本_ ) ( 和住个观察值的样本y 混和排序，如用见表示第个y 观察值在混和样本种的秩，r 1 ，2 ，m + n 甜c d z m 于1 9 4 5 年提出 n = f 足， # l 即y 样本的秩和在样本x 和y 来自同一连续分布的零假设下，w 等同于在 1 ，2 ，m + 竹中随机取出n 个不同数的和的分布，称为w i l n 分布针对单边 或双边的备责假设，在m ，n 较小时，不难做出其临界值表，在大样本情况下，可根 据定理1 1 用正态分布近似 1 4 尺度问题 设样本墨，弼，。和k ，k ，k 分别来自连续分布f 一m ) 和f ( 和一 m ) 叮) ，其中m 是中位数，町 0 假设检验 凰：町= 1 ，皿：，7 1 ， ， 即为尺度检验问题对于该问题，最常用的检验s i g e l - 1 i i l k e y 检验，m o o d 检验和 a n 釉r i b r a d k y 检验这里我们只介绍s i g e l - n k e y 检验把样本x 和y 混和排序， 得到y 的观察值在混和样本中的秩，对于秩付于权重o ( 自) ，如下表 第一章非参数检验简介 ( t 如果n = m + n 是奇数，这里应为( n + 1 ) 2 ) s i e g e l 一统计量为 仃 s ? = o ( 砀) ， l = 1 其中，足是k 在混和样本中的秩，足 1 ，2 ，m + n 当i 是偶数，且1 t 譬， 当l 是基数。且1 譬， 当i 是偶数，且譬 i s 当l 是奇数，且譬 i o ，检验问题 日0 ：f = g ，皿：耽或者w 1 r o u 8 8 d n ( 2 0 0 2 ) 提出把样本在第一主成分投影和深度值的倒数分别标准化( 即 减去均值，然后除以标准差) ，然后对二者的线性组合做w i l o 咖n 检验但是这样 的位尺检验仍然依赖于坐标系的选择，并且它的功效会受其中的位置检验功效不强 的影响 5 1 新的位尺检验 结合上一章的位置检验方法和l i m s i n 曲的质量系数，我们可以进一步提出新的 位尺检验，具体程序如下， 1 提取位置差异信息- 对样本x 和y 分别取其稳健的位置估计尬和 毛，并将样 本x 和y 分别向直线尬 如确定的方向投影，为了后面方便和提取的尺度信息 整合，我们可以把投影值标准化( 即先减去所有投影值的均值，然后除以投影值 的标准差) ，得到维样本x + = x f ，弼，妊) 和y i ； w ，y 2 ，k ) 2 提取尺度差异信息t 统计深度在体现两样本尺度差异上的效果比较好。这一点 从l i u - s i n g h 质量系数对尺度差异的敏感性可以看到，所以这里我们可以用统 计深度提取尺度差异的信息具体地，分别计算样本x 和y 在混和样本中的 深度值，然后进行标准化之后得到一维的x o = 砰，础，砖) 和y o ； 聊，四，瑶) 3 与r d u 8 8 0 n ( 2 0 0 2 ) 中整合位置信息和尺度信息的公式类似，定义以= 从? 十 “l u 霹，相应的，k = ? + 烈l 一砷印，其中p 是数据集 ( 霹，x ? ) 悼； 1 9 第五章构造新的位尺检验 1 ，2 ，m ) u ( 玲，印) 扣= 1 ，2 ，竹 的两个分量相关系数的符号，a o ，1 】， 代表了位置信息的权重，不同的取值对应着不同的检验，可能适用于不同的数据 类型 4 最后我f 门可以对 以) 和 k 做w n c c o n 秩和检验以确定或者k o h 0 9 0 r o v - s 向m o v 检验另外，由于霹，p ，砰和印都具有渐近正态分布( o ，1 ) ，所以 对于较大的m 和n 我们可以正态分布近似 在第3 步中，a = o 选择是个关键问题a = 0 对应个尺度检验，而且 如果数据是一维的，这时对 以) 和 k ) 的w i l c n 检验等价于s i e g e j 一呦检 验a = 1 对应个位置检验，如果数据是一维的，就完全等同与w i k 唧n 检验 a = o 2 5 ，o ，5 或o 7 5 代表了一些中间选择，可以同时检验样本x 和y 在位置或尺度 上的差别 另外，我们可以不把位置信息和尺度信息合并，而是利用针对二维数据的位置检 验，如m a r d i a ( 1 9 6 7 ) 或b r o w na n dh e t t m a n s p e r 弘( 1 9 8 7 ) 提出的检验，直接检验 ( 霹，邳) k = 1 ，2 ，仇) 和 ( ，印) 瞄= 1 ，2 ，n ) 的差别 5 2 与其他统计量的功效比较 以下我们通过模拟来比较匕述检验和l i u - s i n g h 的质量系数，以及r _ 。1 1 8 s o n ( 2 0 0 2 ) 中的位尺检验方法 样本x 来自( o ，是) ，样本y 来自正态总体，均值和协方差阵分别为t ( 0 ) ：日= ( 0 ，0 ) t ，盯= 已， ( 1 ) ：p = ( 0 5 ，o 5 ) r ，盯= 厶， ( 2 ) ：口= ( 0 5 ，o 5 ) t ，盯= 1 5 书毛， ( 3 ) ：口= ( 1 ，1 ) r ，盯= 1 5 丰如， ( 4 ) ：p = ( 1 5 ，1 5 ) t ，口= 1 5 如 模拟结果如下表 第五章构造新的位尺检验 2 1 从模拟结果来看，本文提出的位尺检验方法稍好于r _ 0 i o n 的方法，而且二者 明显好于l i u _ s i n g h 的质量系数 第六章结论 本文回顾了非参数统计的基本问题和常用检验方法，也回顾了统计深度的基本概 念和由此引出的估计和检验方法。并且利用统计深度的概念对常见的相关性问题、位 置问题和位尺问题提出了几个可用于多元数据的检验方法，这些检验方法都具有仿 射不变性另外，对检验功效的模拟估计结果显示本文提出的非参相关性检验方法并 不逊于参数的检验方法，本文的位置和位尺检验分别比l i ua n ds i n g h 的类w i l c o x 0 检验和质量系数以及r o u 8 n 提出的基于第一主成分投影的检验功效更强 此外，各种基于统计深度的检验统计量的渐近相对效率计算起来比较困难，目前 还没有结果出现，这应该是个非常有理论意义的问题 参考文献 【l 】张润楚( 2 0 0 3 ) 多元统计理论与数据分析方法( 讲，灿南开大学 【2 】孙山泽( 2 0 0 0 ) 非参敦统计讲义北京，北京大学出版社 【3 】b r o w ，b m 如dh e t t m a 瑚p 哪盯，t p i ( 1 9 8 7 ) a m n ei n v 删卸tr a n km e t h o d 8i n t h eb i v a r i a 把l o 嘶i 姐m o d e l j 勘可，抛洳s 0 c r 暑4 9 ，3 0 l - 3 l o 【4 】g i b b o n 8 ，j d ( 1 9 9 2 ) n d n p 戤曲咖j c8 t a t 斌i c a l 曲r e c e n 哪y 撕k ：m a r c e l 魁赋 【5 】l i u ，r ( 1 9 9 0 ) o nan o t b n0 fd a t ad 印t hb a 8 e d0 nr a d o m 蚰p l i c e s 肌成血氟吐1 8 ， 4 0 5 4 1 4 【6 】l i u ，r 柚ds i n 出k ( 1 9 9 3 ) aq u a l i 毋i n d e x b 蹴do n 如t a d 印t ha n d 蛐l t i 、，a r j a t e 删止t 铭t s ， m e r 舭如ta 船卯8 8 2 5 7 _ 2 6 0 用l i u ，r y ( 1 5 ) c 叩t r o ld 埘妇矗 枷l t 响啦t ep r o c e 8 嘲za m e n 如毛a 船0 c 1 3 8 出一1 3 8 7 【8 】l i u ，r ，p a r e u 瑚，j 衄ds i n g h ，k ( 1 9 9 9 ) m 1 1 l t i 伯r i a t e 缸蛐bd a t ad 印t h ：d e - 8 c r i p t i v es t a t i s t i ，g r a p h i 锚柚di n f e r e n c e 且m l ，成船t 2 7 7 8 3 8 5 8 【9 j0 ja ，h ( 1 9 8 3 ) d 曙c r i p t i v es t a t 龇i 饰蠡泔m u i t i 诅d 丑_ t ed i s t r i b u t i o n s r d t i 吨m k 6 & 缓l 。3 2 7 - 3 3 2 【1 0 】r o m 毗附，p 蛐dh u b e r t ，m ( 1 9 9 9 ) 鼬鲫s 雠d 印t h ( 砒hd is c i 鹚i o n ) za m e r 掰口掰吐a 0 c 4 3 8 8 4 3 3 【1 l ls | m g h ，k ( 1 9 9 1 ) m a j o r i 竹d e p t h u p u b s h e d 珈a 叫8 仃j p t 参考文献 【1 2 】t l l k e 乳j ( 1 9 7 5 ) m a t h e m a t i c sa dp i c t u r i n gd a t 轧i np ，删扎鲈o ，琥ej 9 符血t e r - n 积o ，l 础函n 寸r 哪d ，m 纨e m d 如s2 ，5 2 3 _ 5 3 1 【13 】p 1 l r i ，m l 柚ds e n ，p k ( 1 9 7 1 ) n o n p a 舢e t r i c h o d 8j nm 毗i w 研a t ea n 出b i s n e wy b r k ：j o h nw i l e y 1 1 4 】r o ，p j 锄ds t r 哦a ( 1 9 9 8 ) c o m p u t h l g1 0 嘶i o nd e p t h 锄dr e g r e 皤i o n d 印t hi n