（计算机应用技术专业论文）基于pca与lda的说话人识别研究.pdf

浙江大学硕士学位论文 摘要 摘要 随着倩息技术的发展，人们的交互于段越来越多样化，对身份鉴别的要求随之越来越 高。生物认证技术基于人们自身的，l 理和行为特征进行身份鉴别，以其独特的优势，目 益显示出它的价值。说话人识别技术被认为是最自然的生物认证技术，它是一项根据语 音中反映的说话人生理和行为特征的语音参数，自动识别说话人身份的技术。近年来， 说话人识别技术已成为研究领域的一大热点。然而，说话人识别技术应用于实际环境， 还存在着很多难点，实时性不够就是其中之一。在详细分析说话人识别的最新的研究进 展和卜要特点的基础上，本义试图用多元统计分析中的两种方法= - 卜成分分析和线性判 别分析解决这个问题。 本文的第个工作是研究了主成分分析( p c a ) 的最优降维性质在说话人识别中的 应用。在说话人识别系统中，通常训练说话人模型需要很氏的时问，特别当说话人特征 的维数很高时。主成分分析是一种在均方误差前提下最优的线性降维方法，通过将原始 特征向量向更小的子空间上投影，主成分分析达到了降维和去冗余的目的。因此，经过 降维，损失的特征信息最少，在保证识别性能的同时，后续阶段的计算开销将会大大减 少。据此，本文将主成分分析方法应用到漉话人识别中，并提出了两利r 新的基于p c a 特 钲变换的说话人鉴别系统。实验结果显示，主成分分析在说话人特征的降维和降噪方面 部取得了不错的效果。 本文的第二个工作是研究了线性判别分析( l d a ) 的区分性变换在说话人识别中的 应用。线性判别分析在形式上同主成分分析很相似，但两者在原理上有本质的差刈。 丰成分分析关注的是寻找能最高效表达原数据信息的方向，而线性判别分析的重心则 在寻找最能区分不同类数据的方向。线性判别分析方法使得类间距离与类内距离的比值 最大，所以，经过线性判别分析变换，所获得的新的数据将达到最大的区分性。本文将 线性判别分析方法应用到说话人识别中，以获得更具区分性的说话人特征，并提出r 一 种新的基于l d a 特征变换的说话人鉴别系统。该系统同样在无噪语音和有噪语音的情况 下，都取得了很好的效果；在某些情况下，识别性能还优于基于p c a 变换的系统。 本文的第三个工作是研究1 r 卡成分分析方法的分类性质。现有的说话人分类方法，它 们或者虽然取得了较好的识别率，但计算复杂度很高；或者虽然计算速度较快，但在说 话人人数增多时，识别率会急剧f 降。根据主成分分析的定义，它本质上具有分类的能 力。在本文巾，我们研究了主成分分析方法的分类依据，并提出r 一利t 基于十成分子空 间的新的p c a 分类器。我们将其同另) 中p c a 分类器进行决策融合，获得混合p c a 分类 器，以加强分类能力。我们将这三种分类器应用到说话人识别中，并取得1 r 令人鼓舞的 效果：复杂度分析验证了p c a 分类器在时间复杂度和空间复杂度方而的优势。 本文丁作得到了国家自然科学基金( 6 0 2 7 3 0 5 9 ) 、国家8 6 3 计划( 2 0 0 1 a a 4 1 8 0 ) 、 浙江省自然科学摹会青年科技人才培养专项基金( r c 0 1 0 5 8 ) 、国家博气基金 ( 2 0 0 2 0 3 3 5 0 2 5 ) 、浙江省自然科学基金( m 6 0 3 2 2 9 ) 与浙江省教育j 丁摹令( 2 0 0 2 0 7 2 1 ) 的资助。 关键词：说话人识别多元统计分析j ：成分分析线性判别分析 浙江大学硕士学位论文 a b s 1 1 r a c l a bs t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y ，t h es e c u r ea u t h e n t i c a t i o nb e c o m e s i f l o iei m p o r t a ，n tt h a , ne v e rb i o m e t r i c si san e wi d e n t i f i c a t i o na p p r o a c ha n di ts h o w sa d v a n r a g e si nt h i sa r e as p e a k e rr e c o g n i t i o n ，w h i c hi d e n t i f i e so rv e r i f e sp e o p l eb yt h e i rv o i c e ，i s r e g a r d e da st h em o s tn a t u r a la n dc o n v e n i e n to n ea m o n gt h em e t h o d so fb i o m e t r i c s t l o w e v e r ，t h e r ea r es t i l lm s n yp r o b l e m sw h e nw ew a n tt oa p p l ys p e a k e r1 e c o g n i t i o nt or e a l a p p l i c a t i o n s o n ei st h el o n gc o m p u t a t i o n a lt i m eo ft r a i n i n gas p e a k e rm o d e lo rt e s ta n u t t e r a n c e ，w h i c hm a k e sr e a l t i m ei m p l e m e n t a t i o nv e r yh a r da n de x p e n s i v eh 1t t l i st h c s i s b a s e do nt i l e s t u d yo ft h er e c e n ta d v a n c e m e n t sa n dm a i np o i n t so fs p e a ，k e rr e c o g n i t i o n w et r i e dt os o l v et h ep r o b l e mb yu s i n gt w om e t h o d so fm u l t i v a r i a t es t a t i s t i c a la n a l v s i s p r i n c i p a lc o m p o n e n ta n a l y s i s ( p e a ) a n dl i n e a rd i s c r i m i n a n ta n a l y s i s ( l d a l t h ef i r s ti s s u ei st h eu s eo ft h ec h a r a c t e ro fo p t i m a ld i m e n s i o nr e d u c t i o i lo fp e ai n s p e a k e rr e c o g n i t i o n i nas p e a k e ri d e n t i f i e s t i o ns y s t e m ，t r a i n i n gs p e a k e rm o d e l si sc o m p u t a t i o n a l l ye x p e n s i v e e s p e c i a l l yw h e nt h ed i m e n s i o no ff e a t u r ev e c t o r si sl a r g ep e am e t h o d i sa no p t i m a ll i n e a rd i m e n s i o nr e d t m t i o nt e c h n i q u ei nm e a n s q u a r es e n s e w h i c hc a nr e d u c e t h ec o m p u t a t i o n a lo v e r h e a do tt h es u b s e q u e n tp r o c e s s i n ge t a g e e i nt h i st h e s i s t w on e w s p e a k e ri d e n t i f i c a t i o ns y s t e m sw e r ep r o p o s e du s i n gp e ae x p e r i m e n t sw e r ec o n d u c t e dt o i n v e s t i g a t et h ep r o p e r t i e so fd e c o r r e l a t i o na x e do p t i m a ld i m e n s i o nr e d u c t i o no fp e at h e r o b u s ta b i l i t yo fp e at r a n s f o r mw a sa l s oe x a m i n e d s o m e p r o m i s i n gr e s u l t sa r ef o u n do i l t h e s ee x p e r i m e n t s t h es e c o n di s s u ei st h eu s eo fd i s c r i m i n a t i o nt r a n s f o r mo fl d a i ns p e a k e rr c c o g n i t i o n p c as e e k sd i r e c t i o n se f f i c i e n tf o rr e p r e s e n t a t i o n ，w h i l el d a s e e k sd i r e e t i o n se f f i c i e n tf o r d i s c r i m i n a t i o nt h eg o a lo fl d ai st om t e x i m i z et h eb e t w e e n c l a s sm e a s u r ew h i l em i n i m i z i n gt h ew i t h i n c l a s si n c a , s u r e ，s oa f t e rl d at r a n s f o r m ，t h en e wf e a t u r ev e c t o r sw i l lb e m o r ed i s c r i m i n a n t w ep r o p o s e dan e w s p e a k e ri d e n t i f i c a t i o ns y s t e mu s i n gl d ab o t t lo n c l e a nc o r p l l 8a n dn o i s e dc o r p u s l1 ta c h i e v e sg o o d r e c o g n i t i o np e r f o r n l a n c ea n du n d e rs o m e c i r c u m s t a n c e ，i ti s e v e nb e t t e rt h a nt h es y s t e m su s i n gp e a i h e 幽i idi s s u ei st h er e s e a r c ho ft h ec l a s s i f i c a t i o na b i l i t yo fp c a m e t t l o da n dt h eu s co f p e ac l a s s i f i e r si ns p e a k e rr e c o g n i t i o n m a n yd i f f e r e n tc l a s s i f i c a t i o na p p r e a c h e sh a eb e e n d e v e l o p e df o rs p e a k e rr e c o g n i t i o na n dt h e yd oa c h i e v eg o o dp e r f o r m a n c e s b i i tt h e l ic o t n p l e x i t ym a k e s t i l er e c o g n i t i o nt i m e c o i l s u m i n g b a s e do nt h ed e f i n i t i o no fp e a i te s s e n t i a l l v o w n sc l a s s i f i c a t i o na b i l i t yan o v e lp e ac l a s s i f i e rc a l l e dp r i n c i p a lc o m p o n e i l ts d a c ef p c s l w a sp r o p o s e di nt h i sw o r k t o g e t h e rw i t ho t h e rp c ac l a s m i l e r ，i tf o r m sah y br i dc l a s s i f i e i a 1 lo ft h e s ec l a s s i f i e r sw e r ea p p l i e dt os p e a k e rr e c o g n i t i o n t h ee x p e r i m e n t a lw 。r k ss 1 1 0 w p r o m i s i n gr e s u l t s r h i sw o r ki s s u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fp r c 1 1 i n a ( n o6 0 2 7 3 0 5 9 ) ，n a t i o n s lh i g ht e c h n o l o g y r , e s e a r c h & d e v e l o p m e n tp r o g r a m l n ef 8 6 3 1 o fpr c h i n a ( n o 2 0 0 1a a 4 1 8 0 ) ，z h e j i a n gp i o v i n c i a l n a t u r a ls c i e 】 c ef b u n d a n 。1 1f o r 、b u n gs c i e n t i s to fprc h i n a ( n or e 0 1 0 5 8 ) ，n a t i o n a ld o c t o r a ls u b l e c tf o u n d a t i o l l 。f prc 1 a ( 2 0 0 2 0 3 3 5 0 2 5 ) ，z h e j i a n gn a t u r a ls c i e n c ef o u n d a t i o n ( m 6 0 3 2 2 9 ) a n dz t l e j i a n g p r o v i n c i a le d u c a t i o no 吊c ef o u n d a t i o nf 2 0 0 2 0 7 2 1 1 。 k e y w o r d s c o m p o n e n ta n a l y s i s s p e a k e rr e c o g n i t i o n ，m n l t i v a r l a t es t a t i s t i c a l a n a l y s i s ，p r i n e i p a l l i n e a rd i s c r i m i n a n ta n a l y s i s 塑兰三查堂堡圭堂垡笙茎篁：耋! ! 第一章引言 说话人识别技术( s p e a k e rr e c o g n i t i o n ) 是生物认证投术( b i o m e t l i t s ) 的一种f 1 ，2 近午 来已成为研究的一大热点【1 0 一1 2 ，1 9 2 1 1 。多元统计分析( m u l t i v a r i a t es t a t i s t i c a la n a l y s i s ) 提 供了一套对多元数据进行分析怕理论和方法f 3 一乩主成分分析( p i i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 与线性判别分析( l i n e a rd i s c r i m i n a n ta n a l y s i s ，l d a ) 是多元统计分析中的两种方 法，可以有效的处理说话人岣多维特征。 1 说话人识别概述 说话人识别技术( s p e a k e rr e c o g n i t i o n ) ，或称声纹识别技术，是一项根据语音中反映说话 人生理和行为特征的语音参数，自动识别说话人身份的技术f 1 0 1 。随着计算机技术的发展，自动 说话人识别( a u t o m s t i cs p e a k e rr e c o g n i t i o n ，a s r ) 的研究得到了迅速的发展，自动观话几识 别是指利用计算机技术，小需要人们的干预，自动的进行身份认证。本文所说的说活人 = l 别，均 指自动说话人识别。 说话人识别基于的语音，既包含了人的生理特征，即先天的解剖学上的差异；又包含了人的 行为特征，即卮天的发音习惯的不同。与语音识别不同的是，说话人识别利用的是语音信号中的 说话人信息，而不考虑语音中的言语内容，它强调说话人的个性特征；而语音识别的目的是识别 出语音信号中的言语内容，并不考虑说话人是谁，它强调说话人的共性特征 3 1 。 说话人 1 别任务有许多类型，根据认证方式的不同，可以分为三类f 1 4 1 ： 说话人鉴别( 也称说话人辨认，s p e a k e ri d e n t i f i c a t i o n ) ，是指从给定用户集中把测试语音 所属的说话人区分出来； 说话入确认( 也称说话人检测，s p e a k e rv e r i f i c a t i o n ) ，针剥单个用户，即通过预9 试语音米 判断其是否是所声明的用户身份； 说话人探删跟踪( 也称说话人切分与聚类，s p e a k e rs e g m e n t a , f o i o aa n dc l u s t e r i n g ) ，是撮 列一段包含多个说话人的语音，正确标注这段语音中说话人切换的时刻。 说话人识别从剥语音的要求上又可以分为：文奉无关( t e x t i n d e p e n d e n t ) 的晚话人识别 是指模型训练语料不要求特定的语京和内容，而r 训练语料与测试语料之问也不要求致；义 本有关( t e x t d e p e n d e n t ) 的说话人识别，是指模犁的训练语料是由用户按照给定的文本朗读得 到，测试语料心与训练语料相一致。一般来说，文本无关的说话人识别叟具难度。 在说话人箍别系统中又可以分为开集( o p e n s e t ) 的说话人鉴别和闭集( c l o s es e t ) 的说 话人浆别两种。闭集的说话人鉴别是指系统具有这样的先验知识：测试的说话人肯定是训练集中 出现过的说话人；而开集的说话人鉴别则指所测试的说话人还有可能是训练集中没自出现过的 人， 列说诵入识别的研究始于2 0 1 1 1 ：纪3 0 年代。早期的1 2 作主要集中在人耳听辨( a u l a l ) 实验 和探讨听旨识别的可能性方面。随着研究手段和工具的改进，研究工作逐渐脱离了单纯的人 耳听辨。b e l l 实验室的lgk e s t a 通过观察语谱图进芎亍识别( s p e c t r o g r a mm a t c h i n g ) ，提出了 “声纹”的概念n 之后，电r 技术和计算机技术的发展，使通过机器自动识别人的声音成为可 能一b e l l 实验率的s p r u z a n s k y 提出了基于模式匹配( t e m p l a t em a t c h i n g ) 和概率统计方差分析 塑垩查兰翌圭兰堡垒塞叁三耋! ! i 的说话人以别方法，引起信号处理领域许多学者的注意，掀起了说话人识别的一个研究高潮。其 闻的t 作土要集中在粹种识别参数的提取、选择和实验卜，并将倒谱和线性预铡分析等方法胁用 于说话人谚 别中。 从7 ( 鲆代末至今，说诵人识粥的研究重点转向对各种声学参数的线性或非线性处理以及 新的模式匹配方法上，如动态时间规整( d y n a m i ct i m e w a r p m g ) 、矢最角化( v e c t o rq l a n t i z a t i o n ) 、高斯混合模型( c , a , k c s i a nm i x t u r em o d e l s ) 、隐马尔可夫模型( h i d d e nm a r k o v m o i e l s ) 等技术。 l2 说话人识别中存在的问题 说话人识别技术大体卜可以分为特征提取和说话人分类两个部分2 2 1 ，虽然说话人识别的研 究_ 已经取得很大的进展，但应用于实际情况还需要解决很多问题。 问题一：高维说话人特征的缺陷。对于说话人识别系统来说，为了提高性能，往往偏向于 使用高维的特征，冈为高维的特征可以更精确的表征说话人的信息。然而，增加特征向量的维数 会带来很大的问题 2 3 1 。比如使用高维特征的分类器需要更多的参数来刻画说话人模型，这也意 味着需要更大的存储空间。同时，这将不可避免的增加计算的复杂度，使得实时应用变得更加团 难和昂贵。此外，还需要更多的语音数据来训练分类器。 另外，对于越来越流行韵分布式赢用，有限的传输带宽对位于客户端的特征提取也是一个挑 战。有限的带宽，意味着对高维特征的限制；而为了在有限的带宽下，取得尽可能好的性能，又 需要提取能精确描述说话人的特征。当然，可选的解决办法之一是在传输时量化压缩说话人的特 征向量f 2 4 1 ，但更好的方法显然是提取更高效的特征：低维的、抗噪的、而又精确表征了说话人 信息的特征。 网此，本文将尝试在现有主流特征的基础上，通过特征变换的方法，获得高效的说话人特 征，即低维的、抗噪的、而又精确表征了说话人信息的特征，多元统计分析中的两种方法：主成 分分析和线性判别分析在这方面获得了不错的效果。 问题- ：说话人分类方法的局限性。诚然，目前已经有很多说话人分类方法，如高斯洮台 模犁、隐马尔可夫模型、支持向量机模型，这些方法也取得了比较好的识别率。但是，上述方法 的高复杂度使得说话人识别所需的时间很长。在训练阶段，为了获得最大的似然度和精确的说话 人模礤，要进行很多次的迭代计算。在测试阶段，比较待识别的语音，需要计算每个模拟晌得 分，这也需要一定的时问。因此，这些高复杂度的精确的建模方法并1 i 适合于实时的说话人应 用。 现有的低复杂度的建模方法，虽然所需的训练时阳j 和测试时间都比较短，但有一定的局限 性，只适用于人数较少的情况。一旦说话人的数量增多，识别性能就会急剧下降。 为此，本文的另一研究重心放在了高效分类方法的研究上，即低复杂度的、而又能适用r 说 话人数量较多时的说话人分类方法的研究。奉义将根据对多元统计分析中的主成分分析算法的吲 究，提出一种新的p c a ( 主成分分析) 分类嚣理论和实验证明，该分类器具有很好的性能。 1 3 多元统计分析用于说话人识别的可行性 多兀统计分析( m u l t i v a r i a t es t a t i s t i c a la n m y s i s ) 也称多元分析，它是统计学中讨论多元随 机变量晌理论和统计方法的总称。多元统计分析探讨高维数据的内在规律，如研芄多元变革州的 相互关系、数据结构和数据简化等 8 】。其内容既包括一元随机变量中某些方法在多变量情况下的 商接推广，也包括多元随机变量特有的一些问题。 渐江大学硕士学位论文 第一章引言 多元统计分析中，乜含很多分析方法，比如：因子分析、主成分分析、判别分析、聚类分 析、相关分析等等。根据说话人识别技术的特点，本文的研究集中于多元统计分析的两个方 法：主成分分析( p l i n c i p a 上c o m p o n e r l ta n a l y s i s ，p c a ) 和线性判别分析( l i n e a rd i s c r i m i n a n t a n a l y s i s ，l d a ) 。 原始数据中往往存在着相关性、冗余性，因此，从统计分析或推断的角度来说，人们总是希 望能把大量的原始指标( 高维向量) 组合成较少的几个综合指标( 低维向量) ，并目各指标( 分 量) 互不籼关，从 i l j 使分析简化。这些综合指标，它们构变化耍能大体上反映样本全部指标的变 化，而不丧失或只丧失很少一部分原始指标所提供的信息。主成分分析( p c a ) ，又称主元分 析、k l 变换，针剥的就是这类问题，它是把多个指标化为少数几个综台指标的一种通用的统计 分析方法。主成分分析已成为很流行的向量转换和降维方法，应用于很多领域，包括数据压缩、 图像分析、模式识别和时间序列预测等1 5 1 1 。 在生产、科研和日常生活中，经常会遇到根据若干个观测数据对所面临的对象进行分类判别 的问题。判别问题的一股提法是：设有个总体g 1 ，g k ，已知样品x 来自这k 个总体f 自某 个，但不知它究竟来自其中的哪一个。翔别分析就是根据对这个总体的已知知识( 由过去的经 验获得，或从这个总体中抽样判断) 和待判别的样品的一些指标的观测值，来判别样品x 廊归 属于哪一个总体的方法。判别分析方法有多种，包括距离判别、b a y e s ：9 1 u 以及线性判别。其。| i 线性判别分析( l d a ) ，又称费歇判别分析、基于类的k - l 变换，由f i s h e r 第一次提出，可以表 示不同的特征变量，在多元统计分析中得到了广泛的应用4 1 。 说话人特征实际上是一种服从近似正态分布的随机向量。由于说话人特征之间往往含有冗余 信息，因此可以尝试将主成分分析方法用于对说话人特征进行转换降维，在保证识别性能的同 时，能够大大减少计算量提高系统的实时性。对于某些受噪音破坏的语音，其提取出的特征因 含噪音成分，a i 能精确的表征说话人，可以通过主成分分析变换，得到去除噪音成分的新的说话 人特征。为了达到更好的分类识别效果，将线性判别分析方法作用于说话人特征，有希望在降维 的同时，得到的特征更具区分性。主成分分析实际上还具有分类的功能，在其上商开发出的新的 分类器，可以拓展到说话人识别上，获得高效分类的性能。 1 4 研究意义 研究多元统计分析方法在说话人识别中的应用，其意义在于： 1 ) 提取低维说话人特征以降低后续计算的复杂度。目前说话人识别中主流的特征， 如l p 嘴征、m f g c 特征。都具有这样的性质，即在+ 定程度上，越高维的特征，越能精确构表 征说话人，因此也就能获得更好的识别效果。但是，高维的说话人特征，意味着刊一个说话人建 模需要更多的参数、更长的训练和测试时问、更多的语音数据，这将q ：利于说话人谚 别技术的实 时j 、t 用。另外，从有噪语音上提取的说话人特征，因为原语音已在时域或者频域上受到噪音的破 坏，因此得到的特征往往并不准确。本文使用主成分分析方法，通过列说话人的特征作空问上f 自 变换，以期获得高效的说话人特征：低维的、抗噪的、又能精确表征说话人的特征。 2 ) 捉取更具区分性的说话人特征以获得更好的分类效果。线- | 生判别分析在形式e 同主成分 分析很相似，但两者在原理上有奉质的差别。主成分分析：建注的是寻找能最高效表达原数据信息 的方向，而线性判别分析的重心则在寻找最能区分小同类数据的方向。线性判别分析方法使得类 问距离与类内距离的比值最大，所以，经过线性判别分析变换，所获得的新的数据将达到嚣大的 区分性。本文将线性判别分析应用到说话人t 别中，以获得更具区分性的说话人特征，从而达到 更好的分类识别效果。 3 ) 新的观话人分类方法的研究。说话人识别系统本质上是一个基于统汁的模式训别系统， 浙江大学硕士学位论文 第一章引言 其核心是分类问题。分类狄策就是在特征空问中用统计万法把被识别刘象为某类别，基本做 法是在样本训练集基础上确定某个判决规则，使投这种判决规则对被识别刘象进行分类所造成的 错误识则率最小。多元统训分析中的生成分分析方法，币但能作特征变换，还具有分类性质。奉 文基于主成分分析的定义，提出新的p c a 分类器，并成功的将其应用于况话人鉴别。 15 全文内容安排 本文内容共分七章，包括：第一章“引亩”：第_ 至六章为主要内容最后一争是“总结与 展望”。 第一章“主成分分析与线性判别分析”，简单介绍了多元统计分析的基本内容，列夺艾研究 的两种多元统分析方法：主成分分析利线性判别分析作了重点介绍。 第三章“基准实验系统”，描述了本文使用的基准说话人识别系统，包括其逻辑框架、系统 的三个主要模块：语料库、特征提取与说话人识别模型，每个模块都给出了参数设置。 第四章“基于p c a 的说话人特征变换”，讨论y p c a 特征变换在说话入i ； 别中的虑用，在充 公研究传统的说诵人鉴蹦系统的结构与p c a 特征变换白勺特点构基础上，提出了两种新的说话人鉴 别系统框架，同时剥这几种系统在可扩充性与识别性能方面作了比较，并用大量的实验对其性能 进行了考察。 第五章“基于l d a 的说话人特征变换”讨论l d a 特征变换在说话人识别中的应用，根 擂l d a 变换与p c a 变换的比较研究，提出y 基于l d a 特征变换的新的说话人鉴别系统框架，同时 对l d a 和p c a 两种变换在说话人鉴别中的应用作了比较。 第六章“基于p c a 分类器的说话人识别”，讨论t p c a 分类器在说话人识别中的应用，提出 了一种新的p c a 分类器，并将其同另一种用于车辆识别的p c a 分类器进行融合，然侨成功的将敢 几种分类器应用于说话人鉴别中，并同其他说话人建模方法在识别性能和计算复杂度等方由作了 比较。 第h 章“总结与展望”，对本文的工作做了简要的概括，并给出下一步努力的方向。 渐江大学硕士学位论文 第二章主成分分析与线性判别分析 第二章主成分分析与线性判别分析 多元统计分祈( m u l t i v a r i a t es t a t i s t i c a la n a l y s i s ) 也称多元分析，它是统计学中t 寸论多y l 陋机变量的理沧和统计方法的总称。多元统计分析探讨高维数据的内存规律，如研究多儿变帚 问晌相互关系、数据结构和数据简化等【8 】。本尊着重介绍两种多元统计分析方法：上成分分析 ( p c a ) 与线性判别分析( l d a ) 。 21 多元统计分析概述 多元分布及其抽样理论十分复杂，通常是理论统计学家研究的内容，但是作为多7 l 统计分 析方法的理论基础，它们的建立和形成却是多元统计分析作为统计学的一个分支学利形成的标 志3 1 。对于多元正态分布问题的讨论发生和集中于2 0 w ：f e 、三十年代，1 9 2 8 4 - w i s h a r t 发表了 多元正态总体样本协方羞的精确分布，可以晚是多元统计分析的开端。2 0 1 岘3 0 年代，r 、a f i s h e r 、hh o t e l l i n g 、s n r o y 等人作出了一系列奠基性的工作，使多元统汁分析在理论上得到 了迅速的进展。2 0 世纪4 0 年代，在心理、教育、生物学等方面都有1 i 少的应用。 但是山于计算量太大，其发展受到r 影响，甚至停滞了相当长的时间。2 0 世纪5 0 q z 代中期， 随着电子计算机的出现和应用，多元统计分析方法在地质、气象、e 物、医学、经济、管嫂、社 会学、信号处理等领域得到了广泛的应用。2 0 世纪6 0 年代，多冗统计分析在理i ：仑上又有了重要冉勺 进展。发展至今，多元统计分析已逐渐应用到新的领域，如生物认证领域的人脸以别、说话人识 别。 实际上，多元统计分析是一类范围很广的理论和方法，包括的内容很多。不过，当人们嘶临 复杂的多变量数据处理问题时，人们所期望做的无非就是以下几个方面：一方面，就是设法将数 据简化，譬如将多个变量设法综合为一个综合变量，以便于比较；另一方面，就是哎法将数据分 类，以便于各类的比较分析，这种分类既可以是剥变量的分类，也可以是剥样品的分类；再方 面，就是刑不同变量之间的关系进行分析，以期找出一些规律3 1 。 除了上述几个方商之外，显然，多元统计分析还需要包括支撑各种分析方法的统计理论基础 的 ； | j 分，这一部分构成了各种多元统计分析方法的基石。+ 些国际知名的统计学家，如英国著名 统计学家k e n d a l l 曾经把多元统计分析所研究的内容和方法概括为以下四个重要方面： 简化数据结构。即通过变量变换或者把高维空间的数据投影到低维窀间，使繁杂庞火 的原始数据得到简化而损失的信息又不太大，以便于进一步的分析和研究。主成分分析 ( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 和因子分析( f a c t o ia n a l y s i s ) 等方法就是婴解 决这个问题。 观测数据按观测点分类或按变量分组。分类往往是切科学研究的基础和 端，聚类分析 ( c l u s t e ra n a l y s i s ) 和线性判别分析( l i n e a rd i s c r i m i n a n ta n a l y s i s ，l d a ) 等方法就是解 决分类问题的方法。 变晕之间相依性分析。分析两个或两组变量之间的相依关系，是很多科学研究的j j 耍内 容。川归分析( r e g r e s s i o na n a l y s i s ) 和相关分析( c o r r e l a t i o na n a l y s i s ) 等则提供j 进行 这炎研究的必要方法。 多儿统量的分布理论和推断方法。这包括推导和定义各种多元统计阜，给u 1 其抽样分粕 即导出它们的分布函数和密度函数，并研究它们的性质和基于它们之上的推断万法，l i 多 - 6 分布的参数估计和假设榆验，等等。这些都是各种多元统计分析方法的理论基础。 堑兰奎耋堡圭薹堡篁茎：堑三塞三些坌坌堑童兰竺型型坌堑 本文的t 作蔷重于两种方法的研究：主成分分杌和线性判别分析。引列说讯人识别的特定刚 题，本文将土成分分析和线性判别分析算法应用于说话人以别中，菏取得了小错的效果。 2 2 主成分分析 主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) ，又称主元分析、k l 变换 ( k a r h u n e nl o e v ct r a n s f o r m ) ，它的研究可以追溯到1 9 0 1 年，由p e a r s o n 首次提出3 9 卜 到1 9 3 3 年，主成分分析的概念h o t e l l i n g 总结出来【3 7 1 。i t o t , e l l i n g 刑p c a 的定义如下：列一个d 维 的观察向量序列 t n ) n 1一) ，主成分分析就是要找到g 个正交的主方向u ，、7 f lq 使得观察向量序列 。) 在这q 个主方向张成的了空恻上的投影保留的方著最大5 1 1 。图2 1 所不为丰 成分分析方法的简单图示，图中的直线表示笫一主方向，把数据往该方向上投影即获得数据从一 维到一维的最优骄维。 图2 - 1 主成分分析示例 22 1 主成分的概念 假设观测指标共有p 个，分别为z 1 ，。2 ， ，z 。，将这些指标综合为一个综台指标的方法显 然有很多，但最简单的方法就是将这些指标用线| 生组台的方法综台起来。因此，可设定其综合指 标的形式为这些指标的线性组合，即： y = 血t z = a l 。1 + n 2 。2 + + 血p z p( 2 。) 显然，备指标组合的系数不同，就得到不同的综合指标。也就是说，p d 指标的这种线- 牛组 合形成的综合指标可以有多个，我们自然要构造少数几个这样的综台指标来代替原始观测指标。 为了避免所构造的综合指标之间信息的重迭，我们自然还要求构造的这少数几个综合指标彼此之 问是币相关的。这少数几个综台指标当然都必须能在一定的程度上反映原始观测指标的变动。其 中反映原始观测指标的变动程度最大的综合指标最重要，我们称其为原始观测指标的第一主成 分；而反映原始观测指标的变动程度次大的综合指标，称为原始观测指标的第_ _ 二主成分；依此类 推t 刚以反映原始观测指标变动程度的大小顺序排列，第个综台指标就称为是原始观测指标的 第个土成分【3 】。 在统计学中，反映变量本身变动挥度的常用尺度是方著。各个原始观测变量的方斧反映了各 个原始观测指标的变动程度，而各个综合指标作为原始观测变量的线性组合，其方羞的大小就取 决丁这些原始观测变量各自的方差和它们之间的协方差。冈此，各个综合指标的方差综合反映了 浙江大学硕士学位论文 第二章主成分分析与线性判别分析 每个原始观测变最自身的变动和它们两两之间相互的变动，可作为该综合指标综合反眺原始观测 指标变动程度能力的尺度。由此可知，原始观测变量的上成分可根据其方差来定义。 假设p 个原始观测指标向量。= ( z 1 ，z 2 ， ，x p ) 7 的均值向量为e ( x ) 一m 、方差矩阵 为v 凸7 ( z ) = ，则第i 个原始指标的方差就为咖方差矩阵的主对角线上的柏应元素，p 个原始指 标的总方差为仃= o l ld - 0 - 2 2 + t + f f p p = 打( e ) ，总方羔口= 扩( ) 反映了p 个原始指标的总变动。列 二作为一个综合指标的p 个原始观测变量的某一线性组合：y = 血1 。1 + n 2 2 2 2 l + “。= ( r z ， 其方莘为： v a j 1 ( ) = v n r ( n 丁z ) = 丁v 。r ( 。) n = o ：t 理 ( 2 - 2 ) 冈为该方差的大小说明了该综台指标反映p 个原始观测变量综台变动程度的能力的大小，所 以p 个原始观测变量的第一主成分就虑该是这p 个原始观测变量的所有线性组台。 | 方差最犬的那 个综合指标，第一个主成分就应该是这p 个原始观测变量的所有线性组合中方差次大的那个综合 指标，依此类推，第女个主成分就应该是这p 个原始观测变量的所有线性组合中方差第大的那个 综合指标n 若记原始观测变量x l 、x 2 、z ，的第一土成分为( 1 ) ，第_ 主成分为1 产) ， 第主成分为( ，则有： 1 ) 可( 2 ) 可( 并且有：v a t ( y ( 1 ) ) v a r ( y ( 2 ) ) 222 主成分的计算 1 第一主成分的计算 + o ! p 卸 + d 乎唧 血 2 z 1 + 乜笋z 2 + ，+ a 轳， 2v a t ( y ( ) ) 。 ( 2 - 3 ) 由主成分的定义可知，要找出p 个原始指标的第一主成分，就是要找出使。7 1 n 最大的p 个 原始指标的线性组合y = 舻。z 。由于y ( g ) = 7 a 是向量的增函数，即刘于任给的常数c ， 都：有- v a r ( c a lz ) = c 一口c = c 2 n 7 所以若不对“加以限制，要使o y a 最大，血就应为= _ 己 穷大，从而使问题变得没有意义。因此，通常要将线性组合y = n 丁。的系数标准化即单位 化，令。7 n = ；pi 口? = 1 。于是，求p 个原始指标的第一。主成分的问题，就变成了在约束条 件口= 1 之下，求使丁e a 最大的向量“的问题了。即： 利用拉格朗l ：j 乘子，可得拉格朗日函数为 u = n 丁。 f n 丁n1 1 它是。的次函数和a 的线性函数，分别对向量和a 微分，并令其为o ，得 j 器= 2 e a 一2 a a = 0 1 筹= “气一1 = 0 由前p 个力程，可得 ( e 一 ，) = o 由约束条件，= l 可知， 0 ，也就是说齐次线性方程组( 一a ，) a = 0 有价零解。 得知识叫知，返时齐次线性方城组得系数矩阵( 一a ，) 的秩小于p ，其行列式为o ，旦| ：i e a 1 1 = a ，e 1 = 0 ( 2 - 4 ) ( 2 - 5 ) ( 2 - 6 ) f 2 7 1 由线性代数 f 2 8 1 + 十 2 2 o 2犯2 o 口+ + z z l 2 一 血一 z 舭咄 ，jtl 塑垒奎兰堡圭耋堡篁茎 叁三耋圭垒坌坌堑皇垒竺型型坌堑 因此，九凶须是 = j _ | - 筹阵的一个特征根，而则是与此特征根相对应i 向特征向量。 将前p 个方程式所组成的向量左乘一个行向嚣一，得： n r 一a n r d = 0 f 2 一叭 由于约束条什规的规定o e t = ：= 1 ，所以必有： v a t ( y 1 = “。n 二a 冈此要使y ( g ) 一a 7 a 最大，也就必须使, u g n 能的大。 所以 就应取为吣著阵的最大特征根，即： = m c ( ) = a 1 而与的最大特征根a l 相应的特征向量： ( 2 1 0 ) 冈为 还必须是协差阵的特