（应用数学专业论文）cca在数字图像处理中的应用研究.pdf

武汉理工大学硕士学位论文 摘要 典型相关分析是多元统计分析的一个重要研究课题。它借助主成分的思想， 用少数几对综合变量来反映两组变量间的线性相关性质。目前它已经在众多领域 的相关分析和预测分析中得到广泛应用。但将其应用于数字图像处理，目前相关 的研究还很少。 本文首先深入研究典型相关分析的各种线性算法和非线性算法，并通过实验 数据的比较说明了它们各自的特点。然后主要从理论和实验两个层面论证了典型 相关应有于数字图像处理方面的可行性和优越性。同时通过实验数据说明了典型 相关的线性判别和非线性判别的分类能力和特点。 本文提出一种基于图像邻域信息的分割方法。首先，根据象素点邻域信息得 到高维特征向量；然后采用典型相关分析( c c h ) 改进线性判别分析( l 删) 中的变 换矩阵，使得特征向量的降维具有自适应性；最后用最近邻法对降维后的特征向 量进行分类，从而实现了图像的分割。试验中，选取人脸图像分割来验证该方法， 结果显示出其具有良好的分类效果。在图像匹配方面，基于典型相关分析的思想， 对相邻图像进行匹配拼接，确定出合适的拼接点，并选用不同场景的图像进行试 验，所得结果令人满意。 关键词：典型相关分析；核理论；判别分析；领域信息；图像分割；图像拼接 武汉理工大学硕士学位论文 a b s t r a c t c a n o n i c a lc o r r e l m i o na n a l y s i s ( c c a ) i sai m p o r t a n tr e s e a r c hs u b j e c to f m u l t i v a r i a t es m t i s t i e a la n a l y s i s w i t ht h ei d e ao fp d n d p a lc o m p o n e n ta n a l y s i s ，c c a r e f l e a st h el i n e a rc o r r e l m i o nb e t w e e nt w os e t so fv a r i a b l e sw i t haf e wb a s i sv e c t o r s n o w , t h em e t h o dh a sb e e na p p l i e dt om a n yf i e l d sf o rc o r r e l a t i o na n a l y s i sa n df o r e c a s t a n a l y s i s ，b u tt h e r ei sf e wr e l e v a n t r e f e r e n c ea b o u ta p p l y i n gi tt ot h ed i # t a li m a g e p r o c e s s i n g f i r s t l yt h el i n e a ra l g o r i t h m sa n dt h en o n l i n e a ra l g o r i t h m so fc c a a r ep r e s e n t e di n t h i s p a p e r s e c o n d l y , s o m ee x p e r i m e n t sh a v eb e e nd e s i g n e dt os u m m a r i z ea n d c o m p a r et h ec h a r a c t e r i s t i c so fv a r i o u sk i n d so fa l g o r i t h m s t h e i rf e a s i b i l i t ya n d v a l i d i t yi nd i g i t a li m a g ep r o c e s s i n gi sc o n f i r m e db yt h ee x p e r i m e n t sa n dt h e o r y f i n a l l y , t oa p p l yt h em e t h o di nm u l t i p l ec l a s s i f i e r s ，t h ec o m b i n a t i o no fm u l t i p l e c l a s s i f i e r sb a s e do nb e l i e f v a l u ei sp e r f o r m e d a ni m a g es e g m e n t a t i o na l g o r i t h mb a s e do nc o n t e x t u a li n f o r m a t i o ni sp r o p o s e di n t h i sp a p e r f i r s t l y , t h eh i g h - d i m e n s i o n a lf e a t u r ev e c t o r so fp i x e l sa r ee x t r a c t e dt h r o u g h t h ec o n t e x t u a li n f o r m a t i o n t h e n , t h el d at r a n s f o r m a t i o nm a t r i xi si m p r o v e dw i t h c c a ，w h i c hm a k e st h er e d u c t i o no fd i m e n s i o n sa d a p t i v e f i n a l l y , t h el a b e l so f l o w - d i m e n s i o n a lv e c t o r sa l eo b t a i n e d u s i n g1 n e a r e s tn e i g h b o rc l a s s i f i e r t h e e x p e r i m e n t sw e r ec o n d u c t e do n f a c ep i c t u r e s ；t h er e s u l ts h o w st h a tt h ep i x e l c l a s s i f i c a t i o ni se x c e l l e n t k e yw o r d s ：c a n o n i c a lc o r r e l a t i o na n a l y s i s ( c c a ) ；k e r n e lm e t h o db e l i e fv a l u e ； l d a ；c o n t e x t u a li n f o r m a t i o n ；i m a g es e g m e n t a t i o n ；i m a g ej o i n t n 独创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中明确的说明并表示了谢意。 研究生签名 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部内容， 可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后遵守此规定) 研究生签名：垒磕导师签名：醯日期! ! ! 兰：! 二 武汉理工大学硕士学位论文 第1 章引言 1 1 选题背景与研究意义 典型相关分析( c a n o n i c a lc o r r e l a t i o na n a l y s i s ，c c a ) 作为多元统计分析中的 一个重要方法，主要研究两组变量之间的相关性问题 。典型相关分析不仅其 方法本身具有重要的理论意义，而且它还可以作为其他分析方法，如多重回归、 判别分析和相应分析的工具，因此在多元分析方法中占有特殊的地位。 典型相关的概念是在两个变量相关性分析的基础上发展起来的。我们知道， 两个随机变量的相关关系可以用它们的相关系数来衡量；一个随机变量与一组随 机变量之间的相关关系可以用复相关系数来衡量。但考虑一组随机变量与另一组 随机变量的关系时，如果运用两个变量的相关关系，分别考虑第一组每个变量和 第二组中每个变量的相关，或者运用复相关关系，考虑一组变量中的每个变量和 另一组变量的相关，这样做比较繁琐，抓不住要领。因此，为了用比较少的变量 来反映两组变量之间的相关关系，一种考虑的思路就是类似主分量分析，考虑两 组变量的线性组合，从这两个线性组合中找出最相关的综合变量，通过少数几个 综合变量来反映两组变量的相关性质，这样便引出了典型相关分析。 典型相关分析的思想类似主成分分析，但他们研究的对象显然是不同的。主 分量分析出发点是从一组随机变量出发，寻求该组随机变量间的线性组合，试图 用少数的线性组合较好地反映原来多个变量的信息，同时又可以保证这些综合指 标问互不相关。而典型相关主要讨论两组变量问的相关性问题，把两组变量之间 的复杂相关关系化简，用少数几对变量之间的相关性来反映两组变量间的互信 息，同时也保证这些变量对之间互不相关。 典型相关分析是由h h o t c l l i n g 于1 9 3 6 年提出。就目前而言，它的理论己经 比较完善。但就其应用而言，目前主要将其应用于众多领域事物问的相关性分析 和预测分析。其工作流程如图1 1 所示。如在生态环境方面，用典型相关理论对 预报场与因子场进行分析，实现了短期气象预测；借助典型相关，分析了植被与 环境的关系。在社会生活领域，应用典型相关分析了物价指标和影响物价因素的 相关关系；则借助典型相关分析了学生的基础知识与专业知识之间有多大的相关 武汉理工大学硕士学位论文 程度1 4 - 8 1 。在图像应用方面，w e n m i n gz h e n g , x i a o y a nz h o u 等使用k c c a 进行人 脸表情的识别。d a v i d r h a r d o o n ，s a n d o r s z e d m a k 等人将c c a 应用的图像检索 处理方面。但在数字图像处理的其他方面，c c a 的应用研究还比较少。 我在参与导师有关数字图像处理的讨论中，接触到典型相关算法，认为对其 进行深入的理论研究以及其在数字图像处理中的应用研究是很有意义的。 输 相关分析 i预测分析 i 图1 1 典型相关分折工作流程图 1 2 研究内容 本文首先深入总结了c c a 的各种算法，然后对其在数字图像处理方面的应 用进行了研究和探讨，并且通过具体的模拟数据和实验验证了其效果。本文主要 研究的内容有以下几个方面。 ( 1 ) 系统的介绍典型相关的有关概念、性质以及线性典型相关的算法。线性 典型相关算法主要介绍了解析算法、迭代算法和神经网络算法。并通过 实验说明各种算法的特点。 ( 2 ) 对非线性典型相关分析算法进行了深入的分析。非线性典型相关分析算 法主要介绍了神经网路算法以及基于核理论的算法( k c c a ) 。并且通过 我们构造的仿真数据的实验，说明了线性和非线性典型相关分析在本质 上的差异性。 ( 3 ) 介绍了典型相关的主要应用领域。主要工作是将其应用领域拓展到数字 图像处理中，从线性典型相关和非线性典型相关的角度，提出了基于 c c a 和k c c a 的判别分析。 ( 4 ) 将典型相关判别分析首次应用到数字图像处理中。提出一种基于图像邻 域信息的分割方法。首先，根据象素点邻域信息得到高维特征向量；然 2 武汉理工大学硕士学位论文 后采用典型相关分析( c ( h ) 改进线性判别分析( 己删) 中的变换矩阵，使得 特征向量的降维具有自适应性；最后用最近邻法对降维后的特征向量进 行分类，从而实现了图像的分割。 ( 5 ) 基于c c a 进行两幅图像的匹配拼接，拼接效果达到预期的目标，具有 较强的实用性。 ( 6 ) 对整个论文进行了总结，在简单回顾整个论文工作的基础上，对典型相 关分析的进一步研究提出了一些个人看法。 3 武汉理工大学硕士学位论文 第2 章c c a 的有关概念和线性算法 本章主要介绍典型相关分析的基本概念和算法。对线性典型相关，主要介绍 解析算法、梯度算法和神经网络1 9 - 1 0 算法。 2 1c c a 的概念 在实际中常常要研究两组变量之间的关系。比如，在医学中，我们统计了引 起两种疾病的各自因素，而引起每种疾病的因素可能很多，我们需要研究这两组 病因之间的关系问题。在地址勘探中，我们在两个临近的矿区各自选择了若干个 标本，对每个标本测得若干个含矿指标，需要从这两组标本来分析两个矿区的含 矿指标的相依情况。又如一些社会问题，我们希望通过一些学生的开卷功课的成 绩以及闭卷功课的成绩，了解一个学生适应开卷考试能力和适应闭卷考试能力之 间有多大的相关程度。还有气象问题，我们往往希望通过研究一些气压数据和海 洋气候的数据，了解气压对气候的影响多大，迸一步分析气压的那些指标对气候 影响比较强等等。总之，社会生活中，有好多类似的问题，它们都可以归结到两 组变量问的相关性问题，这也是典型相关分析要解决的问题。一般地，假定测得 了两组变量的数据：工一( h ，x 2 c ，x ，) 7 和y 一( y 。，y ：，y 。) 7 ，典型相关就是要研 究这两组变量之问的相关关系。 讨论相关关系常用的一种方法是讨论第一组每个交量和第二组中每个变量 的相关，得到p x q 个相关系数，用这些相关系数反映两组变量的关系。但这样 做是不够的，既繁琐，又抓不住要领。另外一种方法类似于主分量分析，对每组 变量做一个线性组合，称其为这组变量的综合变量，然后研究两组综合变量的相 关，通过少数几个综合变量来反映两组变量的相关性质，这样可以抓住它们的主 要关系，而且又简明。因此典型相关分析揭示了两组变量之间的内在关系，更深 刻的反映了这两组随机变量之间的线性相关情况。综合变量对间的相关强弱程度 不同，就形成了不同的典型相关对。在实际中，往往只需重点研究相关关系较大 的几对典型变量，因为它们反映了两组变量间相互关系的绝大部分信息。这就是 典型相关分析的主要思想。 4 武汉理工大学硕士学位论文 2 2c c a 的数学描述 设两组随机变量为： x 一瓴，x 2 ，o ) 7 ，y - ( y 1 ，y 2 ，y g 广 其中p ，q 表示随机变量的维数。且二者的期望满足e ( x ) 一助：y ) = 0a 对其分别做 线性组合： 驴缸即巧一妻 ， 典型相关分析首先需要考虑的问题是求出q 。( 4 。，口。，口，) 7 和 6 l - ( 6 l t ， ：，) r ，使得随机变量“l ，t 的相关系数n - ，h ) 鲁了燕 最大。其中s 。，s 。，s ，s r x 表示五y 相应的协方差矩阵。 显然，如果a 1 ，b 1 不受任何约束，则达到最大值的a l ，b l 无穷多。为使解唯一 确定，使用以下约束条件： d ( u ，) 一d ( v 1 ) 一1 即 a r s x x a l = b r s w 岛- 1 ( 2 1 ) 于是问题转化为： 在式( 2 1 ) 的条件下，求a l ，b l ，使相关系数岛以。，p 。) 最大。 即要解决如下约束优化问题： m a xn o l ，v o 一4 ；s x ，b , h 口。一巧s r r 岛- 1 s j r 毪一4 j x( 2 - 2 ) l q 一口 如果已经求得( j d 。，4 ，阢) 满足上述问题，则典型相关分析第二步需要考虑的问 题是： 在约束条件 a r s x x a ：2 ；玎z s 。a r s 。ab 2 ：1 0 ( 2 - 3 ) ：= 玎s 。= 。 5 武汉理工大学硕士学位论文 下，求得a 2 0 ：。，4 ，a 2 ，) 7 ，b 2 。p 2 ，屹，吆) 7 ，使得线性组合 “：2 薹n a 鼍，v z 。凳y ，之间的相关系数p ：。：奶，。了燕最大。 即要解决如下的约束优化问题： m a x p 2 似2 ，y 2 ) 一a r s x r b 2 f 4 ；s 目a 2t6 ；s y y 6 it 1 s 。i “a ：r s ；x 4 x ；a x 2 - 6 j s y y 6 2 = 。( 2 4 ) l v ：一酲y 其中条件e 缸一；) = e ( v l v ；) 一0 ，b 1 a r s 。口：w s 以。0 。该条件表明h 。和“2 ， ，。 和圪是线性无关的。 依次类推，我们可以求得一系列的值：( n ，a 。，以) ，( p ：，a ：，b 2 ) ，( n ，a ，6 ，) ， 它们满足下列条件： ( 1 ) 相关系数逐渐减小，相关性逐渐降低，即p l 乏p ：2 n ； ( 2 ) 五y 在q ，岛a 一1 ，2 ，) 上的投影向量的方差d ( u ，) = d ( v i ) 1 1 。即 a ：s h n i - b 7 s w b i - 1 ； ( 3 ) 数据石在a i , a ，( f ；，) 上的投影向量吨，“，线性无关，即 e ( u ；) = 口j s “口一o ；同理，数据y ：f f ：b i ，b o ，) 上的投影向量屹，y ，线 性无关，即e 以v ；) 一酲s ，b - o ： 在统计分析中，我们称n 为五y 的第i 个典型相关系数，( 口。，包) 为石和y 的第i 对典型向量， ，u ) 一 j z ，巧y ) 为五y 的第i 对典型变量。以上便是典型 相关分析的基本原理。 2 3 线性c c a 的解析算法 上一节中，我们给出了典型相关分析的概念和数学描述，接下来简述一下典 型向量和典型变量的解析求解过程。依据前面的数学描述，我们可以将典型相关 问题归结为如下约束优化问题： m a x p ( u ，v ) 。口7 s h 6 6 武汉理工大学硕士学位论文 f a r s 目a - b 7 s 加- 1 豇扛一口7 石( 2 5 ) i v b 7 y 其中口一0 n ，口m ，) tb 一鸭l ，6 ，2 ，b j q ) 7 。 不同的i ，的选取，决定了p ( u ，v ) 的不同取值。它包含了一对一，一对多和 多对多的相关内容，这给我们解决问题带来了很大的灵活性。它包括了简单的相 关与复相关这两种特例。下面，我们通过推导可以证明，式( 2 5 ) 就是2 2 描述的 典型相关的求解过程。 我们引入拉格朗日乘数，粤，a 了2 ，构造如下目标函数来求解这个问题： f ( a ，6 ) - a r s 。b 一每q 7 s 。n 一1 ) 一冬( 6 7 s 。6 1 ) ( 2 6 ) 式( 2 6 ) 对a ，b 分别求偏导可得： 缸# f - s 6 一a i s 目4 = 。 (27)of 石一4 一九s 。6 一。 卜u 将式( 2 7 ) 中两方程分别左乘口7 和6 7 ，并由式( 2 5 ) 可得： 一九一p ( u ，v ) 一a ( 2 8 ) 可以看出，a 恰好是线性组合h ，v 的典型相关系数p ( u ，v ) ，由式( 2 7 ) 与式( 2 8 ) 可以得出： 1 b 一s o s 4 ( 2 9 ) 将其代入式( 2 7 ) 第一式，用s 0 左乘等式两边得： 岱日- 1 ) o w - 1 s 日一矛，扣n0 ( 2 1 0 ) 同理可得： 0 s 。s 未s 。一矛，涉n 0 ( 2 1 1 ) 其中i 为单位矩阵，斤为彳- s g s 。蹄s 。或b - s ；s 。s d s 。的特征根，而a 与b 为对应彳与口的特征向量。并且彳和b 有相同的非零特征根，非零特征根 的数目等于它们的秩k ( k = r a n k ( a ) = r a n k ( b ) ) 。 设爿或口的非零特征根为砰正z 之鬈，其相应的特征向量为a l , a ：，a 。与 7 武汉理工大学硕士学位论文 b l ，6 ：，以。这里的( 口f ，”即为2 2 所描述的x 和y 的第i 对典型向量。 一p s 为 x ，y 的第i 个典型相关系数。置y 的第i 对典型变量为0 ；，吩) - 0 j 肖，髟y ) 。其中 i1 1 , 2 ，一，k 。 在实际中，协方差矩阵s 。，s 。，s y r ，s r z 一般是未知的，我们一般根据样本估 计得到j 。，j 。，j 。，j 。来代替。其中： 如一丢宝 一所，地一所靠一l 窆( y i - m r 地一牌 j 。寺圭c 毛一槐，x y ，一m ，rj ，。；吾睾c y ，一肌，矗一胁，r q 一1 2 我们将从样本数据出发求解x 和y 的典型向量和典型变量的主要计算步骤归 纳如下： ( 1 ) 将z 和y 中心化，这罩为方便起见仍记为x 和y dz 和y 分别为p x n ，q x n 维的样本矩阵，p ，q 代表变量个数，n 代表样本数； ( 2 ) 计算样本数据的协方差矩阵： s 目1 x x 7 ，。三n 一，s “。l x r 7 ，s 口! r x 7 hhnn ( 3 ) 令蜀i s g s 盯s 品s 堵r ：一s 品s s 目- 1 s 。计算r 1 ，r 2 的非零特征根 砰z 雹z = 蠢及相应的特征向量q ，n ：，吼和“，6 2 ，b k ； ( 4 ) 根据典型向量0 。，红) ，得到典型相关系数n = 丑，其中f 一1 2 ，| 。 2 4 假设检验 对于获缛的k 对典型变量，我们要用前m ( m k ) 对典型相关变量 。，u ) 一0 j x ，6 j y ) ，( f 一1 ，2 ，肌) 来代替随机变量五y 进行相关性研究。则这 m 对典型变量自身必须具有显著相关才可，因此需要进行显著性检验。 设置y 均为正态总体，其分布分别服从正态， ，矽与虬 ，矽分布。其典 型相关系数为 ，九，九。则其检验步骤为： 首先检验假设圩。： 一a ：i i 九一0 ，由于是正态分布，它等价于检验 s 一o ，即置y 独立。这个检验相当于说 不显著，从而其余也不显著。在日1 0 武汉理工大学硕士学位论文 之下，其检验公式为： v o - 0 - g ) ( 1 - x d 0 - x d( 2 1 3 ) q o = 一【一1 - 去( p + q + 1 ) 】如z 2 ) ( 2 1 4 ) 其中表示样本点个数，p ，q 分别为两组变量的维数。若q os z ( p 鼋) ，说明日。 成立，否则说明 是显著的。若 显著，再检验假设h 。：a ：一九1 0 ，令 k1 ( 1 一麓一薯) ( 1 一鬈) ( 2 1 5 ) q 。t 一【一2 一妻0 + q + a ) g n e z 2 【( p 一1 ) 国一1 ) 】( 2 1 6 ) 若q i z 【p 一驰一1 ) 】，说明日。成立，否则说明 显著的。 一般的，对于任意所s 七，检验假设h 。：丸一九+ ，一九1 0 ，令 。t0 一蠢x 1 一镌+ 。) ( 1 一鬈)( 2 1 7 ) 统一1 一- 【一m 一导( p + g + 1 ) 伽匕一z 2 一m + 1 一m + 1 ) 】 ( 2 1 8 ) 若q s z 【- - m + 】) 国一m + 1 ) 】，则停止下面的检验。否则说明九显著，检验 将继续下去。 2 5 线性c c a 的非解析算法 在解析算法中我们注意到，算法要求x ，y 的协方差矩阵s 。一三腰7 ， 仃 s 。；z r y 7 必须为可逆矩阵，这在实际中有时很难做到。另外当x ，y 的维数较 以 高时，求逆运算的计算量也比较大，为克服这两个弱点，我们寻求非解析算法来 求解。通常，采用梯度下降的迭代方法来寻求最优解。该方法既可直接计算，也 可以通过神经网络实现，因为二者在本质上是一致的。 从神经网络结构的角度，两组随即变量置y 的样本数据x ，匕。相当于输入 ( 假设数据已经中心化，其中行表示变量个数，列表示样本数) ，而其线性组合 h ；a t x ，v - b 7 y 则是相应的输出，其中4 一( q ，口2 ，n p ) 7 ，b t ，6 2 ，b 。) 为 其权重。求解第一对典型相关问题就是调节合适的权重a ，b 使p ，v ) 最大，即 9 武汉理工大学硕士学位论文 使p 。，v ) 。了矛夏a i r x i y 矿r b 荔面最大。其网络结构见图2 1 。 输出 输入x y 麟 图2 1 典型相关分析的网络结构图 ， 在约束条件4 7 船? 7 a - b 7 y y 7 b t l 的条件下，问题转化为有约束条件的优化 问题： m a x ( 口7 麒7 b ) j t a t x x 7 a 一6 7 y y 7 b = 1 r 2 1 9 ) 我们运用拉格朗日数乘法将这一约束优化问题转化为如下无约束优化问题： ( 其中 ，屯为拉格朗日乘子) ，。，6 ， ，九) m n t x y 7 6 一丢 。7 x x r a - 1 ) 一a z ( b 7 】，y 7 6 一，) ( 2 一z o ) 通过 笪o a = x o 机 如) 著一一i 1 。7 肠k dd z 盖= y 偿r 口一九y 锄羔丢p 7 y y 7 6 一，) 可得梯度方向下的学习规则为 复等鸶a 眠b - r l l y ( x 即r a - 机a 2 y d r b p 2 ， a i 叩2 ( 口。眉。口一，)a 2 一，7 2 ( 62 y y 7 6 一，) 、7 当求多个典型相关系数时，推导方法类似。下面给出其学习规则 a a 一仉x o 7 b 一 z 7 a ) 蔫叩2 ( 口7 五x 7 4 一，) a b r l i y ( x 7 一a 2 y 7 b ) 九一，7 2 ( 6 7 y y 7 b 一，) 其中a 为p r 矩阵，b 为q x r 矩阵。，m i n ( p ，g ) ，口，b 的第i 列表示第i 对典型向 1 0 武汉理工大学硕士学位论文 量，j 表示单位向量。 2 6 算法比较 前面我们介绍了3 种线性典型相关算法：解析算法、迭代算法和神经网络算 法。其中后面两种在本质上一样的。实验中我们选用两组数据。数据一，共2 5 个样本，其中第一组变量为2 维变量，分别表示某个家庭中长子的头宽和头长， 第二组变量也为2 维变量，分别表示对应家庭中次子的头宽和头长。数据二，样 本数为9 个，两组变量均为2 维，第一组变量表示某些植物的冬季分桑和株高， 第二组数据表示每穗的粒数和千粒重量。表格2 1 是我们用解析算法和迭代算法 求解两组变量典型相关性的结果。图2 2 与图2 3 描述了原始数据和对应的第一 对典型变量的空间分布情况。其中图中数据一和数据二中的与+ 分别表 示两组变量对应的样本。从结果可以看出，两组数据的第一对典型变量0 1 ，”1 ) 有较高的相关关系。 表2 1 两种算法的c c a 比较 p l 第一对典型变量 数据一( 解析算法)0 7 9 6 5 a 1 = ( o 0 5 7 8 ，0 0 7 6 9 ) ，b l ( _ o 0 5 1 2 , - 0 0 8 2 0 ) 数据一( 迭代算法)o 7 9 6 3 a 1 = ( o 0 5 6 1 ，0 0 7 3 9 ) ，b l 一( - 0 0 5 1 3 , - 0 0 8 2 1 ) 数据二( 解析算法)0 9 4 1 6 a 1 = ( o 6 5 3 4 , 一0 0 0 0 6 ) ，岛一( o 2 3 8 1 , - 0 0 9 4 2 ) 数据二( 迭代算法) 0 9 4 1 3 玉i ，( o 6 5 3 3 ，一0 0 0 0 7 ) ，b l = ( 0 1 9 2 1 , 一0 0 7 8 9 ) 从试验中我们可以得到如下结论： 典型相关分析确实为两组变量的相关性的研究和进一步的预测分析提供 了有用的信息。 就算法而言，两种算法的结果是基本一致。解析算法要求各变量的自协 方差矩阵可逆，迭代算法避免了协方差可逆的要求，同时可以避免求逆 带来的计算复杂度，比较适用于工程应用。但迭代算法容易陷入局部最 优，另外参数的选择也是一个问题，容易产生过适应问题。一般而言， 要求玑，r 效果比较好。 武汉理工大学硕士学位论文 2 7 小结 解析算法迭代算法 一及其第一对典型变量的散点分布 原始数据解析算法迭代算法 图2 3 数据二及其第一队典哩变量的散点分布 本章主要介绍了典型相关的基本概念和算法。通过理论推导和实验分析，对 解析算法和迭代算法的特点进行了总结。解析算法具有解的准确性，但要求样本 的协方差矩阵可逆以及求逆运算，使碍求解过程计算比较复杂。迭代算法可以避 免求逆问题，但容易陷入局部最优。我们下一步需要考虑的问题是如何改进迭代 算法，解决局部最优问题。 武汉理工大学硕士学位论文 第3 章非线性c c a 算法 3 1 非线性c c a 的概念 线性典型相关分析实际上揭示了两组变量间潜在的线性关系。但实际生活 中，变量之间的关系往往潜在着非线性关系。为此，有必要研究非线性典型相关 的算法，揭示变量间潜在的非线性关系。 这一章主要介绍非线性典型相关算法，一种是神经网路算法【1 1 d 2 1 ，另一种是 基于核函数理论的算法【1 孓”l 。核函数理论是最近才兴起的一种方法，它利用核技 巧，通过一个非线性映射，将原始空间的样本映射到特征空间，然后在特征空问 利用线性算法，隐含的实现了原始空间的非线性问题的求解。 3 2 非线性c c a 算法 考虑到典型相关的研究对象是两组变量，为此，我们设计两个多层感知器来 实现非线性典型相关的计算，因为多层感知器可以产生非线性回归。图3 1 是为 实现非线性典型相关的两个神经网络结构图。其中x 和y 表示输入，u 和v 是对 应的输出。h 。与h 7 表示对应的隐层神经元。由输入到隐层神经元的连接函数为： 腰j 器x 硝y + + a 留 ， l 碟一，1 7 ) 。) ” 我们这罩连接函数 选用双曲j 下切函数。朋和表示权重矩阵，口。和口7 是相 应的偏差向量。m 和n 表示第历个和第胛个隐层神经元的节点。与此类似，隐 层到输出层的连接函数为： l u v 。= f 厶2 ( ( w w ：x h x + + 6 b ，) x x y ) ( 3 2 )i v 一，2 ( w 2+ 6 ) 。 其中w 1 与耽是相应的权重向量，b 。和b 7 是相应的偏差。这里我们选取 厶o ) ；x 。我们的目标是调节权重系数，w 2 ，w i ，w 2 ，口。，a r , b 。，b 7 ，使得相关系 数p 0 ，y ) 最大 武汉理工大学硕士学位论文 x l ， 图3 1 非线性典型相关的网络结构图 3 3 基于核函数理论的非线性c c a 算法 核典型相关分析1 1 6 - 1 s 1 ( k e r n e lc a n o n i c a lc o r r e l a t i o na n a l y s i s ，k c c a ) , 就是借助 核理论，首先通过一个变换将样本投影到一个高维特征空间，然后在特征空间里 进行典型相关分析，间接实现原始空间的非典型相关分析。和其他核方法( 1 9 剀 不同的是，k c c a 存在两个变换，分别作用于两组变量。下面我们把k c c a 的 推导描述一下。 设石，一“，工：，) ，k 。= ( _ ) ，y ：，y 。) 分别表示两组变量的样本矩阵。 其中行表示变量个数，列表示样本个数。以表示作用于x 上的变换。即 奴( x ) = ( 舷( x 。) ，奴僻。”。同样的，丸表示作用于l ，上的变换。即 办( 玢；( 靠) ，办以) ) 。在变换后的特征空问磊，露中，我们进行典型相关分 析。 同典型相关分析，我们希望找到两个投影向量h 目和m 耳，使得 “；以奴( x ) 与v 。w 丸( y ) 相关系数p 最大。同2 5 节所述，该问题可以转化为 一个优化问题： l ( w x ，w y ，0 ，) ；e 【 一e ) ) 一一e p ”卜冬e 【o e ) ：) 卜等e 【o e p ) ：】+ 岛 ( 3 3 ) 其中一等1 w 。1 1 2 + 0 竹n ，帮是一个常数因子。之所以添加0 ，是因为特征空间 1 4 武汉理工大学硕士学位论文 维数很高，没有厶约束，式( 3 3 ) 可能产生没有意义的典型变量。 【1 6 a s 。由再生核理论【2 蚴l 可得： 岈蓍口一以( 置)竹。善屈九嘎) i l j u 一嵋奴伍) 可表达为： “著口，奴“) 7 九伍) 同理 v 2 善尼如o ，) 7 办 同其他核方法一样，我们定义一个核函数代替内积的计算。令 k x ( x i ，x p * 争x 呸i 丫母x qi 、 ，巧) 九化) 7 西嘶) 然后定义核矩阵： ( 巧) f = k ( x i ，x ，) ( 巧) f - k v ，巧) 此时公式( 3 - 3 ) 可重新表达为： l 甜m a 一鼍以a 一笔6 1 n 8 其中： m 。1 k ；j k , l 。羔k ；j k x + 眯x 。1 k ；j k v + 怔， ，。i 一1 1 7 1 一( 1 1 ，固7 由上述公式，我们可以得到式( 3 9 ) 其实是下式的特征值问题： m 8 ；a l a m t 仪一冰8 其中a 一以一。 证明参见文献 ( 3 - 4 ) ( 3 - 5 ) ( 3 7 ) ( 3 8 ) ( 3 9 ) o - a o ) r 3 1 1 ) ( 3 1 2 ) ( 3 1 3 ) ( 3 - 1 4 ) o 一1 5 ) 武汉理工大学硕士学位论文 下面我们把具体的k c c a 的实现步骤归纳如下： ( 1 ) 由公式( 3 8 ) 计算核矩阵k ，j 勺； ( 2 ) 由公式( 3 1 0 ) - - ( 3 1 4 ) 计算肘，三； ( 3 ) 根据公式( 3 1 5 ) 得到下式，进而得到口，j 8 l - 1 m n 一1 m7 口a 2 8 n 4 m 1 l - t m 】b = 凳8 ( 4 ) 根据公式( 3 5 ) 、( 3 柳得到经典变量： 口；艺a i k 一( x j ，x ) 一 。v z 尼b ，功 进而求得相关系数p ( u ，v ) 3 4 线性c c a 与k c c a 的比较试验 ( 3 1 6 ) ( 3 1 7 ) x - ( 兰 一( ；! 二：；y 一( i ； 兰：羞二： c s 一- 8 ， 图3 2 原始数据散点图 1 6 伤 ， 弘 。 蛄 0 2 武汉理工大学硕士学位论文 实际上，这两组变量具有潜在的非线性关系，这个可以由式子o 一1 9 ) 得到： x = 一o 3 0 3 0 ，5 2 1 1 0 3 1 o 1 0 3 y ( 3 1 9 ) 显然，c c a 对于这种高度非线性相关关系是无为能力的，而k c c a 却可以较好 的反应它们潜在的非线性关系。图3 3 是两种方法得到的第一对典型变量的散点 分布。其中k c c a 算法我们选用的核函数为高斯核。相应的参数为： r 。0 4 , o r - 0 2 , r 一0 1 ，得到的第一个典型相关系数为：p 一0 9 7 5 6 。而c c a 的第一个典型相关系数为：p 一0 0 9 0 2 。说明k c c a 可以揭示变量间潜在的非线 性关系，这和图3 3 曲线的趋势是一致的。 3 5 小结 ( a ) k c c a 算法 ( b ) c c a 算法 图3 3 第一对典型向量的散点图 本章首先给出非线性典型相关的两种算法，然后重点对k c c a 进行了分析。 k c c a 在思想上同其他核方法类似，通过一个非线性变化，利用核技巧，在变换 空间( 即特征空间) 进行线性典型相关计算，解决原始空间的非线性问题。和其他 核方法( 比如s v m ，k p c a 等) 相比，它需要引进两个变换分别作用于两组待分析 的变量。试验结果显示，k c c a 可以挖掘两组变量间潜在的非线性关系。就计算 复杂度而言，计算复杂度和训练样本的数目有关，而和样本维数和非线性变换的 空闯维数无关。因此当训练样本数目较多的时候，需要采用一定的方法，进行特 征提取，达到降低复杂度的问题。 1 7 武汉理工大学硕士学位论文 第4 章典型相关判别分析 4 1 基于c c a 的判别分析 卜y 肛舻桶p 。 6 辘6 1 0 一 其中s x , s ，s 。，s ，表示相应变量的协方差矩阵。在实际中，它们一般是未 知的，我们一般根据样本来估计，用支，岛，雪。，雪。来代替。即 岛一丢砉( 置一用x ) 皑；一m z ) 7o i 1 善n 一肼r ) ( 鬈一脚r ) 7 童。一i 1 荟n ( 置一朋z ) 一所r ) 7 雪w - 砉羹 一用z x x r 一所r ) 7 件3 ) 在典型相关判别分析中，我们做如下设定：设样本数据为x 一( x o ，x l ，石。) ， 其中x 为p ，l 阶矩阵，p 表示样本维数，n 表示样本数目。z ；为p 弹；阶，i 表 示该样本来自第i 类，n f 表示该类的样本数。i 一毗，g ，n o + n l + + n 。一理。 首先我们根据样本数据，构造一个标示类别的l x n 矩阵y 。对应规则为：如 果x 的第k 列属于第f 类，则y 的第k 列k f k l 2 , ，栉，i - o , l ，g ；对五 y 进行中心化处理并仍记为x ，y 然后我们求解石和y 的典型相关分析问题就 1 8 武汉理工大学硕士学位论文 转化为典型相关判别分析。这里我们仅就两类问题做一个推导。此时，由上面的 描述可知，b 是一个标量，而s 也是一个实数，所以由公式( 禾1 ) ，( 4 2 ) n - i 得： 去肛等等舻秘。 0 s y s y 九。1 、1 jj 其中s r 。n l n ，2 。在判别问题中，因为变量y 是一维的，所以此时b 没有实际意 义，我们只是感兴趣于a ，i 已w = s x l s 。( 忽略了a 的常数) ，我们称其为投影方 向，然后计算样本集x 一( x 。，x ，) 在，一s s 。上的投影d 仁) = w r x ，即把原 样本映射为一维样本，然后我们依据一定的原则，确定一个阈值，进而可以 进行判决。算法的具体步骤如下： 设训练样本集为x o ? ，x ：0 ，善。0 ，i ，z ：i ，x 。1 ：) 。其中工的上标表示类别标 签，下标表示样本数目，其中0 类有个样本，1 类的有行：个样本，n 。+ 竹：一九。 ( 1 ) 构造一个标示类别的l x n 矩阵y o 对应规则为：如果彳的第k 列属于第 f 类。贝0y 的第k 歹0 k f ，k 一1 ，2 ，雄，i 一0 , 1 ； ( 2 ) 依据公式( 4 3 ) 、( 4 4 ) ，计算投影向量w s ? s 。； ( 3 ) 依据训练样本的投影，确定一个合适的阐值，这里我们选取所有样 本的投影中心，即w o ；三罗7 t ) ； h 一 ( 4 ) 对于待测样本工，代入判别函数f ( x ) ：s g n ( w 7 x w o ) ，然后依据函数值 得出我们的判决结果。 4 。2 基于k c c a 的非线性判别分析 线性典型相关判别作为一种线性判别方法，和其他线性判别方法一样，当分 类数据非线性可分时，它的分类效果是不理想的。因此，我们基于核理论的思想， 将典型相关的线性判别演变为非线性判别，其识别能力大大提高。下面简单的描 述一下它的推导过程。 和其他核方法一样，基于核理论的非线性典型相关判别分析首先通过一个非 线性映射矿僻“一f ) 将掣中的样本映射到一个特征空间f ：0 ) ，然后在， 1 9 武汉理工大学硕士学位论文 中执行线性判别分析。我们把这种方法称之为核典型相关分析。它和前面讲到的 k c c a 不同的是：k c c a 将两组待研究的变量分别映射到不同的特征空间。对于 判别分析，将类标变量映射到特征空间是没有意义的，因此我们将采用一种不同 于k c c a 的方法来推导。 对于4 1 中。孝莩 7 置) 和，i s ；l s ”可知，( m ) 满足下面的方程组： , ，z 】_ i x 。y 其中彳一钟，工：o ，x o ，爿，工：，z ：) 7 ，x 。；( 鱼，一1 1 2 ，一2 ，生，生，生) r ， 。 ，l雄万厅埠丹 h - 山7 。4 9 。 4 定义矩阵矿( z ) 一( 矿o ? ) ，妒 ：) ，庐( 爿) ，妒( 砖) ) 7 ，则在特征空问f 中，公 式( 4 5 ) 可变为： 匦则腓p 卜舭) y 其中w e f 定义变量 芗o ) 。b o ) r 】r 谛， - w r 】r ( 4 7 ) 把石映入的空间相应记为f ，并记 歹( x ) 一( 歹钟) ，- ，石雠) ，歹纠) ，歹融：矿= k 僻) 】( 4 - 8 ) 此时方程( 4 5 ) 可重新写为： 歹( x ) 7 石( x ) 形一芗( x ) 7 y ( 4 - 9 ) 根据再生核理论，任意形f 都可以表示成户中训练样本的线性组合，即存在 口一似l ，口2 ，口。) ，满足 形= q 地) 一石僻) 7 a ( 4 - 1 0 ) 将( 4 1 0 ) 代入( 4