（控制理论与控制工程专业论文）基于子空间分析和支持向量机的人耳识别研究.pdf

ab s tr a c t abstract e a r r e c o g n i t i o n t e c h n i q u e i s t h e n e w m e t h o d a b o u t i n d i v i d u a l i d e n t i fi c a t i o n , b y m e a n s o f t h e l i v i n g c r e a t u r e c h a r a c t e r i s t i c o f h u m a n e a r . b u t t h e r e s e a r c h e s o n e a r r e c o g n it i o n a r e a l l f e w i n d o m e s t i c a n d f o r e i gn c o u n t r y a t p r e s e n t a n d i t i s s t i l l a t t h e s t a rt. t h e p r o b l e m s o f c a r l o c a l i z a t i o n , f e a t u r e e x t r a c t i o n a n d c l a s s i f i c a t i o n a r e d i s c u s s e d i n t h i s p a p e r . t h e w o r k s t h a t i h a v e d o n e a r e a s f o l l o w : 1 . e a r l o c a l i z a t i o n : t h e s p e c i a l i t y o f t h e e a r i m a g e i s t h a t t h e r e a r e n o t m a n y p o s e v a r i e t i e s , a n d t h e b a c k g r o u n d i s n o t c o m p l i c a t e d , s o w e p u t f o r w a r d a e a r l o c a l i z a t i o n m e t h o d b a s e d o n g r a y - l e v e l i n t e g r a t i o n p r o j e c t i o n a n d t r a n s c e n d e n t k n o w l e d g e o f h u m a n e a r . f i r s t l y , w e c a n g e t e a r s l e ft a n d r i g h t b o u n d a r i e s a n d it s u p p e r b o u n d a ry b a s e d o n t h i s p r o j e c t i o n t h e o r y . t h e n a n e a r r e c t a n g l e o u t l i n e c a n b e a c c u r a t e l y g o tt e n 妙m e a n s o f c a n n y o p e r a t o r t o e x t r a c t e a r e d g e . f i n a l l y , t h r o u g h a s e r i e s o f s t a n d a r d i z a t i o n , t h e w h o l e e a r p i c t u r e c a n b e g i v e n . 2 . f e a t u r e e x t r a c t i o n : b e c a u s e t h e s u b s p a c e a n a l y s i s m e t h o d c a n r e fl e c t t h e c h a r a c t e r o f a l g e b r a e ff e c t i v e l y , t h e e a r f e a t u r e c a n b e e x t r a c t e d b a s e d o n l i n e a r s u b - s p a c e a n a l y s i s a n d o n - l i n e a r s u b - s p a c e a n a ly s i s . t h i s m e t h o d i s p r o v e d t o b e e ff e c t i v e n e s s b y t h e f u r t h e r e x p e r i m e n t s . o n t h e o n e h a n d , t h e m e t h o d s b a s e d o n l i n e a r s u b - s p a c e a n a l y s i s a r e a p p l i e d a t f i r s t .p r i n c i p a l c o m p o n e n t a n a l y s i s a n d f i s h e r l i n e a r d i s c r i m i n a t e a n a l y s i s a r e d i s c u s s e d i n d e t a i l a n d a n e w a l g e b r a i c f e a t u r e b a s e d o n u s in g s i n g u l a r v a l u e d e c o m p o s i t i o n a n d p r o j e c t i v e m e t h o d i s p u t f o r w a r d . a n a p p r o a c h i s a l s o p r o p o s e d t o o p t i m i z e t h e r e c o gni t i o n p e r f o r m a n c e w it h l e a s t i c ( i n d e p e n d e n t c o m p o n e n t ) f e a t u r e s 妙 u s i n g g e n e t ic a lg o r i th m . b o t h m e t h o d s b as e d o n n o n - n e g a t i v e m a t r i x f a c t o r i z a t i o n a r e p r o p o s e d a t l as t . o n t h e o t h e r h a n d , t h e k e r n e l m o t h o d i s a p p l i e d i n t o e a r f e a t u r e e x t r a c t i o n , a n d k p c a ( k e rn e l p r i n c i p a l c o m p o n e n t a n a l y s i s ) a n d k i c a ( k e rn e l i n d e p e n d e n t c o m p o n e n t a n a l y s i s )a r e d i s c u s s e d i n d e t a i l . t h e e x p e r i m e n t a l r e s u lt s o n t h e n c u e a r d a t a b s e p r o v e t h a t c o m p a r e d w i t h t h e l i n e a r s u b - s p a c e m e t h o d , t h e k p c a f e a t ur e a n d k i c a f e a t u r e c o n t a i n s m o r e u s e f u l i n f o r m a t i o n i n a s m a l l e r d i m e n s i o n a l i t y , m o r e r o b u s t a n d m o r e i i i ab s t r a c t e ff e c t i v e 3 . c l ass i fi c a t i o n m a c h i n e d e s i g n : t o r e s e a r c h e a r r e c o g n i t i o n a r i t h m e t i c i s m a i n l y t o d e s i g n a c l as s i f i c a t i o n m a c h i n e . s u p p o r t v e c t o r ma c h i n e ( s v m) i s u s e d i n t h i s p a r t , a n d w e a d o p t m u i t i - s v m a r i t h m e t i c ,w h i c h i n c l u d e o n e v e r s u s r e s t a r i t h m e t i c ,o n e v e r s u s o n e a r it h m e t i c , a n d d i r e c t a c y c l i c g r a p h a r i t h m e t i c .e x p e r i m e n t s s h o w t h e a r i t h m e t i c i s e x a c t a n d e f f i c i e n t . i n a d d i t i o n , w e r e s e a r c h mo r e a b o u t p a r a me t e r o f s v m. k e y w o r d s : f e a t u r e e x t r a c t i o n , e a r r e c o g n it i o n , k e rn e l m e t h o d , s v m t v 学位论文独创性说明 学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已 经发表或 撰写 过的 研究成果， 也 不 包含为获 得 南昌大学 或 其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名: 签 字 日 期 : 7,0 7 年 a 功 学位论文版权使用授权书 本学 位论文作 者 完全了 解南昌大学 有关保留、 使 用学 位论文的 规定， 有权保留并向国家有关部门 或机构送交论文的复印件和磁盘，允许论文被查阅 和借阅。 本人 授权南昌大学可以 将学位论文的 全部或部分内 容编入有关数 据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名:导师签名: 签 字 日 期 : zo 07 年 若 月 2/ 日 签字日期: f rdt 呵年 月 2? 日 学位论文作者毕业后去向: 工作单位: 通讯地址: 电话: 邮编: 第 i 章 绪论 第 1 章 绪论 1 . 1研究的背景及意义 随着社会的发展，各个方面对快速有效的自 动身份验证的要求日益迫切。 由于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，不易伪 造或被盗，随身 “ 携带” ，随时随地可用，因此是身份验证的理想依据。目 前人 们研究和使用的生物特征识别技术主要有人脸识别、虹膜识别、手形识别、指 纹识别、掌纹识别、签名识别、声音识别、人耳识别等。其中，利用人耳特征 进行身份验证是一种新兴的生物特征识别技术，尚处于起步阶段，国内外对人 耳识别的 研究都很少，还没有被广大科研工作者所认同和接受。 美国 科学家比较了1 0 0 0 0 幅人耳图 像，得出了不同个体人耳的外耳、耳垂各 不相同的结论，其中，还包括孪生的情况。医学研究的结果表明:人耳在出生4 个月之后，随着身体发育按比例生长，整体结构比率基本保持不变，每个人耳 朵的结 构 特征是 独一 无二、 终生不变的 f 0 。 因 而， 人耳作为一 种 特有的 生 物 特征 体，与人脸、虹膜、 指纹一样具有惟一性和稳定性，可用来进行个体生物识别。 人耳相比于其它人体生物特征，具有图像面积小，色度相对稳定、直接、友好、 方便，不会受化妆、表情等影响的特点。人耳识别易于被用户接受，可广泛应 用于医学、档案管理、身份验证、罪犯追踪、视频会议、通道控制乃至出纳机 ( a t m ) 等多个方面，具有极大的市场前景。人耳识别研究涉及图像处理、模式识 别、计算机视觉和神经网络等学科，也和人脑的认识程度紧密相关。因此对人 耳识别的深入研究能够推动这些基础研究的发展，具有重要的学术价值与应用 价值。 1 . 2 人耳识别技术综述 1 . 2 . 1人耳自动识别系统 一套人耳自 动识别系统通常包括两个逻辑模块:注册模块和识别模块。注 册模块负责确定分类判决规则，识别模块负责模式分类。在注册模块中，首先 第 1 章 绪论 通过影像采集设备采集注册用户的人耳图像并加以标识，然后从获取的人耳图 像中提取出用户的特征模式，存储在目 标特征数据库中。在识别模块中，首先 采集待识别用户的人耳图像，提取其特征模式，然后与事先注册在目 标特征数 据库中的特征模式进行匹配，根据分类判决规则做出分类决策。具体来说，自 动人耳识别系统通常包括人耳图像采集、人耳检测与定位、图像预处理、特征 提取、人耳图像识别五个主要技术环节。人耳识别系统框图如图1 . 1 所示。 图1 . 1人耳自 动识别系统 其中，人耳检测与定位是指从采集到的人耳图像中检测人耳的存在，并进 行定位，提取出人耳.这一任务主要依靠人类对人耳认识的规则性表述，或是 通过人耳样本的统计学习方法来处理，具体可分为以下三类: 基于知识的方法:即利用人耳的特征以 及特征间的简单关系对待测人耳 进行提取并验证，其中肤色特征是十分有效的人耳特征，可用作初检或辅助检 测手段; 模板匹配法:即手工或使用参数可调的函数定义一个标准耳模板，将模 板与输入图像有规律地匹配并计算匹配值，从而确定人耳位置; 基于机器学习的统计分析方法:通过学习大量的 人耳样本， 利用统计分 析和机器学习技术来找到耳和非耳的特征差异; 人耳图像的预处理是指对人耳图像进行几何归一化和灰度归一化处理，以 校正人耳在尺度、光照和旋转等方面的变化.其中，几何归一化是指根据人耳 定位结果将图像中的人耳校正到同一位置和大小;灰度归一化则是指对图像进 第 1 章 绪论 行光照补偿等处理，以克服光照变化的影响。 特征提取是指从人耳图像中提取出能够表征该人耳图像的有效特征。这些 特征是今后设计分类器的基础，其优劣将直接影响识别效果。因此特征的提取 是一项非常关键的技术，是人耳识别的重要环节之一。目 前人耳识别提取的特 征主要分两类:一类是基于几何特征的方法， 这类方法通过寻找人耳轮廓和内 部结构上的关键点，形成几何特征，进行识别;一类是基于代数特征的方法， 如主元分析法等. 模式识别是指根据所提取的人耳图像特征，选择适当的判决策略将待识别 的人耳特征模式与数据库中的己知人耳的特征模式进行比较，确定是否为己知 的人耳。这一环节的核心就是分类器的设计，也就是训练一个分类函数或构造 出 一个分 类模型， 以 确定 待测样本所属类型。 常 用分类器有 k 最 近邻分 类器、 b a y e s 分 类器、 神经网 络、 支持向 量 机( s v m ) 等。 1 . 2 . 2人耳识别研究现状 目 前国内 外已 有的 基于 二维图 像的 人耳 特征提取方法主 要有: ( 1 ) a l fr e d l a n n a r e l l i 提出的“ 米” 字型坐 标系统 2 1 ，由 1 2 个测量段长度构成特征向 量 进行识 别。 这种方法以人耳解剖学点作为测量系统的基础，所有的测量都取决于原点 的精确定 位， 所以 不 适用于计算机视觉处理; ( 2 ) m o 等提取外耳轮廓特征点 及 人 耳 形 状 和 褶 皱 信 息 构 成 特 征向 量 进 行 识 别 p l 4 1 ; ( 3 ) b u r g e 和 b u r g e r 提出 的 方 法是首先进行人耳定位以 及边缘提取，然后建立边缘曲线的、 o r o n o i 图，最后使 用 邻 接 图 描 述曲 线 之 间 的 邻 接 关 系 ， 从 而 构 造 特征向 量 进 行 识 别 5 1(6 1 ; ( 4 ) h u r l e y , n i x o n 和c a r te r 将图 像看作由 高斯吸引子组成的阵列， 利用力场转换( f o r c e f i e l d t r a n s f o r m a t io n ) 方法 提 取 人 耳图 像的 势能 通 道和 势能阱， 并以 势能阱的 位置 作为 人 耳 特 征 7 8 1 ; ( 5 ) 王 忠 礼 等 采 用 高 阶 不 变 矩 方 法 对 人 耳图 像 进 行 信 息 变 换 和 特征 提 取 9 1 ; ( 6 ) m u 等 提 出 的 l a b s s f e 方 法 在 提 取 外 耳 轮 廓 和内 耳 边 缘的 基 础 上， 寻 找基于 外耳轮廓的 形状 特征和基于长轴短轴线段比 例的结构 特征 1 0 ， 但这种方 法适用于正面人耳图像，而难于扩展到人耳角度变化的情况中，且受光照的影 响 较大; ( 7 ) c h a n g 等 提出 使 用经 典的 特征 脸方 法， 利用 主 元 分析 ( p c a ) 对 人 脸和 人耳图像进行特征提取，在包含有人脸和人耳图像的h u m a n ld图像库上进行实 验，得到结论为人脸识别率和人耳识别率没有较大差别，前者为7 0 . 1 5 %，后者 第 1 章 绪论 为 7 1 . 1 6 % 1 11 ; ( 8 ) ma n g 等 采 用 p i d c ( p r o b a b i lit y i n f o n n a t io n d i s t a n c e c r it e r io n ) 方法以 类间 概率信息 距离为 监督提取人耳特征 1 2 1 ， 但这 种方法在本质上依赖于 图 像灰度在空间分布上的 相关性， 受光照及噪声的影响 较大; ( 9 ) ma n g 等提出 多特征信息融合的人耳识别方法 1 3 1 ，该方法应用矩方法和非负矩阵分解分别提 取出具有旋转不变性的人耳几何特征和人耳子空间投影系数特征，将这两种特 征串 行 融 合后 作 为 人 耳 特征; ( 1 0 ) 文献 1 4 1 中 使 用了 一 种 基 于 傅立叶 系 数的 外耳 边 缘的 方法， 这种方法的实 验准确率在8 0 % 左右: ( 1 1 ) 张海军等采用独立元分析 ( i c a ) 的 方 法 提取 人耳 特征 1s ， 取得了 较高 的 实 验 识 别 率: ( 1 2 ) 刘 颖 等 则尝 试 采用一 种基于 核函 数的f i s h e r 判别分析 算 法对人 耳进行 识别 1 6 1 ， 其 最高 识别 率 达到了9 8 .7 0 1 %0 在分类器设计方面，目 前人耳识别主要采用的方法有基于神经网 络的方法、 基于支持向量机的方法和基于多分类器的方法等。 1 . 2 . 3基于子空间分析的人耳特征提取方法概述 随着主元分析 ( p c a) 的子空间思想在人脸识别中的成功应用， 近年来， 基 于统计分析的子空间方法己经引起人们的广泛关注，成为当前人脸识别方法的 主流算法之一 1 7 1 。 人耳识别与人脸识别有着很多相似之处，子空间分析的 方法 同样适用于人耳图像的特征提取。 通常采集到的人耳图像空间维数都很高， 例如一幅1 1 2 x 9 2 像素的人耳图像， 其空间维数就达到1 0 3 0 4 。如果把一幅人耳图像看成是在这样高维空间中的一 点，那么表示人耳图像的点的分布可能是很不紧凑的，因而不利于分类，并且 计算复杂度也很大。子空间分析的方法就是根据一定的性能指标来寻求一种线 性或非线性的空间变换，把原始高维信号数据压缩到一个低维的子空间中，使 数据在该子空间中的分布更加紧凑，为数据的描述提供了更好的手段，以便于 分类和降低计算的复杂度。目 前己 得到成功应用的子空间分析方法有线性子空 间方法和非线性子空间方法两类，其中线性子空间方法有:主元分析 ( p c a )、 线性判决分析 ( l d a ) 、 独立元分析( i c a ) 奇异值分 解( s v 功 非负矩阵因 子 ( n m f ) 等; 非 线 性 子空 间 分 析 方 法 有: 核主 元 分 析 ( k p c a ) 和核 f i s h e r 判决 分 析( k f d a ) 等。本文即深入研究上述几种子空间分析方法在人耳特征提取中的应用，并针 对独立元分析、奇异值分解以及一维非负矩阵分解在特征提取中存在的不足， 第 1 章 绪论 提出了相应的改进方法。 1 . 2 . 4支持向量机 ( s v y )技术概述 传统的统计模式识别方法都是在样本数目 足够多的前提下进行研究，所提 出的各种方法只有在样本数趋于无穷大时其性能才有理论上的保证。人耳识别 中的训练样本数目 通常是有限的，因此很多传统方法在人耳识别中难以 取得理 想的 效 果。 v a p n i k 提 出 统 计 学 习 理 论 是 一 种 专 门 的 小 样 本 统 计 理 论 (1 8 111 9 1 ， 它 被 认为是目 前针对小样本统计估计和预测学习的最佳理论。它从理论上较系统地 研究了经验风险最小化原则成立的条件、有限样本下实际风险与期望风险的关 系以 及如何利用这些理论找到新的学习原则和方法的问 题，为研究有限样本情 况下的统计模式识别和更广泛的机器学习问题建立了一个较好的理论框架，同 时 发展了 一种新的 模 式 识别方 法 支持向 量机 ( s u p p o rt v e c t o r m a c h i n e s )。 作为一 种新的 模式 分类方法， s v m 1z 0 1 在人耳识别中 的 应 用前景得到 人们极 大的关注。 支持向量机在形式上类似于神经网络， 因此， 又称为支持向量网络。 但它又不同于神经网络，二者最大的不同在于，为了使期望风险最小，神经网 络采用的是经验风险最小化原则，而s v m则采用结构风险最小化原则。因此， 支持向量机能够克服过学习与欠学习间的矛盾，具有比神经网络更好的泛化能 力。 在实现时， 为了保证结构风险最小化，s v m中的最优分类面不仅要无错误 地将两类分开， 而且要求使两类的分类间隙最大， 这样不仅使得训练样本的 错 分率最小，而且也能够使测试样本的错分率最小。尽管s v m是一种线性分类 器， 但对于非线性可分的模式空间， s v m可以 通过引入适当的核函数将原始样 本空间映射到一个高维空间，使样本在此高维特征空间中 线性可分，从而在高 维特征空间中求取最优线性分类面，使得支持向 量机具有良 好的分类能力。 1 . 3本文的研究内容及安排 本文的内容分六章展开: 第 1 章简要介绍人耳识别技术的应用前景及其意义，对目 前的人耳识别技 术进行综述，简要介绍本文的研究工作。 第2章研究人耳图像的预处理过程。首先简要介绍人耳图像的灰度化处理 第 i 章 绪论 方法和图像增强方法，然后提出一种基于灰度差投影的人耳定位方法对人耳图 像进行分割，最后提出人耳图像的归一化处理方法。 第 3 章研究基于线性子空间分析的人耳特征提取方法.首先应用主成分分 析方法、 f i s h e r 线性判别分析方法两种方法提取人耳图 像特征，简要介绍其基 本原理及和人耳特征提取的具体步骤，然后提出一种新颖的基于奇异值分解的 人耳特征提取方法，并通过仿真实验进行验证。针对独立元分析方法存在的不 足提出一种基于遗传算法的最优独立基选择算法，提出基于非负矩阵分解的人 耳特征提取方法，并在自 建人耳库中对上述五种特征提取方法进行实验对比 研 究，对实验结果进行深入分析和讨论。 第4 章研究基于非线性子空间分析的人耳特征提取方法。首先简单介绍核 方法的背景及基本原理， 然后分别应用核主成分分析方法和和独立元分析方法 提取人耳图像特征，最后对仿真实验结果进行分析和讨论。 第5 章研究支持向量机在人耳识别中应用。首先较为详细地介绍统计学习 理论，对支持向量机在线性和非线性条件下的构造原理、训练过程及算法实现 进行阐述。继而研究支持向量机的多值分类问题，并在自 建人耳库中进行实验 研究，最后对影响支持向量机分类性能的因素进行了系统研究。 第6 章是对全文工作的总结，并阐述了下一步的研究工作。 第3 章 基于线性子空间的人耳特征提取 第3 章 基于线性子空间的人耳特征提取 3 . 1 引言 寻找人耳的本质特征是解决人耳识别问 题的关键。 本章从二维人耳图像特 征 提取的 角 度出 发， 深 入 研究 基 于 线 性 子空间 2 5 1 的 人 耳 特征 提 取 方 法。 通常，可以把经过归一化处理以后的人耳图像按照某种方式表示为一个高 维向量， 此时任一人耳图像对应于高维欧氏空间中的一点。 例如， 一幅 mx n的 二维图像，如果按照列顺序把它展开成一个列向 量x e 9r - -， 此时它就对应于 欧式空间9i n = im p 的一点。为了 表述方便，以 后把人耳图像对应的高维向量统一 称作图像的测量向量，相应的高维空间称为测量空间。尽管测量空间的维数通 常都很高，但由于现实世界的限制，人耳图像的测量向量在测量空间中的分布 一般只占 有一个很小的子空间.因此可以根据一定的性能目 标来寻找某种线性 空间变换，把所有测量向量压缩到一个低维子空间，使测量向 量在子空间中的 分布更加紧凑，此时测量向量在子空间上的投影系数就是对人耳图像的特征表 述。这种通过求取线性空间变换，把高维的测量向量转换为低维的特征数据的 方法就是线性子空间分析方法。以后把这种特征数据构成的空间称为线性特征 空间。 本章首先研究经典的主元分析方法和 f i s h e r线性判别分析方法在人耳特 征提取中的应用，随后提出一种新颖的基于奇异值分解的人耳特征提取方法， 接着对基于独立元分析和非负矩阵分解的人耳特征提取方法进行深入研究，提 出一种基于遗传算法的最优独立基选择算法和基于二维非负矩阵分解的人耳特 征提取方法， 最后在自 建人耳库和c p 人耳库中对几种基于线性子空间分析的特 征提取方法进行了实验对比研究，对实验结果进行了深入分析和讨论。 3 . 2基于线性子空间分析方法的人耳特征提取 3 . 2 . 1 主成分分析 ( p c a )方法 第3 章 基于线性子空间的人耳特征提取 基于主元分析的 特征提取是模式识别中一种常用的 特征提取方法 z b j a p c a 通过求解训练样本散布矩阵的特征值问题，给出一组数量小于样本空间维数的 正交基，利用这组基的线性组合可以最充分地表征样本， 而样本在子空间中的 投影向量就是所提取的特征。也就是说， p c a在确保数据信息丢失最少的原则 下，能够用较少数量的特征参数对样本进行描述，实现对高维特征数据的降维 处理。 3 . 2 . 1 . 1基本原理 假设训练样本集有i 个人，共m幅人耳图像，图 像均己归一化 每一幅图 像的分辨率为w x h 。把每一幅图像按列顺序排列成r x l 维的向量 ( r = w x h ) , 可以 得 到m个; x 1 维 的 向 量戏 ， 几 ， ， 儿。 以 训 练 样 本 集 的 类间 散 布 矩阵凡 作 为k - l 变 换 的 产 生 矩 阵 n 1 ， 得: 凡= 艺尸 ( w , ) ( 戏 一 刀 x 戏 一 v = b p b t ( 3 . 1 ) a u , = 凡 u ,( 3 . 2 ) 其中，刀 为训练样本集的 平均图向 量 ( 10 =戏 为 第i 个人的 训练样 本 几 拭艺间 1-从 的平均图向 量 ( 即:/ t =， n , 为 第i 个 人的 训 练 样 本数) ， p ( cu , ) 为 第1 个 人 的 训 练 样 本 数 占 整 个 训 练 样 本 集 的 百 分 比 ( i(m ;) = n / m ) , 、 和 、 分 别 为 s e 相 应的 特 征向 量 和 特征 值。 选取特征值最大的前k 个特征向量 ( 即主元)建立主元子空间 (特征耳” 空间)u: 、，户、，少 门j4 ; 月，j 了.、了.、 u= i uu 2 , . . . , u k l 使得: k 凡 / e, , o 第3 章 墓于线性子空间的人耳特征提取 其中，尹 为 小于1 的 数， 它表示前k 个 特征向 量的能 量占 整个能 量的 百 分比 。 这样，对于任何一幅人耳图像均对应于主元子空间中的一个点。据此，可 以把任一幅人耳图像向该主元子空间做投影，并获得一组坐标系数，而这组系 数表明 了 该图 像 在 子空 间中 的 位置， 从 而可以 作为 人 耳 识别的 依 据。 人 耳图 像戏 在主元子空间u的投影系数为: a , = u t ( ,6 , 一 ,6 ) = u t ( 3 .5 ) “就是所提取的表征任一人耳图像的主元特征向量。 在 实际 应用中 ， 由 于凡是 维 数为( w x h ) x ( w x h ) 的 对 称矩阵， 直 接 求 s 6 的 特 征 值 和 特 征 向 量 计 算 量 非 常 大， 因 此 需 通 过间 接 的 方法 求 取s b 的 特 征 值 和特征向 量。具体的 算法如下: 首 先 求 得b t b p 的 特征 值凡 和 特征向 量” ， 即 : b t b p v , = .i v , ( 3 .6 ) 然后，在上式两边同时左乘b p，得 b p b t b p v , = a jb p v , ( 3 .7 ) 显 然，b t b p 和b p b t 具有 相同 的 特 征 值凡 ， 则凡= b p b t 的 特征向 量为 : u ; = b p v , ( 3 . 8 ) 另外需要指出的是，p c a 分析还可以样本集的总体散布矩阵为产生矩阵: e _ - cam -, 一 乃 (“ 一 )t ( 3 . 9 ) 分析方法同上。 3 . 2 . 1 . 2基于p c a的人耳识别步骤 归纳上节p c a算法的基本原理， 利用p c a算法进行人耳识别的步骤如下: ( 1 ) 将人耳图 像 按列展开成( w x h ) 维的 列向 量， 按式3 . 1 求得 训练样 本集 的 类间 散 布 矩阵s e ; ( 2 ) 按式3 . 5 , 3 . 7 求得凡的 特征 值 及 相 应的 特征向 量; 求 取 满 足式3 . 3 的 最小整数k ，并选取特征值最大的前k 个特征向量建立主元子空间 (特征耳” 空间)u; ( 3 ) 根据式3 . 4 把训练样本集向主元子空间 (特征耳”空间)u做投影， 提取训练样本集的投影系数矩阵a: 第3 章 基于线性子空间的人耳特征提取 一刀 -刀 可uzru*r -一 a = 画， 久 ， ， 马 = u t 6 . y . . . . . . . 6 ， 声 ， 1( 3 . 1 0 ) 得到训练样本集的特征向量矩阵; () 将训练样本的 特征向 量 矩阵 进行归 一 化处理， 送分 类器进行 训练; ( 5 ) 识别阶段， 将待识别的 人耳y 投影到主元子空间( 1t 特征耳” 空间) ui 提 取 其 投影 系 数a ,. ， 得 到y 的 特征向 量， 经归 一 化处 理 后 送 入分 类 器 进 行识 别。 3 . 2 . 2 f i s h e r 线性判别分析方法 从模式识别的角度而言，我们希望各类样本在投影变换所生成的子空间里 能尽可能分得开一些，同时希望各类样本内 部能够尽量密集。也就是说， 希望 投影后样本的类间离散度越大越好，类内离散度越小越好，以便提高样本的可 分性。主元分析方法创建的子空间可以最充分地表征样本，具有去相关和能量 集中的良 好特性，但没有考虑到类内、类间的差异，因此不能获得最好的分类 结 果。 f is h e r 线 性 判别 分 析2 7 1 ( f l d a , f i s h e r l in e a r d i s c r im i n a t e a n a l y s i s ) 则以 实现最佳可分性为目的，它所生成的子空间可以使样本类间离散度和类内 离散 度的比值达到最大，理论上，f l d a比p c a更适合模式识别问题。 3 . 2 . 2 . 1 基本原理 设 训 练 样本 集x有m个 人， 每 人戈个训 练 样本， 共n幅 人 耳图 像， 图 像 的 分 辨率w x h 。 把每幅图 像按行 列顺序表示为; x 1 维的 列向 量( r = w x h ) ， 则 全 部 训 练 样本 可 用矩阵x 表 示，x“戏 ， ， 瓜 。 定义所有样本的均值向量m为: ， 一 n 客 a ( “ 训 练 样 本 集 ( 3 . 1 1 ) 第1 ( i = 1 , 2 , . . . , m ) 个 人的 样 本 均 值向 量m , 为 : ， 一 牛 女 ， ， ( x 为 第 ， 个 人 的 训 练 样 本 集 ) n, j = 1 声 . x , ( 3 . 1 2 ) 第3 章 基于线性子空间的人耳特征提取 第i 个 人的 类内 离 散 度 矩阵s , 为: 、 一 全 (q j 一 ， )(q , 一 ， )r( 3 . 1 3 ) 总 类内离散度矩阵s t 为: 拭艺裁 a，艺间 一一 s t 一 l r ( 16 , 一 m ) (q ; 一 m ) t( q , 一 m , + m ; 一 m ) ( ,6 ; 一 m ; + m , 一 m ) t 枯幼白裁 材丫问 / - 1 声 e x 材从 一 e y ( ,6 j 一 m ,) (, 3, 一 m ) r +( m , 一 m ) ( m ; 一 m ) t( 3 . 1 4 ) = ys , + yn ,( m , 一 m ) ( m , 一 m ) t i = 1 i = 1 若 定 义样 本 类内 离 散 度 和s . 和 样本 类间 离 散 度 矩阵s , 为 : ( 3 . 1 5 ) 况 材艺间 - 凡 s e = 艺n ;( m , 一 m ) ( m , 一 m ) t r 习 则 s t 可 进 一 步 表 示 为 : s t = s . + s e 。 假设存在投影变换w，训练样本x经过投影变换后变为: y = w 呀二 y v y x ) 各样本在 y 空间里的相关定义如下: 样本均值向 量示: ( 3 . 1 6 ) ( 3 . 1 7 ) ( 3 . 1 8 ) 乃 万r白问衅 1一n - 即m 个 人 样 本均 值向 量in , ( 3 . 1 9 ) 凡 从艺问麟 1一从 - .琳 个 人 类 内 离 散 度 s ; 第3 章 基于线性子空间的人耳特征提取 n , s , =i (y , 一 m ) ( y j j - 1 一 in , ) t( 3 . 2 0 ) 样 本 类内 离 散 度 和瓦: ( 3 . 2 1 ) 即又 “宁间 一l sw 样 本 类 间 离 散 度g o s n =n , ( i n ; 一 in ) ( i n , 一 ) t 间 j = 1y - p, 二 (,6 j 一 m 1)(,8 j 一 ， ) 二 一 二 ( m(i 全 (,6j 一 、 )(q j 一 ， )t )二 = w ts ,w ! = 1 j - 1 . . 戈 从v白月喊 “r白间 工- s b = 艺 n , ( in ; 一 m ) ( m , 一 7)7) t 一 艺 n , ( w t _ , 一 w t m ) ( w t m , 一 w t m ) t 一 艺n ,w t ( m , 一 ， ) ( m , 一 m ) t w 一 w t ( y n , (m ; 一 m ) ( m ; 一 m ) t ) w = w t s b w 1 司护 司 f l d a的目 的就是要寻找一个最优的投影 w 使得投影后的样本能够尽量 分 开 . 也 就 是 说 ， 希 望瓦 越 大 越 好 ， 而 瓦 越 小 越 好 。 因 此 ， 定 义f is h e : 准 则 函 数为: 第3 章 基于线性子空间的人耳特征提取 j f ( w) _ 尽 - s m w t s , w w t s . w ( 3 . 2 5 ) 使寿 ( w ) 最大的w就是 要求的 投影方向，即 蛛 二 a r g m a xw ( 3 . 2 6 ) 显 然， 这 是 一 个 带 有 约 束的 最 优化问 题( w t 凡 w二 。 * 0 ) ， 可以 用l a g r a n g e 乘子法求解。兹定义l a g r a n g e 函数为: l ( w , a ) = w t s , w一 a ( w t s . w一 c ) ( 3 . 2 7 ) 对上式w 求偏导，并令其等于零，可得a l ( w , 义 ) = a w s b w一 a s w w = 0 整 理 上 式 得 : s b w 二 从w 。 若s w 非 奇 异 ， 则 可 进 一 步 整 理 为s w s b w = a w * . w的 求 解问 题 就 转 化 为 凡 一 s b 的 特 征值问 题。 但是s . e 9 i 的 秩 最 大 为n - m， 且 通常 情 况 下n总 是 远 远 小于， ， 所以s w . 总是奇异的。也就意味着可能存在 w使得投影后的样本类内离散度和 瓦= 丫凡 w 等 于 零 。 为 了 克 服 这 个问 题 ， p e t e r n .b e lh u m e u r 等 提 出 了f i s h e r 4 2 1 法。 这个方法首先使用p c a得到n- m维主元特征空间: w p - 一 二 m a x iw t s t w l (3 . 2 8 ) 其 中 ， s ， 为 总 类 内 离 散 度 矩 阵 ， w a ” 是 由 主 元 特 征 空 间 的 基 向 量 组 成 的 矩 阵 。 此时， 在主 元 特 征 空间 里 样本 对 应的 样 本类内 离 散 度和 矩阵s ,b p - 和 样 本 类 间 离散 度 矩阵s ,p - 分 别为 : s b p - 一 w l- 飞 w a ，s w ” 一 叽t s w w p- ( 3 . 2 9 ) 此时s w p 是 非 奇 异的 。 在主 元 特征 空间 里， 可以 应 用f l d判别分 析 求 得 最 佳 投 影 方 向 蛛 ， 得 到m - 1 维f i s h e r 耳 子 空 间 : iwt s . -wi iw t w _ _ t s . w _ _ _ wi w j. 一 arg m ax i命 于云 沪 雨 w iw ts.- w i一 ar g m ax i 式 (3.30)w 1w tw p ,t sw w .,w i 由此，可以得到把原始人耳空间变换到f i s h e r 耳子空间的变换矩阵: w t - w r w刀 to a d x . ( 3 . 3 1 ) 利 用 线 性 投 影 算 子 w i , 把 每 一 幅 人 耳 图 像 映 射 为 一 个 低 维 的 特 征 向 量 。 该 向 量 的 元 素 通 过 图 像向 量 和 变 换 矩阵w .的 每 一 个 列向 量 分 别 做内 积 运 算 得 第3 章 基于线性子空间的人耳特征提取 到 。 因 此， 当 把w lll 的 列 向 量 视 为 基向 量 ， 特 征向 量 的 每 一 个 元 素 就 是 耳 像 向 它们的投影。 3 . 2 . 2 . 2基于f l d a的人耳识别步骤 归纳上节f l d a算法的基本原理， 利用f l d a 算法进行人耳识别的步骤如下: ( 1 ) 将人耳图 像按列 展开 成 ( w x h ) 维的 列向 量， 按式 3 . 1 5 , 3 . 1 6求得 样 本 类内 离 散 度 和s w 和 样 本 类间 离散 度 矩阵s e ; ( 2 ) 按 式3 . 2 8 求 得 n - m维 主 元 特 征 空 间 w , ， 根 据 式3 . 2 9 求 取 s b p . 和 s w v -; ( 3 ) 按 式3 .