（生物医学工程专业论文）基于频谱脸和fisherface的人脸识别系统的研究与实现.pdf

东北大学硕士学位论文 a b s t r a c t r e s e a r c ha n di m p l e m e n t a t i o no ff a c e r e c o g n i t i o ns y s t e mb a s e d o ns e p e c t r o f a c ea n d f i s h e r f a c e a b s t r a c t f a c er e c o g n i t i o ni sap r o c e s so fr e c o g n i z i n go rv a l i d a t i n gf a c e ，f r o ms t a t i cs t a t ea n d d y n a m i cs c e n eu s i n gi m a g ep r o c e s s i n ga n dp a t t e r nr e c o g n i t i o nb a s e do nt h ek n o w nf a c e d a t a b a s e ，f a c er e c o g n i t i o ni n v o l v e ss i g n a li m a g ep r o c e s s i n g 、p a t t e r nr e c o g n i t i o n 、 c o m p u t e rv i s i o n 、n e r v en e te t c ，s of a c er e c o g n i t i o ni sav e r yc h a l l e n g e a b l er e s e a r c h i n g t a s k f a c er e c o g n i t i o ni sw i l d l yu s e di nt h ef i e l do fp o l i c ea n db u s i n e s se t a b e c a u s eo ft h e p a r t i c u l a r i t yo f t h ef a c e ，w en e e dt od e a lw i t hm a n yq u e s t i o n si no r d e r t om a k et h et e c h n o l o g y m a t u r ea n dr e a l i z et h ep r a c t i c a la p p l i c a t i o n f a c er e c o g n i t i o nc o n t a i n st h r e ep a r t s ，t h ef a c ed e t e c t i o n 、t h ec h a r a c t e re x t r a c t i o n 、t h e f a c er e c o g n i t i o n t h ec h a r a c t e re x t r a c t i o ni st h ek e r n e lo ft h ef a c er e c o g n i t i o n t h em e t h o d o ff a c er e c o g n i t i o nc o n s i s t so ft w op a r t s o n ei st h em e t h o do fb a s i n go nt h ep a r tc h a r a c t e r f a c ei m a g e ；t h eo t h e ri st h em e t h o do fb a s i n go nt h ew h o l ec h a r a c t e rf a c ei m a g e t h ef i r s t g e n e r a l l ye x t r a c tt h ef a c ea p p a r a t u sc h a r a c t e r , f o re x a m p l e t h el o c a t i o n 、s c a l ea n dm t eo f e a c h o t h e ro ft h ee y e 、e y e b r o w 、n o s ea n dm o u t h ，s ot h i sm e t h o di sl e s ss e n s i t i v et ot h ef a c i a l e x p r e s s i o nv a r i a t i o n s b e c a u s eo f n o tn e e d i n ge x t r a c tt h ea p p a r a t u sp a r tc h a r a c t e ro ff a c e ，t h e s e c o n dm e t h o dr e g a r d st h ef a c ea saw h o l e ，a n dt a k e sf u l la d v a n t a g eo f t h ef a c ei m a g e t h em e t h o do fb a s i n go nt h ew h o l ec h a r a c t e rf a c ei m a g em a i n l yh a se i g e n f a c e 、 f i s h e r f a c e 、s p e e t r o f a c ea n dn ne t c 。b u tt h es i n g l em e t h o d sr e c o g n i t i o na c c u r a c ya n d r e c o g n i t i o nv e l o c i t yr e m a i nt ob ee n h a n c e d i t ss o m ed i s t a n c et ot h ep r a c t i c a la p p l i c a t i o n ； t h e r e f o r ew en e e dt oc o n t i n u o u s l yi m p r o v et h em e t h o d a f t e rd e e p l ys t u d y i n gt h em e t h o do f s p e c t r o f a c ea n df i s h e r f a e e ，t h et h e s i se x t r a c tt h ea d v a n t a g e so ft h et w om e t h o d s ，p r e s e n ta n e wf a c er e c o g n i t i o nm e t h o db a s e do nt h es p e c t r o f a c ea n df i s h e r f a c e s p e e t r o f a c e r e p r e s e n t a t i o nc o m b i n e st h ew a v e l e tt r a n s f o r ma n dt h ef o u r i e rt r a n s f o r m w eh a v es h o w nt h a t b yd e c o m p o s i n gaf a c ei m a g eu s i n gw a v e l e tt r a n s f o r m ，t h el o w - f r e q u e n c yf a c ei m a g e i sl e s s s e n s f f i v et ot h ef a c i a le x p r e s s i o nv a r i a t i o n s b yd e c o m p o s i n gt h el o w - f r e q u e n c yf a c ei m a g e u s i n gf o u r i e rt r a n s f o r m ，w ec a l lg e tt h ef a c ei m a g ew i t hl o w e r - d i m e n s i o n a ls p a c e b u tt h e d i m e n s i o no ft h es p e c t r o f a c ei ss t i l lh i g h ，s ow ee x t r a c tt h ec h a r a c t e ro ff i s h e r f a c ef r o mt h e t t t 东北大学硕士学位论文 a b s t r a c t s p e c t r o f a c e ，i no r d e r t or e d u c et h ed i m e n s i o n ，a n de n h a n c et h ee f f i c i e n c y k e yw o r d s ：f a c er e c o g n i t i o n ；s p e c t r o f a c e ；f i s h e r f a c e ；v f w i v 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加 以标注和致谢的地方外，不包含其他人已经发表或撰写过的研究成果，也不包括本人为 获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示诚挚的谢意。 学位论文作者签名：毒耖，瓮 签字日期：莎俐专净僻闩r 日 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即 学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交 流。 ( 如作者和导师同意网上交流，请在下方签名：否则视为不同意) 学位论文作者签名：导师签名 签字日期：签字日期： 东北大学硕士学位论文第一章前言 1 1 研究背景及意义 第一章前言 随着社会的发展，对快速有效的人类身份识别的要求日益迫切。人类身份识别技术 就是采用某种技术和手段对人的身份进行标识，从而依据该标识对人进行身份识别，以 达到监督、管理和控制目的的一种技术。目前用于身份识别和个人信息管理的技术和手 段层出不穷，例如个人密码、磁卡、智能卡等。这些技术方便、快捷，但其致命的缺点 是安全性差、易伪造、易窃取等。近年来，计算机技术的广泛应用使得使用人类生物特 征进行生物识别成为可能。与原有的人类身份识别技术相比，基于人类生物特征的识别 技术具有安全可靠、特征唯一、不易伪造、不易窃取等优点。人类本身具有相对独特的 特征，如d n a 、指纹、虹膜、语音、人脸等。基于这些独特的人类特征，结合计算机 技术，发展起众多的基于人类生物特征的人类身份识别技术，如d n a 识别技术、指纹 识别技术、虹膜识别技术、语音识别技术、人脸识别技术。相对于其他基于生物特征识 别技术，人脸识别技术具有特征录入较为方便，信息丰富，使用范围广，易于用户所接 受等优点，同时通过人脸的表情、姿态分析，还能够获得其他识别系统难以获得的一些 信息，因此有着广阔的应用前景。 人脸识别主要应用于公安系统刑侦破案的罪犯身份识别、身份证及驾驶执照等证件 验证、银行及海关的监控、自动门卫系统、视频会议、机器人的智能化研究以及医学等 方面。人脸识别的商业价值也在日益增长，主要是信用卡或提款机的个人身份核对。虽 然人类可以毫不困难地根据人脸来辨别一个人，但利用计算机进行完全自动的人脸识别 仍存在许多困难，这主要表现在：人脸是非刚体，存在表情变化；人脸随年龄增长而变 化；发型、眼镜等装饰对人脸造成遮挡；人脸所成图像受光照、成像角度、成像距离等 影响。此外人脸识别技术研究与相关学科的发展及人脑的认识程度紧密相关。这诸多因 素使人脸识别研究成为一项极富挑战性的课题。 人脸识别技术目前已经成为模式识别领域的一个研究热点，虽然现在有一定的进展，但 到目前为止，很不完善，应用工作还处于尝试阶段，因此人脸识别系统还没有在世界范 围内得到广泛的应用。 1 2 人脸识别的理论概述 人脸识别技术包括两个主要的环节，如图1 1 所示。首先是人脸检测与定位，即检 测图像中是否有人脸，若有，将其从背景中分割出来，并确定其在图像中的位置。其次 是特征提取与人脸识别。提取出人脸图像中的某些特征作为识别参数来进行识别处理。 东北犬擘硕士学位论文 第一章前言 图1 1 人脸识别的主要环节 f i g 1 1 t h em a i ns t e po f t h ef a c er e c o g n i t i o n 1 2 1 人脸检测与定位 人脸检测的基本思想是用统计或知识的方法对人脸建模，并且比较所有可能的待检 测区域与人脸模型的匹配程度，从而得到可能存在人脸的区域。其方法大致可分为基于 统计和基于知汉两类。前者将图像看作一个高维向量，从而将人脸检测问题转化为高维 空间中分布信号的检测问题；后者则利用对人脸的认知知识建立若干规则，从而将人脸 检测问题转化为假设与验证问题。 l | 2 1 1 基于统计的人脸检测方法 ( 1 ) 样本学习 ( 2 ) 特征脸方法 ( 3 ) 模板匹配方法 1 2 1 2 基于知识的人脸检测方法 ( 1 ) 轮廓规则 ( 2 ) 器官分布规则 ( 3 ) 肤色、纹理规则 ( 4 ) 对称性规则 ( 5 ) 运动规则 在某些可以控制拍摄条件的场合，如警察拍罪犯照片时将人脸限定在标尺内，此时 人脸的定位很简单。证件照背景简单，定位也比较容易。在另一些情况下人脸在图像中 的位置预先是未知的，比如在复杂背景下拍摄的照片，这时人脸的检测与定位将受以下 因素的影响：( 1 ) 人脸在图像中的位置、角度和不固定尺度以及光照的影响；( 2 ) 发 型、眼镜、胡须以及人脸的表情变化等； ( 3 ) 图像中的噪声。 1 2 2 人脸特征提取与识别 1 2 2 1 人脸特征提取 在利用人脸的检测与定位方法将人脸从具有一定背景的图像中分割出来后，有效地 2 东北大学硕士学位论文第一章前言 叫人燮测蚓特案与睁骂 图1 1 人脸识别的主耍环节 f i g 1 1 t h em a i ns t e po f t h ef a c er e c o g n i t i o n 1 2 1 人脸检测与定位 人脸检洲的基本思想是用统计或知识的方法对人脸建模，并且比较所有可能的待检 测区域与人脸模型的匹目b 程度，从i 面得到可能存在人脸的区域。其方法大致可分为基于 统计和基于知识两类。前者将图像看作一个高维向量，从而将人脸检测问题转化为高维 空间中分布信号的检测问题；后者则利用对人脸的认知知识建立若干规则，从而将人脸 检测问题转化为假设与验证问题。 1 2 11 基于统计的人脸检测方法 ( 1 ) 样本学习 ( 2 ) 特征脸方法 ( 3 ) 模板匹配方法 1 2 12 基于知识的人脸检测方法 ( 1 ) 轮廓规则 ( 2 ) 器官分布规则 ( 3 ) 肤色、纹理规则 ( 4 ) 对称性规则 ( 5 ) 运动规则 在某些可以控制拍摄条件的场合，如警察拍罪犯照片时将人脸限定在标尺内，此时 人脸的定位很简单。证件照背景简单，定位也比较容易。在另些情况下人脸存图像中 的位置预先是未知的，比如在复杂背景下拍摄的照片，这时人脸的榆测与定位将受以下 冈素的影响：( 1 ) 人脸在图像中的位置、角度和不固定尺度以及光照的影响；( 2 ) 发 型、眼镜、胡须以及人脸的表情变化等；( 3 ) 图像中的噪声。 1 22 人脸特征提取与识别 12 2 1 人脸特征提取 在利用人脸的检测与定位方法将人脸从具有一定背景的图像中分割出来后，有效地 在利用人脸的检测与定位方法将人脸从具有一定背景的图像中分割出来后，有效地 东北大学硕士学位论文第一章前言 抽取人脸识别的特征成为人脸识别的另一个关键。人脸识别特征主要分为两类：一是人 脸几何直观特征；二是人脸的代数特征。 ( 1 ) 人脸几何直观特征 人脸的几何特征是研究人脸的各部件的形状、大小以及部件之间的相互关系等。人 脸的部件包括眼睛、眉毛、鼻子、嘴、下巴以及面颊和轮廓线等。 眼睛是最重要的人脸脸部特征，眼睛之间的距离不随脸部表情变化而变化，可用来 标准化所有的几何量测特征。n i x o n 和h o u g h 变换检测眼睛的边缘，d a u g m a n 用圆边缘 检测从粗到精地确定眼睛的位置，l a m 提出用基于眼角信息估计的可变模板抽取眼睛边 界。 ( 2 ) 人脸的代数特征 k i r b y 和s i r o v i c h 在k l 展开的框架下讨论了人脸图像的最优表示，任何图像都可 近似地用特征图的线性组合来表示，通过增加特征图的数量可以提高所给图像的表示精 度。t u r k 和p e n t l a n d 由实验人脸数据库中的人脸图像得到一个人脸平均图像，然后计算 每个人脸图像与平均图像的差异，进而对所求出的样本散布矩阵作k l 变换以求出特征 矢量，即得到特征脸。 洪子泉等论证了奇异值特征向量是识别图像的有效特征，程永清根据矩阵的相似性 鉴别函数提取图像的代数特征，l i u 等提出图像的最佳鉴别投影特征，黄修武提出了基 于隶属度的人脸图像特征提取方法。 人脸的直观几何特征比较稳定，受人脸的姿态变化与光照强度等因素的影响较小， 但不容易提取，而且量测精度不高。人脸的代数特征容易得到，但稳定性较差，主要对 姿态变化较敏感。 1 2 2 2 人脸识别 识别人脸主要依据那些在不同个体之间存在较大差异而对于同一个人则比较稳定 的特征，具体的特征形式随识别方法的不同而不同。 人脸识别的方法主要有以下几种： ( 1 ) 基于几何特征的人脸识别方法； ( 2 ) 基于模板匹配的人脸识别方法； ( 3 ) 特征脸方法； ( 4 ) 隐马尔科夫模型法； ( 5 ) 基于神经网络的方法： ( 6 ) 弹性图匹配方法； ( 7 ) 其他的人脸识别方法； 3 一 东北大学硕士学位论文 第一章前言 1 3 人脸识别国内外研究历史与现状 2 0 世纪6 0 年代末至7 0 年代初，关于人脸识别的研究才剐冈# 起步。最早的研究者是 b l e d s o e ，他建立了一个半自动的人脸识别系统，主要是以人脸特征点的间距、比率等参 数为特征。早期的人脸识别方法有两大特点：( 1 ) 大多数识别方法是基于部件的，它 们利用人脸的几何特征进行识别，提取的信息是人脸主要器官特征信息及其之间的几何 关系。这类方法比较简单，但是很容易丢失人脸的有用信息，从而在视角、表情等变化 的情况下识别能力差。鉴于这种情况，后来出现了性能较优的模板匹配方法，即根据图 像库中的人脸模板与待识别人脸模板在灰度上的相似程度来实现人脸识别，这类方法在 一定时期内占据主流。( 2 ) 人脸识别研究主要是在较强约束条件下的人脸图像识别。 假设图像背景单一或无背景，人脸位置已知或很容易获得，因此对现实场景产生的图像 处理效果不佳。 2 0 世纪9 0 年代以来，随着计算机软硬件性能的迅速提高，以及对人脸识别能力的高 要求，使发展更具鲁棒性的人脸识别方法成为时代的必然。于是基于整体的识别方法应 运而生，并且很快成了研究的重点，如特征脸法和弹性图匹配法。基于整体的识别方法 充分利用了人脸各个特征点之间的拓扑关系和各个器官自身的信息，可以避免提取面部 局韶特征的操作，使识别鲁棒性有所提高。于是在人脸识别的研究领域出现了基于整体 的方法和基于部件的方法齐头并进的局面。 9 0 年代中期，人脸识别方法向着整体识别和部件分析相结合的趋势发展。研究人员 开始逐渐认识到人脸识别算法必须能够充分地利用人脸的各种特征信息，融合人脸的形 状拓扑结构特征、局部灰度特征和全局灰度分布特征等多种特征。因此，出现了很多新 的算法，这些算法是将原先单一的算法结合起来，共同完成人脸的识别。 9 0 年代后期，一些商业性的人脸识别系统开始逐渐进入市场，人脸识别技术成为当 今国际安全防范最重要的手段之一。但是这些技术和系统离实用化还有一定的距离，性 能和准确率有待提高。 2 0 0 0 年前后，人脸识别方法的性能虽然有了一定的提高，但仍与人们的要求还有一 定的差距，现有方法对光照、年龄、表情、姿态、距离等条件的变化比较敏感，当某些 条件发生变化时，识剐效果很不理想。目前，人脸识别技术仍只能用于某些对识别准确 率要求不高的场合。 我国关于人脸识别的研究始于8 0 年代。其中周激流实现了具有反馈机制的正面人脸 识别系统，运用积分投影的方法提取面部特征的关键点并用于识别，获得了较为满意的 结果。他同时尝试了“稳定试点”特征提取方法。 彭辉、张长水等对“特征脸”的方法作了进一步的发展，提出采用类间散布矩阵， 进步降低了产生矩阵的维数，在保持识别率的情况下大大降低了运算量。 程永清、庄永明等对同类图像的平均灰度图进行j s v d 分析，得到特征脸空间，每 4 东北大学硕士学位论文第一章前言 一副图像在特征脸空间上的投影作为其代数特征，然后利用层次判别进行分类。 通常入脸识别实验所采用的人脸库不大，一般仅包括l o o 幅左右懿人脸图像，奶 m i t 库、y a l e 库、c m u 库、o r l 库等都是小型库，而且由于不同人脸库所取得的图像条 件和质量不同，因此不同的识别程序之间很难进行比较。为促进人脸识别算法的深入研 究和实用化，美国国防部发起了人脸识别技术( f a c er e c o g n i t i o nt e c h n o l o g yf e r e t ) 工程，它包括一个通用人脸库和套通用测试标准，用于定期对各种人脸识别算法进行 性能测试，其分析测试结果对未来的工作起到了一定的指导作用。上述人脸库中f e r e t 人脸库最为权威，但f e r e t 库中包括军人的图片，所以不能在美国以外获得。一般可以 通过互联网获得某些人脸库，如m i t 库、y a l e 库等。目前使用最为广泛的人脸数据库是 英国的o r l 库。由于不同研究任务的需要，必要时可以设计和建立具有特色的专用数据 库。 1 4 本论文的研究内容 在本论文中，提出了一种新的人脸识别方法，基于频谱脸和f i s h e r f a c e 的人脸识别 方法，并利用此方法在v i s u a lc + + 的平台上开发出一种人脸识别系统。本论文研究的主 要内容大概有以下几个方面： 第一章介绍人脸识别的研究背景及意义，人脸识别的基本理论包括人脸检测与定位 和特征提取与识别，以及人脸识别在国内外的研究历史与发展现状。 第二章介绍人脸图像的采集部分， 第三章介绍人脸图像的检测与定位部分。 第四章介绍人脸图像的特征提取与识别部分。 第五章介绍人脸识别系统实现。 第六章结论与展望。 5 一 东北大学硕士学位论文第二章人脸图像采集 第二章人脸图像采集 随着通信技术、多媒体与计算视觉技术的快速发展，越来越多的应用系统不仅要求 传输与处理那些事先存储下来的图像数据，更重要的是能够实时获取动态的图像信息， 并能对这些信息进行实时处理。因此，如何实时的采集、处理数字视频数据就成为这些 应用系统中新的重要环节。在人脸识别系统中，人脸图像的采集过程是实现系统的关键 前提。 本章主要对视频捕捉技术所涉及到的基础理论加以概述，包括v f w 、a v i c a p 、捕捉 文件等，并简单介绍进行人脸图像采集过程。 2 1v f w v f w 是v i d e of o rw i n d o w s 的缩写，是m i c r o s o f t 公司1 9 9 2 年推出的关于数字视频 的个功能比较强大的软件包，它能使应用程序数字化并播放从传统模拟视频源得到的 视频剪辑。v f w 的一个关键思想是播放时不需要专用硬件，为解决数字视频数据量大 的问题，需要对数据进行压缩。于是，它引用了a v i 文件标准，该标准未规定如何对视 频进行捕获、压缩及播放，仅规定视频和音频该如何存储在硬盘上，在a v i 文件中交替 存储视频帧和与之相匹配的音频数据。v f w 给程序员提供v b x 和a v i c a p 窗口类的高 级编程工具，使程序员能通过发送消息或设置属性来捕获、播放和编辑视频剪辑。v f w 主要包括v f w h 头文件和v f w 3 2 1 i b 函数库。现在用户不必专门安装v f w 了，w i n d o w s 9 5 本身包括了v i d e of o rw i n d o w s l 1 ，当用户在安装w i n d o w s 操作系统时，安装程序会自 动安装配置视频所需的组件，如设备驱动程序、视频压缩程序等。 v f w 主要由以下6 个模块组成； ( 1 ) a v i c a p d l l ：包含了执行视频捕获的函数，它给a v i 文件i o 和视频、音 频设备驱动程序提供了一个高级接口。 ( 2 ) m s v i d e o d l l ：用一套特殊的d r a w d i b 函数来处理屏幕上的视频操作。 ( 3 ) m c i a v i d r v ：此驱动程序包括对v f w 的m c i 命令的解释器。 ( 4 ) a v i f i l e d l l ：支持由标准多媒体i o ( m m i o ) 函数提供的更高的命令来访 问a v i 文件。 ( 5 ) 压缩管理器( 1 c m ) ：管理用于视频压缩一解压缩的编解码器( c o d e c ) 。 ( 6 ) 音频压缩管理器a c m ：提供与i c m 相似的服务，不同的是它适于波形音频。 通过这些模块间的协调工作，来完成视频图像的捕获、播放、编辑、文件管理等各 种功能。图2 。l 描述了v f w 各模块的相互关系。 7 东北大学硕士学位论文第二章人脸图像采集 图2 1v f w 各模块的相互关系 f i g 2 1 t h ec o r r e l a t i o no f t h ev f wm o d u l e ( 】) 在视频捕获程序中，v f w 利用a v l c a p 子集生成a v i c a p 窗口类来完成视频 捕获。 ( 2 ) v f w 利用d r a w d i b 子集来完成视频的编辑，d r a w d i b 提供了高性能的d i b 图 像的绘画能力。d r a w d i b 可利用i c m 将a v i 文件转化为d i b 位图，利用i c m 来支持压 缩的d i b 位图。 ( 3 ) a v i c a p 、d r a w d i b 都可以通过i c m ( 可选的压缩管理器) 来访问a v i f i l e 子集。 ( 4 ) v f w 利用a v i f i l e 为视频的捕获、播放、编辑等提供文件的管理功能。 v i s u a lc + + 在支持v f w 方面提供有v f w 3 2 1 i b 、m s a c m 3 2 1 i b 、w i n m m 1 i b 等类似的库。 特别是它提供了功能强大、简单易行、类似于m c i w n d 的窗口类a v i c a p 。a v i c a p 为应 用程序提供了一个简单的、基于消息的接口，使之能访问视频和波形音频硬件，并能在 将视频流捕获到硬盘上的过程中进行控制。 2 2a v i c a p a v i c a p 窗口类是v f w 定义的w i n d o w s 窗口类，该子窗口的客户区用来显示采集 卡传入计算机的实时视频图像。a v i c a p 支持实时的视频流捕获和单帧捕获并提供对视 频源的控制。虽然m c i 也提供数字视频服务，比如它为显示a v i 文件的视频提供了 a v i v i d e o 命令集，为视频叠加提供了o v e r l a y 命令集，但这些命令主要是基于文件的操作， 它不能满足实时的直接从视频缓存中取数据的要求。而a v i c a p 在捕获视频方面具有一 定的优势，它能直接访问视频缓冲区，不需要生成中间文件，实时性很强，效率很高。 同时，它也可将数字视频捕获到文件。 使用a v i c a p 窗口类可以轻易地将视频捕获和应用程序相结合。a v i c a p 给应用程 序提供了一个非常简单的、基于消息的从硬件访问视频和声音的接口，使应用程序可以 控制视频从捕获到存盘的整个过程。 一8 一 东北大学硕士学位论文第二章人脸图像采集 视频图像的捕获：v f w 是利用a v i c a p 子集来开发视频捕获应用程序。a v i c a p 子 集包括一个a v i c a p 窗口类、与视频捕捉相关的回调函数、向a v i c a p 窗口发送消息命 令的消息宏函数集。 使用a v i c a p 生成的捕获窗口具有以下功能： ( 1 ) 捕捉声音和视频流并保存为一个a v i 文件。 ( 2 ) 动态的和视频或声音输入设备进行连接和断开连接。 ( 3 ) 使用叠加或者预览方式对输入信号进行实时显示。 ( 4 ) 设定捕捉频率 ( 5 ) 显示控制视频源、视频格式和视频压缩的对话框。 ( 6 ) 装载、创建或保存调色板。 ( 7 ) 将图片或调色板复制到剪贴板上。 ( 8 ) 单独捕捉一副图像并保存为一张与设备无关的图片文件( d i b ) 。 a v i c a p 所能提供的功能是硬件相关的，许多功能，如以叠加( o v e r l a y ) 模式显示 视频，捕获音频，以及所支持的视频采集格式是否可用等都应该由所选择的视频捕获设 备而定，具体应用设计要根据硬件所支持的性能来灵活处理。可以通过 c a p d r e r c a p s 结构来获取驱动器的能力，并通过a v l c a p 提供的v i d e os o u r c e ，v i d e o f o r m a l ，v i d e od i s p l a y 对话框来对捕获参数进行设置。 2 2 1a v i c a p 窗口类中常用的结构 在a v i c a p 窗口类中有4 种常用的结构。 ( 1 ) c a p s t a t u s ：定义捕获窗口的当前状态。例如：以像素为单位表示图像的高、 宽、预览和重叠方式的标志量，尺寸缩放的标志量等。因为捕捉窗口的状态随各种各样 的消息而改变，所以当应用程序需要使能菜单项，决定捕捉窗口的真实状态，或者调用 视频格式对话框时，都应该更新这一结构中的信息。 ( 2 ) c a p d 王u v e r c a p s ：定义捕获设备的能力，例如有无视频叠加能力，有无控 制视频源、视频格式的对话框等。当应用程序将捕捉窗口与视频捕捉驱动程序相连接以 后，应该发送消息w mc a pd r i v e rg e tc a p s 或者调用宏函数c a p d r i v e r g e t c a p s 将驱动程序的功能拷贝一份到该结构中。 ( 3 ) c a p t u r e p a r 3 , i s ；包含控制视频流捕获过程的参数，如捕获帧频、指定键 盘或鼠标键以终止捕获，捕获的时间限制等。 ( 4 ) v i d e o h d r ：定义了视频数据块的头信息，在编写回调函数时常用到其数据 成员l p d a t a ( 指向数据缓存的指针) 和d w b u f f c r l e r 咖( 数据缓存的大小) 。 其中前三种结构都有相应的函数来设置和获得结构包含的信息。 9 东北大学硕士学位论文 第二章人脸图像采集 2 2 2 a v i c a p 中的回调机制 如果准备对采集的数据迸行实时处理就用到a v l c a p 的回调函数。固调函数是一类特 殊的函数，功能类似于中断函数。其调用过程由系统完成，而回调函数的具体内容则由 用户自己设定。在系统中当某一回调函数被设定后，在某一特定的条件满足时，系统自 动调用该回调函数。在a v i e a p 窗口类中的回调函数主要包括状态回调、错误回调和视频 回调等，其中前两种比较简单，对视频回调做详细说明。其中视频回调包括单巾贞回调和 视频流回调两种，该类函数在使用之前需要先由用户设定函数的内容，然后分别以 c a p s e t c a l l b a c k o nf r a m e 和c a p s e c a l l b a c k o nv i d e o s t r e a m 宏函数将其注册到系统中，判 断调用条件是否满足以及对该函数的调用则都由系统自动完成，不需要显示调用命令。 ( 1 ) c a p s e t c a l l b a c k o n f r a m e ( h w n d ，f p f r a m e p r o c ) ，注册单帧回调函数，它只要一 启动视频捕获，一帧结束就立刻产生回调动作，而究竟是哪一个回调函数响应，就由登 记在设置宏函数中的f p p r o 参数来决定。它是一帧一帧地在同一个缓冲区内进行刷新的， 即每帧数据的首址不变。自然开发者可借助这一特点来编写图像处理程序，但不能过长， 否则视频显示不流畅。另外，回调函数要提前定义，即在程序的头部进行定义。 ( 2 ) c a p s e t c a l l b a c k o n v i d e o s t r e a m ( h w n d ，f p v i d e o p r o e ) ，与上面不同的是它要和 c a p c a p t u r e s e q u e n e e n o f i l e ( h w n d ) 或c a p c a p t u r e s e q u e n c e ( h w n d ) 配合使用，只有当其 中的一个被执行后，回调动作才会产生。它同样是一帧结束便产生回调，但每次数据都 追加在上一帧数据的后面，直到所分配的数据缓冲区用完为止( 即缓冲区无效) 。同样， 开发者可按照这一特点来编程。 2 2 3 捕捉驱动程序及其功畿 视频捕捉驱动程序和相应的底层硬件决定了视频捕捉的方方面面，包括可接受的视 频源、显示选项、格式和压缩选项。 2 2 3 1 捕捉驱动程序的性能 可以用w m c a p _ _ d r e i l g e t _ c a p s 消g ( 或者宏函数c a p d r i v e r g e t c a p s ) 来得 到连接到当前捕捉窗口的硬件的性能。这个消息通过c a p d r i v e r c a p s 结构返回设备驱 动程序和硬件的性能信息。 2 2 3 2 视频对话框 每一个视频捕捉驱动程序可以提供至多四个对话框，以控制视频数字化和捕捉过 程的一些参数设置，并压缩属性以减小视频数据量。对话框所能调整的参数取决于视频 捕捉驱动程序。 ( 1 ) 视频源对话框 l o 东北大学硕士学位论文 第二章人脸图像采集 该对话框控制视频输入通道及与视频图像在帧缓冲区中数字化有关的参数的选择。 这一对话框列举了从视频源到捕捉卡的信号类型( 通常是s v h s 和复合式输入) ，并提 供了对色调、对比度、饱和度的控制。如果视频捕捉驱动程序支持这一对话框，可以使 用w mc a pd l gv i d e o s o u r c e 消息或c a p d l g v i d e os o u r c e 宏来显示和更新它。 ( 2 ) 视频格式对话框 这个对话框提供对数字化视频帧的尺寸、格式选择的控制。通过发送消息w mc a p d l gv i d e o f o r m a t 或者调用宏函数c a p d l g v i d e o f o r m a t 实现这一对话框的显示和更 新。 ( 3 ) 视频显示对话框 该对话框提供对捕捉期间视频在监视器上显示性能的控制。这些控制对数字化视频 数据没有任何影响。同样，消息w m _ c a p _ d l g v i d e o d i s p l a y 秉i 宏函数c a p d l g v i d e _ o d i s p l a y 实现其显示和更新。 ( 4 ) 视频压缩对话框 通过视频压缩对话框可实现改变视频压缩属性。消g w m _ c a p _ d l g v i d e o c o m p r e s s l o n 和宏函数c a p d l g v i d e o c o m p r e s s i o n 与之对应。 2 2 3 3a v i c a p 显示视频的两种模式 a v i c a p 在显示视频时提供两种模式：预览模式p r e v i e w 和叠加模式o v e r l a y 。在预 览模式中，视频帧先从视频捕获卡传到系统内存，接着采用g d i 函数在捕获窗中显示， 该显示模式所支持的视频采集格式为r g b 格式。当父窗口失去焦点时，应用程序会减 少预监频率，而当父窗口得到焦点时，应用程序会增加预览频率。因为预览操作比较消 耗c p u 资源，这一操作会减少系统的整体响应时间。 有3 条消息用来控制预览操作： ( 1 ) 通过把w l v lc a ps e tp r e v i e w 消息( 或c a p p r e v i e w 宏) 发送给捕捉窗口 来使预览模式有效或者失效。 ( 2 ) 通过把w mc a ps e tp r e v i e w r a t e 消息( 或c a p p r e v i e w r a t e 宏) 发送给 捕捉窗口来设置在预览模式下帧的频率。 ( 3 ) 用w mc a ps e ts h c a l e 消息( 或者c a p p r e v i e w s c a l e 宏) 来使预览模式的 缩放有效或者无效。 叠加模式中视频捕获将v g a 卡的输出信号和自身的输出信号叠加后形成组合信号 显示在计算机监视器上，不需占用c p u 资源，该显示模式所支持的视频采集格式为y u v 格式。通过发送w m _ c a p s e t _ 0 v e r l a y 消息( 或者用c a p o v e f l a y 宏) 来使视频 窗口处于叠加模式。叠加模式速度较预览模式快，但如果需要在视频显示前对视频信号 进行处理，则必须使用预览模式。p r e v i e w 模式和o v e r l a y 模式都只是用以显示。与采 集的过程并无多大关系。它主要应用于采集帧的本地回显。 一1 】一 东北大学硕士学位论文第二章人脸图像采集 2 2 3 4 视频格式 可以发送w mc a pg e tv i d e o f o r m a t 消息给捕捉窗口( 或者调用宏函数 c a p g e t v i d e o f o r m a t 和c a p g e t v i d e o f o r m a t s i z e ) 来得到视频格式的结构和该结构的大小。 而向捕捉窗口发送w m c a p s e t _ _ v i d e o f o r m a t 消息( 或者调用宏函数 c a p s e t v i d e o f o r m a t ) 则可以设置视频格式。 2 2 4 视频设置 基本的捕获设置包括：设置捕获速度( 每秒捕获多少帧) ，是否同时捕获声频，捕 获缓冲，允许最大丢失多少帧，以及用键盘的哪个键或鼠标的哪个键来终止捕获等等。 基本设置在c a p n 琅e p a r a m s 结构中描述，先得到当前设置： c a p c a p t u r e g e t s e t u p ( h w n d c ， 捕捉窗口的旬柄 s ，c a p t u r e p a r a m s 结构地址 w s i z e ， 以字节表示的结构大小 ) 改变此结构的成员变量，再刷新设置： c a p c a p t u r e s e t s e t u p ( h w n d c ，捕捉窗口的旬柄 s ，c a p t u r e p a r a m s 结构地址 w s i z e ，以字节表示的结构大小 ) 2 2 4 1 设置捕获速度 捕捉速度是指每秒钟捕获的视频图像的总帧数，当前的捕捉速度应该保存c a p t u _ r e p a r a m s 结构的d w r e q u e s t m i c r o s e c p e r f r a m e 成员变量中，你可以通过设置此变量来 改变当前设置，单位是每毫秒连续的帧数。 2 2 4 2 设置终止捕获按键 你可以允许用户按下某键或某组合键或者鼠标的左右键来终止一个捕获任务，如果 是实时的捕获，则捕获的文件将会被丢弃：如果是单步捕获，在终止之前所捕获的内容 将会被保存。 当前的按键设置保存在c a p t u r e p a r a m s 的v k e y a b o r t 成员中，当前的鼠标设置保 存在f a b o r t l e i l m o u s e 和f a b o r t r i g h t m o u s e 成员中。你可以设置新的按键或按键组合，或 者鼠标左右键。缺省的按键是v k e s c a p e ，你必须在指定按键之前使用r e g i s t e r h o t _ k e y 函数，鼠标缺省的值是f a b o r t l e f t m o u s e 和f a b o r t r i g h t m o u s e 都为t r u e 。 一 2 一 东北大学硕士学位论文 第二章人脸图像采集 2 2 4 3 设置捕获时间 c a p t u r e p a r a m s 结构中的f l i m i t e n a b l e d 表示是否有时间限度，w t i m el i m i t 表 示最大的捕获持续时间，单位为s 。 2 3 捕捉文件 a v i c a p 会默认地把捕捉窗口里的音频和视频数据保存在当前驱动器根目录下的名 叫c a p t u r e a v i 的文件里面”1 。向捕捉窗口发送w mc a pf i l es e tc a p t u r ef i l e 消息( 或用宏函数c a p f i l e s e t c a p t u r e f i l e ) 可以指定另一个路径和文件名。这个消息指定 文件名；但不创建文件，也不打开