（机械电子工程专业论文）图像处理在人脸识别系统中的应用.pdf

摘要4 2 5 6 7 9本课题是人脸识别系统的一部分，开发了该系统中图象处理方面的软件包，包括图象采集、图象处理模块，完成从人脸图像的采集，到对其进行处理并提取有效信息部分，是系统后续部分操作的基础。采集模块通过媒体控制接口，调用视频卡驱动程序，在w i n d o w s 环境下实现动态图象的采集、捕捉、存储等功能。在图像处理模块中，完成图像增强、图像分割、图像压缩等功能，提供多种图象处理算法，提出一些新的算法，其中运用了数学形态学提取图像边缘，把小波分析应用到图像压缩方面，取得良好的效果。软件的开发过程采用面向对象的设计方法，运用统一模型语言( u m l ) 描述各对象之间的联系。关键词：人脸识别图像处理媒体控制接口c 礅小波分析面向对象设计方法统一建模语言矗煎纯夷a b s t r a c ta sap a r to ft h eh u m a nf a c er e c o g n i t i o ns y s t e m ，t h i sp r o j e c td e v e lo p e das o f t w a r ep a c k a g eo nt h ei m a g ep r o c e s s i n g ，i n c l u d i n gt h ei m a g ea c q u i s i t i o nm o d u l ea n dt h ei m a g ep r o c e s s i n gm o d u l e t h ea c q u i s i t i o na n dt h ep r o c e s s i n gf o rs e l e c t i n ge f f e c t i v ej n f o r m a t i o ni st h ef o u n d a t i o ni nf u l la u t o m a t i cf a c er e e o g n i t i o ns y s t e m f u n c t i o n so fa c q u i s i t i o n ，r e s t o r a t i o nf o rd y n a m i ci m a g ea r ep e r f o r m e di nw i n d o w sb yt h em e d i ac o n t r o li n t e r f a c e ( m c i ) t od r i v et h ev i d e oc a r d t h ei m a g ep r o c e s s i n gm o d u leisc o m p o s e do fe n h a n c e m e n t ，s e g m e n t a t i o na n dc o m p r e s s i o n ，o f f e r i n gv a r i o u sf o r m e ra l g o r i t h m sa n ds o m en e wa g o r i t h m s ，s u c ha st h em a t h e m a t i c a lm o r p h o l o g yf o rt h ee d g ed e t e c t i o na n dt h ew a v e l e ta n a l y s i sf o rt h ec o m p r e s s i o n a 1lt h e s ep r o v e de f f e c t i v e t h eo h j e c t , - o r i e n t e dd e s i g nm e t h o di su s e dd u r i n gp r o g r a m m i n g ，a n dt h eo b j e c t s r e f a t i o n sa r ed e s c r i b e db yt h eu n i f i e dm o d e li n gl a n g u a g e ( u m l ) k e yw o r d s ：f a c er e c o g n i t i o n ：i m a g ep r o c e s s i n g ：m e d i ac o n t r o li n t e r f a c e ( m c l ) ：w a v e l e ta n a l y s i s ；o b j e c t o r i e n t e dd e s i g nm e t h o d ：u n i f i e dm o d e l i n gl a n g u a g e ( u m l )硕士论文图像处理在人脸识别系统中的应用引言本文是人脸识别系统的一部分，是以电视监视系统的身份验证为背景进行研究的。该系统涉及了一个活跃的研究领域人脸的识别技术( f r t ) ，也是当前计算机视觉领域很活跃的研究课题。人脸识别技术( f r t ) 在商业上和法律上有广阔的应用前景，如身份证，信用卡，护照等身份认证，智能小区管理以及电视监视系统等等，是进行身份确认的最自然直接的手段。人脸识别技术涉及范围很广，学科很多，是多学科知识综合的应用技术。它覆盖的学科主要有：模式识别，计算机视觉，图像处理，人工神经网络，模糊逻辑，小波分析等，人脸识别技术与这些学科的研究密切相关，相互促进。人脸识别系统应完成如下任务：( 1 ) 从任意的图像中决定是否有人脸，如果有，决定人脸的数量及它们的位置和尺寸。( 2 ) 从他或她的面部图像进行正确识别。( 3 ) 描述每个面孔，根据给出的描述确定人脸。目前对人脸识别系统的研究主要集中在算法的设计和模型的建立。依据算法的实现手段，可分为硬件方面的研究和软件方面的研究。硬件方面主要是采用硬件设备，如光电协处理器，d s p 芯片等硬件的并行运算实现识别算法。而软件方面是应用计算机语言实现算法和模型。人脸识别技术正在发展，变化较大，尝试较多，软件易于修改、模拟与仿真，适用于研究，而硬件更适用于实际应用。作为课题研究，更偏向于软件方面。下面将简要介绍当前人脸识别技术的研究状况。一、人脸识别的硬件方面研究。目前，大部分研究都集中在采用计算机软件方法实现识别算法，然而，计算机体系结构的串行性使得计算量庞大的识别工作缓慢、耗时，无法满足实际应用中的快速性、实时性的要求。而硬件能进行并行计算，在识别速度上存在优势。值得注意的是采用光学系统实现人脸识别，此外还有d s p 芯片实现并行运算的人脸识别，图像并行处理系统。而一些商用的神经网络芯片，模糊芯片都有助于实现人脸识别的快速性和实时性。光学系统具有二维并行性，而且在全息照相中，照片的任一局部都包含整幅图像的信息。这些良好的特性可能为识别系统带来突破。最近取得较突出成果的研究是光学处理器的研究，它为人脸识别开辟新思路。而在d s p 芯片并行处理的人脸识别中，采用二块d s p 芯片实现模糊化的h o u g h 变换，大大缩短识别时间。人脸识别系统硬件方面的研究处于初步阶段，且应用前景十分广阔。但硬件方面的一些关键问题有待解决，如芯片的设计、制造工艺等方面的制约。一硕士论文图像处理在人脸识别系统中的应用些算法、模型在软件上可行，而在硬件上却难以实现。鉴于此，现在人们更热衷于软件方面的研究。二、人脸识别系统软件方面的研究当前人脸识别系统软件方面的研究，主要是应用较新的数学理论针对系统的各个环节设计算法，建立模型，然后通过计算机软件模拟及仿真。由于算法层出不穷，且每种算法都有其自身的局限性，因此设计新算法的同时，对已有的算法进行改进，优化组合成为目前算法研究的发展方向。通过对目前人脸识别研究领域的了解以及对已有的算法的分析，作为一个完整的系统，人脸识别系统将由四大模块组成：图像采集模块、图像处理模块、人脸识别模块、人脸数据库模块，它们的关系如下图。人脸识别系统方框图图像采集模块的目的在提供人脸原始图像，图像处理模块是人脸识别的基础，为后续工作提供高质量的图像和分析信息，与其他识别系统相近，可以相互借鉴。人脸识别模块包括两部分，首先是人脸的检测与定位，即从输入图像中找到人脸及人脸存在的位置，并将人脸从背景中分割出来。其次，进行人脸特征提取与识别：在人脸检测确定区域内，对图像进行归一化，标准化，以防止外界因素对识别的影响，然后再进行特征提取与识别。人脸识别系统比较庞杂，不可能完成所有人脸识别系统的四部分。因此本文的主要任务是完成第一、第二部分，即图像采集模块、图像处理模块，如果条件允许的话，将涉及人脸识别模块的一部分，为整个系统奠定基础。图像的采集模块要完成从光学图像到计算机可处理图像的转换，为系统提供可操作的对象，其基本过程可描述为：通过c c d 摄像镜头，对人脸进行拍摄，由视频采集卡以信息流的形式对信号实时采集、捕捉，以帧的形式缓存，以静态的图像格式存储。图像处理模块的功能是将可处理的图像变换为可识别、易识别的图像，为人脸识别模块提供优质的图像，高效的图像特征。根据需要，对采集到的人脸图像进行图像增强、边缘检测、图像压缩等方面的处理。在这两个模块中，人脸图像和其他图像的处理相类似，因此，在下面都是硕士论文图像处理在人脸识别系统中的应用以图像处理中的标准图像l e n a ( 5 1 2 5 1 2 ) 作为标本进行研究。由于实现这些功能的程序设计庞杂，同时，为了后续的模块调用方便及便于整个系统的开发管理，程序的开发过程采用面向对象的设计方法，并用统一模型语言( u m l ) 对各对象的联系进行描述。运行环境硬件平台：i b mp c 兼容机，c p u ：赛扬4 6 6硬盘：3 0 0 m b 剩余空间内存：1 2 8 m b显示卡：s u p e r v g a 真彩色2 4 位软件平台：w i n d o w s9 8开发环境：v i s u a lc + +主要图像格式：8 位b m p 图像硕士论文图像处理在人脸识别系统中的应用1 图像处理软件简介本课题开发了一个用于人脸识别系统中图像处理方面的软件包。总的来说，该软件包实现了人脸图像的动态采集和对人脸图像基本处理的功能，以及一些辅助功能。该软件包主要的任务是把目前比较成熟的图像处理的方法应用到人脸识别系统中，同时，对部分算法进行改进，为系统后续功能提供必要的处理。下面就软件的界面简要介绍软件的主要功能。图1 1图像处理软件界面图像处理软件的主要界面如图1 1 ，从这一界面可以看到该软件的两个主要功能模块：图像采集模块和图像处理模块。图像采集模块包括四个功能项：1 视频输入：初始化视频输入设备，创建显示窗口，把视频图像采集到显示器。2暂停继续：对动态图像进行定格或取消定格，在显示卡缓存中保存某一帧图像。3 图像采集：把当前显示窗口显示的一帧图像写入内存，而且作为采集的数字图像重新显示。4 关闭视频：关闭视频显示窗口，关闭视频设备。图像处理模块包括多个功能项，概括为：1 图像增强：对比度均衡、滤波、锐化等。硕士论文图像处理在人脸识别系统中的应用2 图像分割：常用的模板匹配边缘检测方法、扩展异或边缘检测等。3 图像压缩编码：主要实现了算术编码、并把小波分析应用于压缩编码中。在主要的界面中可看到两个面板，图像直方图面板和像素r g b 面板，它们始终在位于各窗口的最前面，提供当前活动窗口图像的统计信息和单个像素信息。图像直方图面板提供活动窗口图像的直方图信息，在直方图坐标系中，横坐标为灰度值，从左到右灰度值递增( 0 2 5 6 ) ，纵坐标为归一化的频率，频率最高的像素对应标准长度“1 ”。该面板还可分别显示图像的红、绿、蓝及灰度的直方图。像素r g b 面板实时显示当前鼠标的位置、该位置对应的像素的r g b 值及其颜色。除了上述介绍的功能外，还为实现此两个主要功能模块提供辅助处理，如局部图像的复制与粘贴，图形学方面的一些基本操作，在此就不一一介绍了。接下来的两章内容将着重介绍两大功能模块的实现及相关知识。硕士论文图像处理在人脸识别系统中的应用2 人脸图像采集模块2 1视频输入简介视频输入设备主要包括c c d 摄像头、视频采集卡。视频输入过程为：光学图像通过c c d 摄像头，进行光电转换，输出图像的模拟视频信号，通过电缆传送到视频采集卡，由采集卡对信号处理，产生模拟r g b 信号，输入计算机处理。下面将对主要的视频输入设备简要介绍。c c d 摄像头本课题采用日本w a t e c 公司生产的黑白图像摄像头。型号为：w a t 一2 0 3 ；电源：d c 一1 2 v ；功率：2 2 w ；镜头参数：f1 6 m r r d l 6( 焦距光圈) 。性能：自动测光( a u t oi r i s ) ，视频输出( v i d e oo u t ) ，分辨率( 3 0 0 * 2 0 0 ) 。视频采集卡本课题所使用的采集卡是创新公司的v i d e ob l a s t e r 视霸卡。v i d e ob l a s t e r视霸卡以c h i p s 公司的8 2 c 9 0 0 1 a 为控制芯片，和p h i l i p s 公司的数字视频处理芯片一起组成，它将模拟的视频信号采样，转化为数字信号，处理后变成模拟r g b 信号，采用混叠技术( o v e r l a y ) 与p c 机文本信息在显示器上混合显示，它具有稳定性好、性能价格比高等特点。v i d e ob l a s t e r 视霸卡的结构如图，从图2 1 可见它的视频部分有三个功能模块：视频信号输入模块、视频信号窗口控制模块、视频信号显示模块。模拟- - - )视频信号时钟产生器回一回二囤显示缓存y -图2 1v i d e ob l a s t e r 视霸卡结构图由于v i d e ob l a s t e r 视霸卡采用混叠( o v e r l a y ) 技术，即叠加视频，因此需要了解p c 机的视频技术，以便开发相应的程序。与p c 机有关的全运动视频硕士论文图像处理在人脸识别系统中的应用有两类：数字视频和模拟视频。数字视频是视频源被“采集”或“数字化”之后以数字形式存放在计算机硬盘文件中的视频，数字视频可以按恒定的速率进行采集。与此相反，模拟视频是输入到叠加视频卡并显示在计算机屏幕上的恒定视频流。电视或录像机的输出信号均为模拟视频。与数字视频不同的是，模拟视频不需要计算机硬盘上的存储空间，并且模拟视频的显示也不占用计算机c p u 的处理时间。所有与模拟视频显示有关的操作都是由叠加视频卡完成。在w i n d o w s 程序运行时，其所有可见的部分( 如窗口、菜单、按钮、图形等等) 都通过p c 机中的视频图形适配卡( v g a 卡) 而显示出来。所有的w i n d o w s程序都共享v g a 卡中的帧缓冲区。而叠加视频的显示不经过v g a 卡。叠加视频卡往往通过一个称为特征连接器( f e a t u r ec o n n e c t o r ) 的连接与v g a 卡相连。叠加视频卡将v g a 卡的输出信号与叠加视频卡的输出信号合并，形成组合信号显示在计算机的监视器上。如图2 2 给出叠加视频卡的连接情况。为了在应用程序中正确地使用叠加视频卡，必须熟悉有关叠加视频的一些基本术语和概念，它们在m i c r o s o f t 定义的d i g i t a lv i d e om c i 命令集中体现。叠加视频的播放涉及四个不同的区域( r e g i o n s ) ：视频( v i d e o ) 区，帧( f r a m e )区，源( s o u r c e ) 区与目标( d e s t i n a t i o n ) 区。视频区指的是可进入叠加视频卡的输入视频的区域，此区域尺寸最大，并且可以扩充到与板的视频缓冲区的尺寸相同。帧区指的是视频卡的帧缓冲区中用以接收进入视频数据的区域。源区指的是显示在目标窗口中的帧缓冲区区域。目标区指的是目标窗口的客户区，用以显示帧缓冲区中的视频数据。图2 3 给出了叠加视频设备的不同区域及其关系。硕士论文图像处理在人脸识别系统中的应用v g 卡视频叠加板图2 。2叠加视额卡与v 1 b 卡的连接。一源1 帧缓多1视频茜厍l 陌l 萄一献l ，l 图2 3 叠加视频卡的不同区域及其关系硕士论文图像处理在人脸识别系统中的应用2 2 视频应用软件开发接口通常不同的视频硬件生产商提供不同视频的二次开发包，不利于通用视频软件的开发。因此，操作系统的开发商推出基于其操作系统的视频软件开发工具，而硬件生产商也提供统一的软件开发包，使应用程序可以与设备无关的方式控制视频设备。具有代表性的是微软公司的v f w 和惠普等公司提供的t w a i n 开发包底层视频开发工具。而较高层次的开发工具是微软的媒体控制接口m c i 技术。下面将简要介绍这些视频开发工具。2 2 1v f wv f w ( m i c r o s o f tv i d e of o rw i n d o w ) 是微软公司为开发基于w i n d o w s 的视频捕捉、视频编辑和视频播放等视频应用程序提供的软件开发工具。该开发工具包含了开发视频应用程序所需要的接口函数( a p i s ) ，以求简化开发基于w i n d o w s 的视频应用程序的工作。v f w 包括a v i c a p 、m c i a v i 、d r a w d i b 、a v i f i l e 、i c m 等多个组件，通过这些组件间的协调工作，来完成视频图像的捕捉、播放、编辑、文件管理等各种功能。图描述了v f w 各组件的相互关系。图2 4v f w 各组件关系图( 1 ) 在视频捕获程序中，v f w 利用a v i c a p 子集生成a v i c a p 窗口类来完成视频捕获。( 2 ) v f w 利用d r a w d i b 子集来完成视频的编辑。d r a w d i b 提供了高9堡主笙奎堕堡竺璺垄叁堕望型墨堕! 塑堕旦性能的d i b 图像的绘画能力。d r a w d i b 可利用i c m 将a v i 文件转化为d i b 位图，利用i c m 来支持压缩的d i b 位图。( 3 ) a v i c a p 、d r a w d i b 都可以通过i c m ( 可选的压缩管理器) 来访问a v i f i l e 子集。( 4 ) v f w 利用a v i f i l e 为视频的捕获、播放、编辑等提供文件的管理功能。视频图像的捕获：v f w 是利用a 、，i c a p 子集来开发视频捕捉应用程序的。a v l c a p 子集包括一个a v i c a p 窗口类、与视频捕捉相关的回调函数、向a v i c a p 窗口发送消息命令的消息宏函数集。a v i c a p 支持实时视频流捕获和单帧捕获。此外，a v i c a p 可以控制视频源的开始和结束位置，并加入了如序列帧捕获等功能。用a v i c a p 生成的捕获窗口具有以下功能：将音频和视频流捕获到a v i 文件。动态地连接或断开音频和视频输入设备。以叠加( o v e r l a y ) 或预览( p r e v i e w ) 模式显示输入的实时视频信号。指定捕获所用的文件，并可将捕获文件的内容拷贝到。设置捕获速率。显示控制视频源和视频格式的对话框。创建，保存和载入对话框。将图像和调色板拷贝到剪贴板。捕获和保存d i b 格式单帧图像。最后，需要指出的是a v i c a p 所能提供的功能是硬件相关的，许多功能，如以叠加( o v e r l a y ) 模式显示视频，捕获音频，以及所支持的视频采集格式是否可用等应由所选择的视频捕获设备而定，具体应用设计时要根据硬件所支持的性能来灵活处理。所幸的是，我们可以通过检查c a p d r r v e r c a p s 结构来获取捕获驱动器的能力，并通过a v i c a p 提供的v i d e os o u r c e ，v i d e of o r m a t ，v i d e od i s p l a y 对话框来对捕获参数进行设置。o硕士论文图像处理在人脸识别系统中的应用2 2 2t w a i n 规范随着扫描仪、数码相机及其他视频采集设备的应用，需要创建他们的用户接口。为了解决客户应用程序的接口问题，惠普、柯达等六家主要的公司成立了t w a i n 工作组，为输入设备定义了开放工业标准接口。标准接口允许应用软件使用通用t w a i n 接口与各种类型的输入设备连接而不用生成设备特定的驱动程序。这种方法有以下优点：应用软件开发商可以对单个t w a i n 规范编码。它允许应用软件与遵守t w a i n 的所有输入设备连接。设备生产商可以为他们的专有设备编写设备驱动程序，并通过遵守t w a i n 规范，使其设备被所有遵守该规范的应用软件使用。对于用户来说，可以通过遵守t w a i n 的应用软件，调用相同的t w a i n驱动程序，使用不同的硬件设备。t w a i n 规范有以下特点：1 支持多个平台：包括m sw i n d o w s 、苹果公司的m a c i n t o s ho s 、u n i x和i b m 的0 s 2 。2 支持多种设备：包括扫描仪、数码相机、视频采集卡等。3 被广泛接受的标准接口：t w a i n 是定义得很好的标准接口，它使硬件制造商和软件应用以及驱动程序开发商能提供t w a i n 的应用软件和识别t w a i n 的驱动程序。4 标准扩展性和反向兼容性：t w a i n 体系结构对于新型设备和新的设备性能来说，是可扩展的，新版本的规范是向后兼容的。5 多数据格式：t w a i n 允许传送比如t i f f 、d i b 等标准数据格式，也可以用于其他数据类型。t w a i n 的体系结构t w a i n 体系结构定义了一套应用程序接口( a p i ) 和协议以从输入设备中获取数据。它是一种分层结构，如图所示。由应用软件层和设备层以及夹在它们之间的协议层和采集层组成。协议层负责应用软件层和采集层之间的通信，它规范了由源提供的服务，包括：建立设备的对话，生成数据和数据传送。采集层含有虚拟设备驱动程序，与设备驱动程序直接相互作用，这一虚拟层称为硕十论文图像处理在人脸识别系统中的应用源。设备层包含设备驱动程序，用以接受软件命令并相应地控制设备硬件，它通常由设备制造商开发。一一一一图一一一一圈! ? 冀掌，k 、网r 力协媚l 源管理器l盼姚毛方辱、图2 5t w a i n 体系结构2 2 3 媒体控制接口( m c i )采集层设备层m i c r o s o f t 的媒体控制接口( m e d i ac o n t r o li n t e r f a c e ，m c i ) 技术提供了标准的播放多媒体设备和记录多媒体文件的命令，使应用程序可以与设备无关的方式控制音频和视频设备。m c l 支持命令字符串和命令消息两种方式控制m c i 设备，可以在m c i 应用程序中使用其中的任何一种或混合使用这两种方式。命令消息接口包含常数和结构信息，而且必须使用全局函数m c i s e n d c o m m a n d 向某个m c i 设备发送消息。而命令字符串接口则提供命令消息的文本版本，它是比命令消息接口更高级的m c i 接口，它使用全局函数m c i s e n d s t r i n g 向某个m c i 设备发送字符串。m i c r o s o f tw i n d o w s 操作系统在向指定的m c i 设备发送字符串之前将其解释成相应的命令消息。下文简要介绍全局函数m c i s e n d c o m m a n d 、m c i s e n d s t f i n g 的运用，详细资料请参阅m s d n 。全局函数m c i s e n d c o m m a n dm c i s e n d c o m m a n d 负责向指定的m c i 设备发送一个命令消息，其函数原1 2硕士论文图像处理在人脸识别系统中的应用型为：m c i e r r o rm c i s e n d c o m m a n d ( m c i d e v i c e i di d d e v i c e ，u 1 n tu m s g ，d w o r df d w c o m m a n d ，d w o r dd w p a r a m ) ；m c l 命令消息的语法包含三个元素：常数消息值、包含命令参数的结构和确定命令选项和参数有效字段的标志集合。全局函数m c i s e n d s t r i n g全局函数m c i s e n d s t r i n g 负责向m c i 设备发送一个命令字符串。接收命令的设备由字符串的内容指定。m c i e r r o rm c i s e n d s 仃i n g ( l p c t s t rl p s z c o m m a n d ，l p t s t rl p s z r e t u m s t r i n g ，u i n tc c h r e t u r n ，h a n d l eh w n d c a l l b a c k ) ；m c i 定义了四种类型的命令：系统命令：由m c i 直接处理的命令：必需命令：由驱动器处理的，所有的m c i 驱动器都必须支持这些必需命令及其标志；基本命令：由部分设备处理，如果某个设备支持某个基本命令，则必须支持该命令的预定义标志集合；扩展命令：由特定的设备类型或驱动器处理。下面介绍图像采集类及在该类中使用的m c i 命令表2 1m c i 简要命令m c i 命令字符串m c i 命令消息描述备注c 1 0 s em c ic l o s e关闭m c i 设备必需命令o p e nm c io p e n初始化m c i 设备s a v em c is a v e将数据保存到磁盘文件中基本命令c o p ym c ic o p y将数据保存到剪贴板中m c if r e e z eo v e r l a y ：画面定格m c iu n f r e e z eo v e r l a y ：取消定格扩展命令w h e r em c iw h e r e获取指定源、目的与帧的矩形区蚓m c iw i n d o w控制显示窗口硕士论文图像处理在人脸识别系统中的应用2 3 采集模块程序实现v f w 、t w a i n 及m c i 等视频应用软件开发接口都能实现对视频采集卡的控制，完成视频信号输入、采集等功能。前两者能对硬件进行更全面、更底层的开发，但其程序的开发复杂度也更大，因此，考虑到软件的开发效率，在课题中选择了m c i 作为视频部分的接口，实现了从设备初始化、采集、存储等基本功能，已达到了课题的要求。针对具体的视频采集卡，v i d e ob l a s t e r 视霸卡支持混叠( o v e r l a y ) 技术，图像采集可以这样描述：简单的说，就是光学图像到计算机内存或硬盘的过程：首先初始化视频卡，创建视频窗口，显示，这时光学图像可通过c c d 摄像头、视频卡，显示在显示器中，称该图像为视频图像。接着将视频图像保存为计算机能处理的形式，如写入内存或硬盘；由于采用的是混叠技术，常用的拷屏方法不能获取视频图像，而是由m c i 的c o p y 命令把视频图像复制到剪贴板，再由剪贴板写到内存中，或者用m c i 的s a v e 命令把视频图像保存到硬盘中。不论在内存还是硬盘，所获图像的格式均为d i b ( 设备无关位图) 。整个过程可用下图描述：d i b ( 内存)图2 6图像的采集过程如果直接对图像进行处理，则把图像保存在内存中，若只保存图像，稍后再进行处理的，则保存在硬盘中，可根据需要选择方案。本课题选用前者，可直接对动态图像进行处理。综上所述，用m c l 的基本命令开发了一个图像采集类i m a g e c a p t u r e ，实现了主要界面图1 1 中图像采集的四个功能项：视频输入、暂停继续、图像采集、关闭视频。具体该类的定义如下：c l a s sl m a g e c a p t u r e硕士论文图像处理在人脸识别系统中的应用p u b l i c ：i m a g e c a p t u r e 0 ；v i r t u a l i m a g e c a p t u r e 0 ；v i r t u a ld w o r do p e n ( c w n d4 p w n d ) ；打开采集卡，并初始化v i r t u a ld w o r dc l o s e ( ) ；关闭采集卡s t a t i cd w o r dc l o s e a l l 0 ；关闭所有的m c i 设备直接把采集到的图像保存到硬盘v i r t u a ld w o r ds a v e l m a g e ( l p c s t ri p f i l e n a m e )获取显示窗口的尺寸大小c r e c tg e t s h o w r e c t 0 ；画面定格取消定格v i r t u a lb o o lf r e e z e ( )内存中图像操作函数h a n d l ec o p y h a n d l e ( h a n d l eh )h a n d l eg e t l m a g e h a n d l e 0 ；是否反馈m c i 错误信息v o i dr e p o r t e r r o r s ( b 0 0 1b r e p o r t )p r o t e c t e d ：m c i s e n d c o m m a n d 的重新定义d w o r ds e n d c o m m a n d ( u i n tu m s g ，d w o r df d w c o m m a n d ，d w o r dd w p a r a m ) ；硕士论文图像处理在人脸识别系统中的应用m c i 错误信息反馈s t a t i cv o i ds h o w e r r o r ( d w o r dd w e r r o r ) ；m c i e r r o rg e t l a s t e r r o r 0c o n s t ；成员变量p r o t e c t e d ：m c i d e v i c e i dm w d e v i c e l dh w n d mh w n d ；b o o lm _ b o p e n e d ；b o o lm _ b f r e e z e d ；i n ti nn w i d t h ；i n tm _ n h e i g h t ；p r i v a t e ：m c i e r r o rn ld w l a s t e r r o r ；b o o lm _ b r e p o r t e r r o r s ；p u n i c ：h a n d l em _ h d i b ；) ；利用图像采集类l m a g e c a p t u r e 把光学图像采集到计算机后，下文将介绍图像处理模块，可进行图像增强、图像分割、图像压缩，提供了常用的方法和一些新的方法，供处理选用。硕士论文图像处理在人脸识别系统中的应用3 图像处理模块及其算法图像处理模块是人脸识别系统的一部分，是后续模块，如识别模块、人脸数据库模块的基础，为其提供质量好的图像和分析信息。接下来将介绍图像处理模块的具体功能以及实现这些功能所采用的算法。3 1 图像处理模块的功能如图3 1 所示，图像处理菜单下提供了亮度调整、均衡对比度、平滑、边缘检测以及图像压缩等功能子项，总的可以概括为以下几个方面：1 图像增强：对比度均衡、滤波等。其中对比度均衡采用的直方图修正的算法，而滤波采用中值滤波的算法。2 图像分割：常用的模板匹配边缘检测方法，如s o b e l 算子、p r e w i t t 算子等，以及扩展异或边缘检测方法。3 图像压缩编码：主要实现了算术编码、小波变换压缩编码。在程序实现过程中，用了3 个类实现了以上功能，它们的定义及相互关系将在第5 章中介绍。下文将主要叙述图像处理各功能模块采用的算法以及所得结果的分析。图3 1 图像处理菜单硕士论文图像处理在人脸识别系统中的应用3 2 图像增强图像在采集过程中，由于光线等外部环境因素、摄像头、采集卡噪声等内部因素以及在实际处理中需要突出感兴趣的信息，采集到的人脸图像并不能满足识别的具体要求，对图像进行强化处理也是必须的。图像增强是不考虑图像降质的原因，将图像中感兴趣的特征有选择地突出，而衰减其它不需要的特征，故改善后的图像不一定逼近原图像。如突出目标物轮廓，去除各类噪音等等。从图像质量评价观点来看，图像增强的主要目的是提高图像的可读性。图像增强有两类方法：空域法和频域法。在本课题中采用的是空域法，对空问域内对像素灰度值直接运算处理，如直方图修正、图像空域平滑和锐化处理等。3 2 1 直方图修正采集到的图像会由于采集图像时不均匀的曝光，掩盖了对系统来说很重要的图像细节，重现这些细节是有待解决的问题。而直方图修正是解决这个问题的有效手段，它通过构造灰度级变换，改造原图像的直方图，使原图像灰度级集中的区域拉开或使灰度分布均匀，从而增大反差，使图像的细节清晰，达到增强的目的。设原图像灰度范围为【z 。，乙 ，通过变换后，得到新图像的灰度范围为 z ，乙，】，其中k k 。为了讨论方便，把灰度范围归一化为【0 ，1 。设其中原图任一灰度级z 归一化为，变换后的图像任一灰度级z 归一化为s 。显然，r ，s 应当满足：0 r 1 0 s 1因此，直方图修正就是由r 到s 的映射过程，用公式表示为：s = t ( r )( 3 2 1 )或r = t 。f s )( 3 2 2 )式中t ( r ) 为变换函数，它必须满足下列两个条件：( i ) t ( r ) 在0 r 1 区域内是单值函数，且单调增加。堡主堡壅堕堡竺里垄堕堡型至竺主盟璧旦( 2 ) t ( r ) 在0 r 1 内满足0 t ( r ) l 。条件( 1 ) 保证了灰度级从黑到白的次序，而条件( 2 ) 保证变换的像素灰度级仍在允许的灰度级范围内。图所示的变换函数可以满足这些条件，其逆变换函数t 。( s ) 也满足上述条件。sls k = t ( r 0o图3 2变换函数曲线假定用p ，( r ) 和p 。( s ) 分别表示原图像和变换后的图像灰度级概率密度函数。根据概率论的知识，在已知p 。( r ) 和t ( r ) 时，且t _ 1 ( s ) 也是单调递增，则p s ( s )可由下式求出：p 。( s ) ： p 。( r ) 孚】。= t - i ( s )( 3 2 3 )t fr ) 根据需要来选择，为了能从图像中获得尽量多的信息量，使图像熵尽可能大，常要求p 。( s ) = 常数，即所谓的直方图均匀化。或说，图像中所有灰度出现频率相等的图像，所包含的信息量最大。对于数字图像，为了进行直方图均匀化，先求出变换函数：= 丁c k ，= 妻p r 0c 。，= 圭1 = 0 鲁 后：j ： i ：一，c 。z 。，j ；，1 ，“j逆变换函数为f k = t 。1 ( s k ) 0 s k 1( 3 2 5 )如图2 1 所示，对比修正前后的直方图，可以看出直方图均衡化后，图像直方图趋于平坦化，且灰度间隔被拉大，从而有利于图像的分析和识别。硕士论文图像处理在人脸识别系统中的应用( c )( d )图3 3 直方图均匀化实例( a ) 原始图像；( b ) 原始图像直方图；( c ) 均匀化后图像；( d ) 均匀化后图像直方图3 2 2 图像滤波在人脸图像采集过程中，不可避免地受到噪声的干扰，在获得的图像中留下痕迹。为了改善图像质量，避免噪声对抽取图像特征的影响，需要消除图像噪声。这部分工作称之为图像滤波。滤波可以在空间域进行，也可在频域进彳于。硕士论文图像处理在人脸识别系统中的应用由于本系统采集到的图像偶尔出现点状的噪声，因此本文采用空间域中的中值滤波的方法。中值滤波中值滤波是一种对干扰脉冲和点状噪声有良好抑制作用，而对图像边缘能较好保持的非线性图像增强技术。在一维形式下，中值滤波是一个含有奇数个像素的滑动窗口，经排序后，窗口像素序列为 e 一。，一，f i 。，e ，f l + 。，一，e + 。)v = ( l 一1 ) 2 ，l 为窗口长度，f 即为窗口像素的中值滤波输出。记作g 。= m e d f i 。，f i ，f + 。)( 3 2 6 )m e d ) 表示取窗i = 1 中值。有一维推广n - - 维，这是取某种形式的二维窗口，将窗口内像素排序，生成单调二维数据序列 f 。 。类似于一维，二维中值滤波输出g ( j ，k ) 为g ( j ，k ) = m e d f j k ( 3 2 7 )一般来说，二维中值滤波器比一维滤波器更能抑制噪声。二维中值滤波器的窗口形状可以有多种，如线状、方形、十字形、圆形等。有以往的经验看，方形或圆形窗口适宜与外廓线较长的物体图像，而十字形窗口优选于有尖顶角的物体图像。针对人脸轮廓的边缘检测，采用的是方形窗口。下列图是对含有点状噪声的图像进行中值滤波，( a ) 为含噪声的图像，( b )为滤波后的图像。通过对比，滤波能部分消除噪声的影响，但清晰度下降。( a ) 含噪声的图像( b ) 中值滤波后的图像图3 4 中值滤波实例2 1硕士论文图像处理在人脸识别系统中的应用3 3 图像边缘提取用整一幅人脸图像进行识别，运算量太大，对硬件要求过高，在实际系统中不实用。因此，提取图像的特征非常必要，而人脸的轮廓、各脸部器官的轮廓是重要的特征，提取图像特征也就要提取这些轮廓的边缘。边缘特征既为人脸识别提供高效的信息，也将为人脸数据库提供特征检索索引。总而言之，边缘提取是整个系统重要的一环。图像边缘提取的基础是像素间的相似性和跳变性。边缘提取首先检出图像局部特性的不连续性，然后再将这些不连续的边缘像素连成完备的边界。常用的提取边缘的算法有边缘算子法、模板匹配法等，以下主要介绍模板匹配法。3 3 1 模板匹配边缘检测为了在图像中检测出人脸的轮廓及各脸部器官的轮廓，使用形状模板与图像匹配，在约定的某种准则下检测出边缘。根据模板的不同，适合检测出图像中不同方向、不同形状的边缘，如直线、曲线等等。本课题实现了水平、垂直s o b e l 算子，水平、垂直p r e w i t t 算子等边缘检测方法，下面将叙述这些方法的计算理论。模板是为了检测某些图像区域特征而设计的阵列。模板元素和窗口像素之间的对应关系( 以3x3 窗口为例) 定义如下：模板im “一l 肘吐om lf眇】= ，一，眠，。m l( 3 3 1 )m l ，一lm 邶m l l 窗口灰度j 厂( f 一1 ，一1 ) 厂( f 一1 ，) ( f 一1 ，+ 1 ) f f - ) 厂( f ，一1 )，( f ，)厂( f ，+ 1 ) f( 3 3 2 ) ，( f + 1 ，1 ) 厂( f + 1 ，) ，( f + 1 ，j + 1 ) f也可把上述模板阵列和图像窗口阵列堆叠成9 维向量形式：硕上论文图像处理在人脸识别系统中的应用庸蚓一雕? ：i 种类mu一1ol14 21s o b e l 算子一压0 芝oo0101一l 一2 1一l0l11lp r e w i t t 算子loloo0lo1- 1 l 一1。1一2 4 4 4 2- 4080 4l o g 算子482 48 4408042 4 4 4 2硕士论文图像处理在人脸识别系统中的应用3 3 2 扩展异或边缘检测除了以上提到的常用的边缘检测的方法外，本文提出了扩展异或边缘检测方法。扩展异或边缘检测是基于数学形态学的边缘检测方法，对图像进行形态学的基本运算，其边缘检测的结果还是比较理想。通过数学形态学的基本变换，说明此边缘检测的算法。形态学中定义了两个基本的变换，称为腐蚀和膨胀。x、b x 1 1b 【x 2 图3 5b 【xj 的三种口 能的状态对于一个给定的集合( 即图像) x 和另一个集合( 即结构元素) b ，将b在图像上移动。在每个当前位置x ，b x 】只有三种可能状态( 如图3 1 ) 。b x x ；b x x ；b x n x 与b x n x 。均不为空；其中，x 。为的补集。则满足的点的全体构成结构元素与图像的最大相关点集，称这个点集为b 对x 的腐蚀( 简称腐蚀) ，记为x o g 。形式上，它的定义为x b 2 x lb x 至x ( 3 3 5 )如果b 包含了坐标原点o ，那么x e g 将是x 的一个收缩。反过来，将x 中每一个点x 扩大为b x 。这就是膨胀运算，记为x o b 。它定义为x o b = ub x ( 3 3 6 )x e x与之等价的定义形式为x o b = ux b ( 3 3 7 )b e b它们的运算过程如图3 6 所示。2 4硕士论文图像处理在人脸识别系统中的应用个b心ix o b( a )x 。b( b )( d )图3 6 形态学腐蚀、膨胀运算图在上述两个基本运算的基础上，可以构造出形态学运算族，它由上述两个运算的复合和集合操作( 并、交、补等) 所组合成的所有运算构成。其中最重要的组合运算是形态学的开和闭。对图像x 及结构元素b ，用x o b 表示x 对b 的开运算。用x b 表示x 对b 的闭运算，则它们定义为x 。b = ( x o n ) 0 b ，( 3 3 8 )x b = ( x o b ) 0 百( 3 3 9 )因此，x o b 可视为对腐蚀图像x 豆用膨胀来进行恢复。而x b 可看作对膨胀图像x o b 用腐蚀来进行恢复。一般来说，这一恢复产生信息丢失，不可逆的。留。令一硬缘一彩一o图3 7 扩展异或运算硕士论文图像处理在人脸识别系统中的应用根据形态学的思想，提出了扩展异或边缘检测的方法，对于二值图像而言，可以这样描述：令结构元素b 为一个像素，用b 对图像x 进行膨胀运算，然后膨胀图像x o b 与原图x 异或运算，得到x 的边缘，可用下图表示：在实际灰度图像中，x 是不能确定的，因此采用扩展的方法而不是膨胀的方法，即以图像的几何中心为原点，向四周扩展一个像素，而把原图像最边缘的像素去掉，一般情况这些点不是图像的兴趣区域，而不影响兴趣区域的边缘检测；扩展后的图像x 、与原图像x 按位作减运算，由于边缘产生灰度突变，边缘的差值教大，而非边缘区域差值较小，所以作差后的图像能突现边缘。通过实际程序获得的结果，证明这种方法边缘检测的效果较理想，但其抗噪声性能较差，需要其他预处理消除噪声的影响。3 3 3 图像边缘检测性能比较下面一组图像是对5 1 2 5 1 2 像素的l e n a 图像进行边缘检测而得到的结果图。