（系统工程专业论文）人体简单姿态识别技术研究.pdf

北京科技大学硕士学位论文 摘要 人体视觉分析是近年来计算机视觉领域中备受关注的前沿方向，它在虚拟现实、视 觉监控、知觉用户界面( p u i ) 等领域均有着广阔的应用前景。人体运动分析一般包含运 动检测、运动目标分类、人体跟踪、行为理解和描述四个阶段。本文采用了一种改进的 光流算法对运动人体进行检测，并采用序列比对的方法进行人体的行为识别。主要工作 如下： 首先简要论述生物特征识别技术，评述兹人在步态识别领域的一些研究方法和途 径。并扼要介绍步态识别采用的理论和方法，总结其研究现状和进展。同时介绍本文的 研究背景和研究内容。 其次对图像序列进行运动分割及图像的预处理，光流算法对噪声十分敏感，经过帧 间差分、数学形态学等工作后，最终得到人体的运动序列，为后续的光流计算准备了良 好的基础。 再次针对传统光流法的缺点( 平滑假设在阴影、边界、遮挡处不成立) ，采用一种改 进算法，即通过计算光流方程的h e s s i a n 矩阵，把h e s s i a n 矩阵条件数的倒数作为 l u c a s k a n a d e 光流法的加权阵，可有效消除局部邻域中不可靠约束点，同时提高基本约 束方程解得稳定性。通过这种改进的方法，可以计算运动人体图像序列光流场，得到人 体运动信息的特征流。 最后运用序列比对的方法进行人体的动作识别。该算法利用量化光流场得到的方向 直方图构造出一个公共模板库及其索引序列库，借助序列比对方法实现了行为识别。 关键词；生物特征识别，步态识别，光流场，行为建模，序列比对 1 北京科技大学硕士学位论文 t e c h n i q u e so ns i m p l eh u m a ng e s t u r er e c o g n i t i o n a b s t r a c t v i s u a la n a l y s i so fh u m a ni sc u r r e n t l yo n eo ft h em o s ta c t i v er e s e a r c ht o p i c si nt h ed o m a i n o fc o m p u t e rv i s i o n t h i ss t r o n gi n t e r e s ti sd r i v e nb yaw i d es p e c t r u mo fp r o m i s i n ga p p l i c a t i o n s i nm a n ya r e a ss u c ha sv i r t u a lr e a l i t y ，s m a r ts u r v e i l l a n c e ，p e r c e p t u a lu s e ri n t e r f a c e ，e t c i ng e n e r a l ， t h eh u m a nm o t i o nv i s i o na n a l y s i si n c l u d e st h ef o l l o wf o u rs t e p s ：m o t i o nd e t e c t i o n ，m o v i n g o b j e c tc l a s s i f i c a t i o n ，p e o p l et r a c k i n g , m o t i o nu n d e r s t a n d i n ga n dd e s c r i p t i o n i nt h i sp a p e r , a n i m p r o v e do p t i c a lf l o wa l g o r i t h mt od e t e c th u m a nm o v e m e n ti sp r o p o s e d a n du s et h es e q u e n c e a l i g n m e n tm e t h o dt oi d e n t i f yt h eh u m a nm o v e m e n t t h em a i nw o r ka sf o l l o w s ： f t r s t l y ，t h i sp a p e rb r i e f l yi n t r o d u c e sb i o m e t r i c sa n dt h ep r e d e c e s s o r sr e s e a r c ho nm e t h o d a n dt h e o r yo fg a i tr e c o g n i t i o n m o r e o v e r , t h eb a c k g r o u n da n dt h ew o r ko fo u rr e s e a r c ha r ea l s o d e s c r i b e d s e c o n d l y ，t h es e q u e n c eo fi m a g ei sd e a l e dw i t hm o t i o ns e g m e n t a t i o na n di m a g e p r e p r o c e s s i n g , a n dt h eo p t i c a lf l o wa l g o r i t h mi ss e n s i t i v et on o i s e t 1 1 es e q u e n c eo fh u m a n m o v e m e n ti sa c q u i r e db yi n t e r - f l a m ed i f f e r e n t i a la n dm a t h e m a t i c a lm o r p h o l o g ya tl a s t , w h i c h p r e p a r e df o rt h ef o l l o w - u po p t i c a lf l o wc a l c u l a t i o n t h i r d l y , a ni m p r o v e da l g o r i t h mb yt h es h o r t c o m i n g so ft r a d i t i o n a lo p t i c a lf l o w i s i n t r o d u c e d ( i nt h es h a d o w 、b o r d e ra n dc o v e r i n gc o n d i t i o n s ，s m o o t h n e s si sa s s u m e dt o f a l s e ) t h a ti s , t h eh e s s i a nm a t r i xo fac o n s t r a i n e de q u a t i o ni s c o m p u t e d a n dt h er e c i p r o c a lo f c o n d i t i o n a lo p e r a t o r so fh e s s i a nm a t r i xi st a k e na st h ew e i g h t e dm a t r i xo f l u c u s k a n a d e f l o wf i e l d n l i sm e t h o d 伽ie l i m i n a t et h eu n r e l i a b l ec o n s t r a i n e dp o i n t so fl o c a ln e i g l l b o r h o o d ， a n di n c r e a s et h es t a b i l i t yo ft h eb a s i cs o l u t i o no ft h ec o n s t r a i n e de q u a t i o n t h i si m p r o v e d m e t h o dc a nc o m p u t et h e o p t i c a lf l o wo ft h eh u m a nm o v e m e n ts e q u e n c e s ，a n da c q u i r e c h a r a c t e r i s t i cf l o wo fh u m a nm o v e m e n ti n f o r m a t i o n f i n a l l y ，t h es e q u e n c ea l i g n m e n tm e t h o dt oi d e n t i f yt h eh u m a nm o v e m e n ti sd i s c u s s e d m i i sa l g o r i t h mu s e st h ed i r e c t i o nh i s t o g r a mo fq u a n t i f yo p t i c a lf l o wt oc o n s t r u c ta p u b l i c t e m p l a t el i b r a r ya n di n d e x i n gs e q u e n c e sl i b r a r y t h eh u m a nm o v e m e n ti d e n t i f i c a t i o ni s a c h i e v e db yt h es e q u e n c ea l i g n m e n tm e t h o d k e yw o r d s ：b i o m e t r i ei d e n t i f i c a t i o n , g a i tr e c o g n i t i o n ，o p t i c a lf l o w , b e h a v i o rm o d e l i n g , s e q u e n c ea l i g n m e n t n 独创性说明 本人郑重声明：所呈交的论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得 北京科技大学或其他教育机构的学位或证书所使用过的材料。与我一同 工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表 示了谢意。 签名：! 么丝日期：旦2 ：仝 关于论文使用授权的说明 本人完全了解北京科技大学有关保留、使用学位论文的规定，即： 学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公 布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论 文。 ( 保密的论文在解密后应遵循此规定) 签名：饮名墨 导师签名：蝉日期：j 洋 北京科技人学硕士学位论文 引言 课题研究背景 人体运动视觉分析的主要目的，是从一组包含人的图像序列中检测、识别、跟 踪人体，并对其行为进行理解和描述。大体上这个过程可分为底层视觉模块( 1 0 w 1 e v e l 。v i s i o n ) 、数据融合模块( i n t e r m e d i a t e 1 e v e lv i s i o n ) 和高层视觉模块( h j g l l 1 e v e l v i s i o n ) 。其中，底层视觉模块主要包括运动检测、目标跟踪等运动分析方法；数据 融合模块主要解决多摄像机数据进行融合处理问题；高层视觉模块主要包括目标的 识别，和有关于运动信息的语义理解与描述等。 人体运动的视觉分析的最终目标就是使计算机能像人那样通过视觉观察和理解世界 【1 1 0 也就是通过观察来分析和理解人的个人行为、人与人之间及人与其他目标的交互行 为等。所以人的行为理解与描述是需要引起高度注意并且是最具挑战的研究方向之一， 正逐渐成为研究的热点i 捌。 由于人体的运动是一个复杂系统，具有很大的自由度和高度的非线性特点，以及关 于行为、事件、状态有着不同的概念，所以如何选择充分有效的表达方式来描述场景中 的人的行为是非常困难的。在早期的对运动的机器感知工作中n a g c l 【4 】通过使用“变化 ( c h a n g e ) 、事件( e v e n t ) 、动词( v e r b ) 、情节( e p i s o d e ) 、历史( h i s t o r y ) ”来反映问题的不同尺 度。后来b o b i c k l 5 】却是采用了“运动( m o v e m e n t ) 、动作( a c t i v i t y ) 、行为( m o t i o n ) ”来反映 问题的不同尺度。对于不同尺度的问题对应需要采用与之对应的相关领域的知识来处 理。 f a t i hp o r i k l i 和t e t s u j ih a g a l 6 】开发了一个事件检测框架。提取运动目标大量的动力 学特征和形状特征，首先使用谱聚类来自动获得模型的个数，然后训练相应 h m m ( h i d d e nm a r k o vm o d e l ) 模型，实现行为识别及异常行为的检测。该算法的优点是 自动聚类，但是生成模型并不具有实际的语义信息。a l e x e ia e f r o s 和a l e x a n d e r c b e r g ，g 托f 7 】等人提出了种薪的描述运动的时空模板。该算法先通过计算前景目标 的光流场，然后将光流场映射到四个通道中，通过多次的高斯滤波来泛化这四个通道来 生成模板，最后用得到的时空模板来进行在线的行为识别。j k a g g a r w a l 和s a n g h o p a r k s l 综述了高层视觉处理中的四个最主要方面：1 ) 人体建模；2 ) 理解人的行为所需的 各种层次的细节元素；3 ) 人的行为识别的方法；高层的场景语义理解。 一l - 北京科技大学硕士学位论文 本课题以步态识别、行为理解为理论基础，通过求人体步态视频序列的光流序列， 利用序列比对的方法进而进行人体的行为理解。 本文主要研究内容及工作 本文的主要工作是首先对生物特征识别特别是步态识别及其相关技术进行了概述， 然后对步态序列建立光流场，针对步态序列的特点采用序列比对的方法对其进行行为识 别，并通过实验验证了该算法的可行性。 第一章对生物特征识别技术进行了综述，并简单介绍了步态特征识别的特点，分析 了当前步态识别的应用领域、应用前景等问题。 第二章讨论了步态识别技术的基本方法，详细介绍了各方法的特点，总结各种方法 的识别性能和优劣，分析了步态识别技术当前存在的问题、难点。 第三章讨论了运动分割和图像预处理，光流法对噪声十分敏感，针对所研究的课题 采取了帧间差分的方法将人体运动区域提取出来，然后对提取出的人体进行去噪、平滑 等一系列工作，最终得到人体的运动序列，为后续的光流算法和识别准各了很好的基 础。 第四章讨论了光流法的理论并分析了在步态图像序列中的应用。传统的光流计算方 法主要是基于灰度守恒和光流场的平滑性假设，但这些假设在阴影、边界和遮挡性的地 方不再成立。针对传统光流法的缺点，采用一种改进的光流算法，通过对光流约束方程 的二次微分，计算其h e s s i a n 矩阵，把h e s s i a n 矩阵条件数的倒数作为l u c a s k a n a d e 光 流法的加权阵，可有效消除局部邻域中不可靠点，同时提高基本约束方程解得稳定性。 利用该改进光流法可以有效地提取步态运动图像序列的光流，并得到人体的运动信息。 第五章介绍了特征提取的理论和方法，详细介绍了序列比对的方法，行为由一定数 量的有时间顺序的运动所组成的，分析了几种不同的序列相似度的计算方法，通过序列 比对实现特征序列之间的相似性计算，从而实现人体行为的识别。 第六章选取几个比较清楚的动作序列作为模板库中的序列，然后将输入序列与之进 行序列比对，通过相似度来判定动作，本章给出了结论以及对未来的展望。 2 北京科技大学硕士学位论文 1 绪论 1 1 运动人体视觉分析简介 人体视觉分析是近年来计算机视觉领域中最活跃的研究主题之一，其核心是利用计 算机视觉技术从图象序列中检测、识别、跟踪人体并对其行为进行理解和描述，属于图 像分析与理解的范畴。从技术角度而言，人体视觉分析的研究领域相当广阔，主要涉及 到图像处理、模式识别、人工智能等学科知识。它在虚拟现实、视觉监控、感知接口等 领域均有着广阔的应用前景。尤其在美国受到恐怖袭击之后，全球日益关注安全问题， 基于计算机视觉的智能安全监控系统不但能够高效地完成保障安全的任务，还能节省大 量的人力物力。 基于单帧的人体识别与分析是人体视觉分析系统中的重要组成部分，它建立在目标 分类基础之上，为人体跟踪和实时行为理解提供必要的单帧信息。它能弥补基于序列帧 的动态识别的不足，在信息匮乏的情况( 如遥感获取的一幅图象) ，也能进行人体的识别 与分析，同时还为研究时变序列帧中的人的行为理解提供新的可行方案。 人体视觉分析系统包括运动检测( 背景模型初始化、前景运动物体检测) 、目标分 类、运动跟踪、行为理解与描述几个过程。它们之问可能存在交叉，比如有时跟踪过程 中包含了运动检测的使用。 1 1 运动检测 运动检测包括背景模型初始化、前景运动物体检测，它的目的是在图象序列中将前 景运动区域从背景中提取出来。运动检测是运动物体的识别与跟踪的基础，该阶段处理 结果的质量将直接影响到以后处理的效果，所以运动检测在人体视觉分析中的作用非常 重要。 劲目标分类 前景运动区域里面可能包含不同的运动目标，如行人、车辆、飞鸟、流云、摇动的 树枝等运动物体，或者是较大面积的噪声。所以为了便于进一步对行人进行跟踪和行为 分析，需要对运动目标进行识别和分析。它的首要任务和基本问题是获取人体特征和设 计相应的分类决策，即获取人体的特征参数，对其特征进行优化重组，利用适当的分类 决策判别运动物体是人类与否，或进一步展开相关的分析，如判别相应姿态类别等，以 达到对人体姿态等的理解和描述。 人的跟踪 一3 北京科技大学硕士学位论文 人体运动的跟踪即在目标分类后，对连续的图像帧间创建基于位置、速度、形状、 纹理、色彩等相关特征的对应匹配问题。 铆行为理解与描述 行为理解与描述是指对人的运动模式进行分析和识别，并用自然语言等加以描述。 行为理解可以简单地被认为是时变数据的分类问题，即将测试序列与预先标定的代表典 型行为的参考序列进行匹配。 1 2 生物特征识别技术 现代社会对安全的要求越越高，政府提出建立安全和谐社会的目标。监控和识别技 术是建立安全社会的技术基础，它可以发现潜在的威胁，确保社会安全。目前监控技术 分为几类：基于标识知识( k n o w l e d g eb a s e d 如密码) ；基于身份标识物( 如身份证) ；生物 特征识别。前两种方法主要借助体外物，一旦证明身份的标识物品和标识知识被盗或遗 忘，其身份就容易被他人冒充或取代。生物特征识别技术比传统的身份鉴定方法更具安 全、保密和方便性。生物特征识别技术具有不易遗忘、防伪性能好、不易伪造或被盗、 随身“携带”和随时随地可用等优点。 生物可识别特征指可以识别和验证人的身份的生理或行为特征( “ap h y s i o l o g i c a lo r b e h a v i o r a lc h a r a c t e r i s t i c ，w h i c hc a i lb eu s e dt o i d e n t i f ya n dv e r i 毋t h ei d e n t i t y o fa n i n d i v i d u a l ”唧。从定义看出它分为两类： 1 ) 生理特征：直接通过测量人体的某个部分得到，包括指纹、脸部和虹膜等。目前 针对生理特征的识别系统已应用到各种场合，已经有公司采用指纹识别技术进行考勤和 身份验证；美国某银行使用虹膜识别系统验证客户；美国9 1 1 事件后，美国维萨格公 司的脸象识别技术被应用到机场，在人群中找出嫌疑犯。 2 珩为特征：人体行动时表现出的特征，不能被真接测量到，需要时间域特征。包 括击键、笔迹、语音和步态等。 生物特征识别( b i o m e t r i c s ) 技术主要通过计算机利用人体所固有的生理特征或行为特 征来进行个人身份鉴定。我们将生理和行为特征统称为生物特征。一些常用的生物特 征示例如图1 1 所示。鉴别人的身份是一个非常困难的问题，传统的身份鉴别方法是用 身份标识物品( 钥匙、胸卡、证件、a t m 卡) 和身份标识知识( 用户名和密码) 。在一些安 全要求严格的系统中，可以将两者结合起来，例如：a t m 机要用户同时提供a t m 卡 和密码。这些传统的身份鉴别方法存在明显的缺点是个人拥有的物品容易丢失或被伪 造，个人的密码容易遗忘或记错。更为严重的是这些系统无法区分真正的拥有者和取得 身份标识物的冒充者，一旦他人获得了这些身份标识的事物，就可以拥有相同的权力。 一4 一 北京科技大学硕士学位论文 而生物特征识别技术能够克服那些传统方法所存在的问题，它通过度量难于篡改的 人自身的内在特性来提供准确的身份保证。 生物特征识别各有其特点，有不同的应用场合。衡量生物特征识别的特性包括成熟 度( m a t u r i t y ) 、准确度( a c c u r a c y ) 、可测量性( s c a l a b i l i t y ) 、代价c c o a ) 、侵犯性( o b t r u s i v e - n e s s ) 、传感器规模( s e n s o rs i z e ) 等。目前没有一种生物识别技术可以达到1 0 0 的准确 性，如有些指纹无法提取特征，患白内障的人虹膜会发生变化导致无法识别。因此生物 识别领域出现把多种生物特征结合起来进行识别的趋势，如脸部和唇【1 0 1 ，脸部和步剁1 1 l 等。 图1 1 生物特征识别示例图 在中国，由于技术的不成熟，2 0 0 2 年的整体市场中，指纹识别的市场占有超过 9 8 的份额。其他识别技术的市场基本没有启动。这说明中国的市场是一个潜力更大、 具有更高增长可能性的市场。同时中国1 3 亿人口的国家规模就决定了中国也是未来全 球最大的生物特征认证技术市场。 1 3 步态特征识别 步态在牛津英语词典中的定义为：“am a n n e ro f w a l k i n go rf o r w a r dm o t i o n ”( 走动的 样式) 。尽管步态分析在医学、心理学等诸多领域有着长期的研究，但使用步态作为生 物特征用于身份识别则是近年来计算机视觉领域中相对新兴的研究课题。 早期的医学研究1 1 2 , 1 3 1 也分析了人体的步态由2 4 个部分组成，如考虑到一个人步态 的所有特征，那么某个人的步态特征是唯一的。精神物理学上的研究表明人类的视觉能 一5 北京科技大学硕士学位论文 够很容易地根据人的走路姿态识别出一个人；但对于机器来说，自动识别熟人却相当 复杂，用计算机快速、准确地通过人体的步态来识别人仍然是一件相当困难的事情。近 来s t e v e n a g c 和n i x o n 等人的研究i “j 再次确认了利用步态识别人的可能性。 相比较基于指纹和虹膜等其它生物特征的身份识别技术，步态特征具有非侵犯性、 非接触性、难于隐藏和伪装、易于采集等优点，而且目前它也是远距离情况下唯一可感 知的生物特征。 1 ) 飞禽犯性、非接触性一人的行走的步态能被秘密提取，而用户并不知道他或她 正在被观察和分析。在信息收集阶段，步态不像指纹和虹膜识别那样需要用户的密切协 作，接触指纹仪、注视虹膜捕捉器等。 劲难于隐藏和伪装甥i 如银行抢劫犯通常会带上头盔、面罩、眼镜和手套，此 时人脸和指纹等其它生物特征不在发挥作用。然而，人必须行走，因此人的步态通常是 可见的。同时，人一般不会故意伪装自己的行走行为。如果设法这样傲的话，那么他或 她的奇怪行为在视觉监控中将表现的更加可疑。 3 ) 易于采集步态识别不要求所捕捉的图像必需要有非常高的质量，然而其它生 物特征识别技术通常在分辨率低或图像模糊时无法进行识别。 4 ) 远距离识男| 卜- 指纹和脸像等生物特征通常需要近距离或接触性的感知，而步态 完全可以远距离地进行捕捉，因此它提供了在远距离情况下识别人的可能性。 当然，步态也有其自身的缺点，它易受到各种物理条件和环境的影响，如心情、衣 着、身体变化( 如骨折) 的影响。以及怀孕、醉酒、涉及到关节的生理伤害的影响等，人 体行走时携带的物体也会影响行人行走方式；相同的人在不同的时期可能会由于体重、 身高、习惯姿态、骨架等的变化而不同。而其它生物特征也有着相应的缺点，如容易被 伪装和更改等，特别是当个体想摆脱识别而不给予合作的时候，几乎无法进行识别。 1 4 课题研究目的和应用前景 一 人体视觉分析具有广阔和重要的应用范围。目前，人体视觉分析主要应用领域有智 能视觉监控、智能人机接口和人体运动的细节分析以及虚拟现实等i 坶 1 ) 智能视觉监控 传统的视觉监控系统是由一个或多个摄像机及与之相连的一套电视监视器组成的 1 6 1 ，它主要用于对安全敏感地点的监控( 例如停车场、车站、银行、军事禁区等) 。需要 人员连续监视屏幕，这种工作不但非常枯燥，而且随着监控区域的日渐广阔，想要对这 些场景进行2 4 小时监控就需要增多人手，并且人长期监视屏幕很容易疲劳，因而可能 造成漏警。所以传统系统不但浪费大量的人力而且有时监控效果并不好。而智能视觉监 6 一 北京科技大学硕士学位论文 视系统可以自动地滤除大量多余信息而只对与安全相关的信息进行处理，一旦发现异常 现象立即报警，这样监视人员就可以对突发事件及时进行处理。 智能人机接口 智能人机接口可自动地对入的动作进行捕获和识别f 比如对人的手语进行翻译并调 用相应的功能) ，响应人的指令，可以代替传统的输入和控制设备完成人机交互。由于 它通过非接触视觉控制设备和控制接口完成人机交互，所以它的应用领域极其广泛，可 用于残疾入使用的某些设备、游戏控制或用于高噪音环境等情况。 劲人体运动的细节分析 人体运动的细节分析即分割图象中的人体部分，在图象序列中跟踪并分析感兴趣的 运动细节，比如分析人体的运动机制用以辅助运动员的训练或舞蹈训练，或对人的步态 进行分析用以辅助进行人的身份识别。 铆视频会议 当前由于带宽限制，视频信号由于数量很大，所以很难在1 t c m c t 上实时播放，而 人体的运动分析可以把一个场景的前景区域从背景区域中分割出来。如果用于视频会 议，可以首先把背景区域传导接受点，以后只传输前景区域及状态信息，这样可以大大 减小数据的传输量，使实时的视频会议成为可能。类似可用于基于物体的视频压缩。 由于人体视觉分析在虚拟现实、视觉监控、感知接口等领域均有着广阔的应用前景 和潜在的经济价值，所以开展这方面的研究有着重大的意义。 7 北京科技大学硕士学位论文 2 运动人体说觉分析基本方法 目前，基于计算机视觉的步态特征提取与身份识别研究处于起步阶段。此课题研究 既要有基于视觉的人体运动分析的背景知识，又要有步态的生物力学分析、生物特征识 别等研究领域的背景知识，需要多个学科领域的理论知识，知识综合性较强。针对本文 所要做的工作，这里主要介绍与步态相关的运动目标检测方法、目标分类方法，并详细 介绍了有关步态识别的相关研究、主要采用的方法、主要的研究难点等。 运动检测 l 目标分类 上 人体跟踪 l 行为理解 与描述 图2 1 基于视觉的人体运动分析处理框架嗍 2 1 运动目标检测方法 运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有 效分割对于目标分类、跟踪和行为理解等后期处理非常重要，因为以后的处理过程仅仅 考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、 影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。下面归纳出目前三 种常用的方法。 1 1 背景差方法( b a c k g r o u n ds u b t r a c t i o nm e t h o d ) 背景差方法是目前运动分割中最常用的一种方法，它实现简单，不需要特别的设 备。背景差假设摄像设备固定，提取一帧不包含感兴趣对象的图像作为背景。当前帧减 一8 北京科技大学硕士学位论文 去背景帧，差值大于某个阙值的像素点就是感兴趣的，不同场景阈值不同，需要研究者 根据经验确定。 背景差对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最简单的 背景模型是时间平均图像，大部分研究人员目前都致力于开发不同的背景模型，以期减 少动态场景变化对于运动分割的影响。为处理背景缓慢变化的情况1 1 7 ，堋，提出一种周期 性更新背景的方法。背景帧每t 帧更新一次，像素点的b 的值由图像同一像素点的值和 系数： b t 1 一q ：+ 0 一a ) b i ( 2 1 ) 还有许多更复杂的方法去除噪声和处理多变的背景，例如，h a f i t a o g l u 等1 1 9 】利用最 小、最大强度值和最大时间差分值为场景中每个像素进行统计建模，并且进行周期性的 背景更新；m c k e n n a 等1 2 0 i 利用像素色彩和梯度信息相结合的自适应背景模型来解决影 子和不可靠色彩线索对于分割的影响；文献【2 1 】提出自适应背景提取算法处理光照突 变。该算法利用像素点采样值的亮度分量，采用统计的方法给场景每个像素点的亮度值 建模，通过时问滤波器保持其序列均值和偏差；根据光照的变化对像素点亮度值的影响 的分布情况，实现光照突变检测和像素点的自适应更新；采用将视频图像分块的方法， 实现了对运动对象的快速抽取和跟踪该算法具有较低的时间、空问复杂度和可调的误 检率。 帧间差分法 文献【2 2 1 f 2 3 】提出时问差分方法是在连续的图像序列中两个或三个相邻帧之间采用基 于像素的时间差分并用阅值化来提取图像中的运动区域。l i p t o n 等1 2 4 弄1 j 用两帧差分方 法从实际视频图像中检测运动目标，进而用于目标的分类与跟踪；一个改进的方法是利 用三帧差分代替两帧差分，文献1 2 3 1 中v s a m 开发了一种自适应背景减除与三帧差分相 结合的混合算法，它能够快速有效地从背景中检测出运动目标。时问差分运动检测方法 对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在 运动实体内部容易产生空洞现象。 光流法 光流是空间运动物体被观测面上的像素点运动产生的瞬时速度场，包含了物体3 d 表面结构和动态行为的重要信息。一般情况下，光流由相机运动、场景中目标运动，或 两者的运动产生。当场景中有独立的运动目标时，通过光流分析可以确定运动目标的数 - 9 一 北京科技大学硕士学位论文 日、运动速度、目标距离和目标的表面结构。光流研究已经在环境建模、目标检测与跟 踪、自动导航及视频事件分析中得到了广泛的应用。光流计算方法大致可分为三类：基 于匹配的、频域的和梯度的方法嘲。 光流法的总体思想是：给图像中每个像素点赋予一个速度矢量，这就形成了一个图 像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应 关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。 如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的，当物体和图像背 景存在相对运动时，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检 测出运动物体的位置。 光流估计一直是计算机视觉研究领域的热门课题。运用光流法的理论依据是基于图 像强度( i n t e n s i t y ) 的不变性和光流的一致性假定。 强度不变性约束 根据视觉感知原理，客观物体在空白j 上一般是相对连续运动的，在运动过程中，投 射到视网膜( 或传感器) 上的图像实际上是连续变化的。因此，可以假定运动图像 l ( x ，y ，f ) 是关于变量x ，y 和t 的连续函数。设物体成像点在时问t ，位置o ，j ) ，) 的强度 为t ( x ，) ，f ) 。 若用u ，v 表示图像点o ，y ) 的水平和垂直方向的速度分量，则在时刻( f + a t ) 图像 点从0 ，y ) 运动到位置 + d x ，) ，+ 方) ，对应的强度值为t ( x + d x ，y + d y ，t + 出) ，其中 d x 。u d t ，咖一 ，d t ，分别表示点o ，y ) 在水平和垂直方向的位移。根据强度不变性 假定。在d t 很小的情况下，图像上对应的点强度保持不变，即； l ( x ，_ ) ，f ) 一l ( x + d x ，y + 磋y ，t + a t ) 将上式用一阶t a y l o r 公式展开，并忽略高阶项，可得著名的光流约束方程 ( o f c e ) ： i xx u + i y v + j 。一0 ( 2 3 ) 空间光滑性约束 由于光流约束方程( 2 3 ) 是含有u ， ，两个未知量的线性方程，所以必须附加其它的 约束条件才能求解。在许多情况下物体的运动速度是局部光滑的，随着点的改变而缓慢 1 0 北京科技大学硕士学位论文 变化，在局部区域变化非常小。特别是在目标作无变形刚体运动时，各相邻像素点具有 相同的运动速度，即相邻点速度的空间变化率为零。当采用最小二乘准则时，有： 2 一e + 争；。 ( w ) 2 _ e + 一。 若光流光滑性项用b 0 ，v ) 表示，则： e s ， ，) 一p ( v u ) + p ( v ，) ( 2 4 ) ( 2 5 ) ( 2 6 ) 显然，上式反映了运动物体的局部平滑性，可作为新的条件与光流约束方程联立求 解。 近些年来，光流计算的局限性已得到了广大学者的关注，出现了提高经典光流计算 的鲁棒性方法，取得了可喜的进步。然而，在问题描述和求解方面，与实时应用仍存在 一定差距。关于光流更加详细的讨论可参见b a r t o n l 2 6 等的文章。 除了上面提到的背景差法和光流法，在运动变化检测中还有一些其它的方法，如 f r i e d m a n 与r u s s e l l 利用扩展的e m ( e x p e c t a t i o nm 懿i i n i z a t i o n l 算法吲，为每个像素建立 了混合高斯分类模型，该模型可以自动更新，并能自适应地将每个像素分类为背景、影 子或者运动自订景，在目标运动速度缓慢的情况下亦能较好地完成运动区域的分割，同时 可以有效地消除影子的影响；另外，s t r i n g a 也提出了种新颖的基于数学形态学的场景 变化检测算法 2 8 ，在变化的环境条件下获得了相对稳定的分割效果。 2 2 特征提取 特征提取在统计模式分类中指的是把原始特征映射到更小的一组特征上，主要是靠 线性的或其他的变换完成。当特征的维数过高时，为了减小计算复杂度有必要减小维 数。特征提取在步态识别有着大量的应用，b e n a b d e l k a d 一2 9 1 用相关图区分行人和车的 运动以识别行人。作者对相关图做主元分析，用主成分做识别工作。n i x o n p o , 3 1 l 等用行 人图像的主元分析( p ( 狐) 靠步态识别行人。 - 1 1 北京科技大学硕士学位论文 下面介绍三种线性特征提取方法：主元分析法酬c o m p o n e n ta n a l y s i s ： p c a ) ，线性判别法( l i n e a rd i s c r i m i n a n ta n a l y s i s ：u ) 和子空间线性判别法( s u b s p a c e l i n e a rd i s c r i m i n a n ta n a l y s i s ：s u b s p a c e - l d a ) ；三种方法的目的都是计算得到一个线性 变换或者是一个p x q 的矩阵w 把原始特征空间中的p 维特征向量s 映射为q 维的特征 向量i w 7 s ，q 远小于p 。w 由给定的训练集数据决定。 1 ) 主成分分析方法( p c a ) 主成分分析是基于k - l 变换的线性特征提取方法，目的使得变换后的总的离散度 最大。给定一个p 维向量训练集：扛l ，石2 ，j 。 ，总的“散布矩阵”( s c a t t e r - m a t r i x ) 或 “离散度矩阵”为 s 一一埘) 瓴一优) 7 ， 七- 1 其中槐一吾薹h 对应于变换的向量i w 7 工的散布矩阵为： g o v ) 一w 7 s w 对于p c a ，最优的w 由最大f e g o u ) 得到 暇一a r g 唧x f 缈) f ( 2 7 ) ( 2 8 ) ( 2 9 ) 可以证明暇就是散布矩阵s 的前q 个特征向量。由于s 为实对称矩阵，因此其特 征向量都是互相正交的。这些特征向量构成了在p 维空间的一个正交基，使得主成分的 均方误差最小，矩阵的方差最大。 用最少的特征表示数据p c a 是最优的。然而，它的主要缺点就是这种变换最大化 了整个的散度，包括类问散度和类内散度。而类内散度与判别有关联。因此，如果数据 的总的离散度很大程度来自于类内散度的话，那么前几个主成分就包含了不必要的散 度，这样变换后对于分类结果不起什么作用。 1 2 北京科技大学硕士学位论文 劲线性判别分析( l d a ) 虽然用p c a 方法代表数据样本非常有效，但是并没有理由表明主成分对区分不同 的类别有什么大作用。如果我们把所有类别的样本都放在一起，则被p c a 方法抛弃的 那些分布方向有可能正是能够把不同的类别区分开来的分布方向。例如，在印刷体字符 识别中，如果需要区分字母“o ”和“q ”，用p c a 方法能够发现这两种字母之间的相 似之处，却很可能把区分字母“o ”和“q ”的那个“尾巴”特征抛弃掉。也就是说 p c a 方法寻找的是用来有效表示的主轴方向，而判别分析方法( d i s c r i m i n a n ta n a l y s i 曲寻 找的是用来有效分类的方向。 设，哆，啡为c 个模式类，n ，类中有m ，个样本向量，模式工? 代表第j 类 第i 个厅维样本向量。设最，s 。和s ，分别表示训练样本的类间散布矩阵、类内散布矩 阵和总体散布矩阵。由其定义知，咒，s 。和s 均为非负定矩阵，且满足= s b + s 。 cm l s w2 再善( x ? 一) o ? 一孑) r & 2 荟， 一习 7 一习r 其中j ，j 分别表示第j 类的均值和总体均值。 f i s h e r 准贝u 函数定义如下： 嘭一a r g m w a x ，工0 ( 2 1 0 ) ( 2 1 1 ) ( 2 1 2 ) 上式的解矩阵的列向量为s 。和s 。的q 个非零广义特征向量。既为广义特征向量求 解问题。 - 毛6 咚一九s 。t o k ， k 一1 ，口 1 3 ( 2 1 3 ) 叫一叫 翌 陟一陟 北京科技大学硕士学位论文 由于s 6 的秩最多为( c 1 ) ，上式最多有( 。1 ) 个解。因此吁s ( c 1 ) 。因此新的特征的 个数q 受训练集类的个数影响。这是该方法的最主要的缺陷。另外，当且仅当s 6 和s 。 都为非奇异矩阵时，h 0 才存在。由于s 6 和s 。都是p x p 的矩阵，且品的秩最多为( c - 1 ) ，s 。的秩最多为( m 曲，所以样本向量维数n 必须满足下列条件： 月之( c 一1 ) ，l ( 掰一c ) ( 2 1 4 ) ( 2 1 5 ) l d a 的另外一个缺点是在实际中，尤其是当训练集小。不具有代表性时，该方法 泛化能力很差。 3 ) 子空间线性判别分析( s u b s p a c e - l d a ) 该方法主要是解决在高维分类问题中用l d a 训练少的采样值问题。公式限制应用 l d a 的样本特征向量维数，一个解决办法就是先用p c a 分析原始数据，用r ( p ，r ，q 1 个主成分( p r i n c i p a lc o m p o n e n t ：p c s ) 估计原始数据，然后再利用l d a 。这样最优的w 由 式( 2 1 6 ) 获得： ( 2 1 6 ) 在实际应用中，选择哪种特征提取方式不仅与该问题领域有关，而且和训练数据集 大小有关。对于三种方法来说共同的问题就是子空间维数( 对于p c a 和l d a 为q ，对于 s u b s p a c e l d a 为q 和n 的选择1 3 z j 。 2 3 模式分类 模式识别技术作为一门有着系统理论基础和技术的方法在手写体文字识别，车牌识 别，人脸识别，语音识别和步态识别等领域得到了广泛的应用。目前主流的识别方法主 要有：统计模式识别法、句法模式识别法、模糊数学方法、人工智能方法以及目前应用 越来越多的人工神经网络( a n n ) 、支持向量机( s v m ) 、隐马尔可夫( h m m ) 的方法。 2 3 1 统计模式识别法 这类识别技术理论较完善，方法也较多，但从根本上讲，都是直接利用各类的分布 特征，即利用各类的概率密度函数、后验概率或隐含的利用上述概念进行分类识别。其 中根本的技术为聚类分析、判别类域代数界面法、统计决策法、最近邻域法等1 4 0 l 。一般 1 4 北京科技大学硕士学位论文 来说，不同类的模式可以被区分是因为它们所属类别在特征空间中的类域是不同的区 域。显然这些区域重叠的部分越小或完全没有重叠，类别的可分性越好，因此可以用几 何距离来构造类别的可分性判据。为了应用方便，下面给出一些重要的距离定义1 3 3 】。 1 1 点与点的距离 在行维特征空间中，特征点4 一( 口。，a ：，a 。) 7 与特征点b 一( b l ，b ：，b 。) 7 之间的欧 氏( e u c l i d e a n ) 距离为： d ( 口，6 ) l ( 口一6 ) 7 ( 4 6 ) 】- i 【荟q t 一饥)