（测试计量技术及仪器专业论文）基于光流技术的mems平面微运动特性的测量.pdf

摘要 随着微机电系统( m e m s ) 从研究阶段逐渐步入产业化阶段，对测试技术的 需求越来越迫切，特别是m e m s 动态测试技术，因其能够测量m e m s 三维运动， 分析m e m s 动态特性、材料特性以及机械力学参数等关键数据，已成为m e m s 测试技术的重要组成部分。而研究如何在m e m s 运动过程中i 己录瞬间运动状态， 并恢复m e m s 面内的运动历程，则是m e m s 动态测试技术实现平面微运动测量 的关键。 论文基于光流技术，对m e m s 动态特性中的平面微运动特性的测量开展了 研究，主要工作包括以下几个方面： 1 系统建调研和分析了微机电系统、微机电系统测试技术及微机电系统平 面动态特性测试技术的研究现状、应用领域和发展趋势，说明了m e m s 动态测 试技术的重要性和对其开展研究的必要性； 2 引进了光流技术，比较了光流场与二维运动矢量场之间的联系和区别， 并通过讨论光流场估值中存在的问题，提出了几种典型的光流场估计算法； 3 基于m e m s 平面运动测试系统，采集到高速运动的m e m s 器件不同相 位对应的清晰图像序列，利用光流技术对特定驱动频率下采集到的图像序列进行 分析。提出基于邻域优化算法和置信点光流约束算法分别分析m e m s 器件的平 面运动历程，并在置信点光流约束法的基础上，又分别提出r 置信点约束的全局 方法和置信点约束的最小二乘法，充分利用它们各自的优点，可以得到既毁密又 鲁棒的光流场，实现m e m s 平面内的平动测量，从而提取器件的运动特性参数； 4 用已提出的算法，进行了模拟实验和应用在实际m e m s 器件中的实验。 分别基于邻域优化法和置信点光流约束法对m e m s 微谐振器的运动历程做分 析，得到了它在特定驱动频率下的运动幅度相位图及其拟合曲线，实现了m e m s 平面特性的精确测量。 关键词= 微机电系统，平面动态特性测试，光流，图像处理，频闪 a b s t r a c t t h ed e m a n d so ft e s t i n gt e c h n i q u ef o rm i c r o - e l e c t r om e c h a n i c a ls y s t e m ( m e m s ) b e c o m em o l ea n dm o r e u r g e n t w h e nm e m si s g r a d u a l l ys t e p p i n g i n t o i n d u s t r i a l i z a t i o nf r o mt h em o m e n to fr e s e a r c ha n dd e v e l o p m e n t e s p e c i a l l y , m e m s d y n a m i ct e s t i n gt e c h n i q u eh a st u m e di n t o a ni m p o r t a n tp a r to fm e m st e s t i n g t e c h n i q u eb e c 枷璐ei t i sa b l et om e a s u r et h r e e - d i m e n s i o n a lm o t i o no fm e m sa n d a n a l y z ev i t a id a t a , s l l e h d y n a m i cd m r a c t e t i s t i c s m a t e r i a lc h a r a c t e r i s t i c sa n d m e e t m n i c a lp a r a m e t e r s m o r e o v e r , t h er e s e a r c ho nh o wt ol e c o r dm o t i o nm o m e n to f m e m sa n dr e c o v e rm e m si n - p l a n em o t i o nc o n r s ei st h ek e yt or e a l i z ei n - p l e n e m i c r o - m o f i o nm e a s u r e m e n tf o rm e m sd y n a m i c t e s t i n gt e c h n i q u e t h i sd i s s e r m t i o nr e s e a r c h e so ni n - p l a n em i c t o - m o t i o nm e a s u l e a l e n tf o rm e m s b a s e do n o p t i c a lf l o wt e c h n i q u e t h em a j o rw o r k s i np a p e ra r ef o l l o w i n g ： 1 a p p l i c a t i o nf i e l d s ，c u r r e n ts t a t e sa n dd e v e l o p m e n tt r e n d so fm e m s ，t e s t i n g t e c h n i q u eo fm e m sa n di n - p l a n ed y 删ct e s t i n gt e c h n i q u eo fm e m sw e r ef u l l y i n v e s t i g a t e da n da n a l y z e d a n di tw a se x p l a i n e dt h a tt h ei m p o r t a n c eo fd y n a m i c t e s t i n gt e c h n i q u eo f m e m sa n dt h en e c e s s i t yo f r e s e a r c ho ni t ； 2 o p t i c a lf l o wt e c h n i q u ew a si n t r o d u c e d ，a n dt h er e l a t i o n sa n dd i f f e r e n c e sb 哉w e e n o p t i c a lf l o wf i e l d sa n dm o t i o nf i e l d sw e r ec o m p a r e d s e v e r a lk i n d so f t y p i c a lo p t i c a l f l o we s t i m a t i o na l g o r i t h m sw me l a b e r a t e do n ； 3 b a s e do nm e m si n - p l a n em o t i o nt e s t i n gs y s t e m ，c l e a rm o t i o ni m a g es e q u e n c e s o f d i f f e r e n tp h a s e so f m e m sd e v i c eo f h i g h - s p e e dm o t i o nw e r ec o l l e c t e d ，w h i c ho f c e r t a i nd r i v i n gf r c q u e n e yw e r ea n a l y z e db yo p t i c a lf l o wt e c h n i q u e n e i g h b o r h c o d o p t i m i z a t i o na l g o r i t h ma n do p t i c a lf l o wc o n s t r a i n ta l g o r i t h mo f b e l i e v a b l ep o i n t s p r o p o s e d t o a n a l y z em o t i o nc o a r s eo fm e m sr e s o n a t o r f u r t h e r m o r e ，ag l o b a l m e t h o d sa n dal e a s t - s q u a r e sm e t h o db a s e do nb e l i e v a b l e p o i n t sc o n s t r a i n tw c r c p r o p o s e d w h o s ea d v a n t a g e sa r em a d ef u l ll l s eo f s ot h a td e n s ea n d r o b u s to p t i c a lf l o w f i e l d sa t eo b t a i n e da n dt r a n s l a t i o nm e a s u r eo fm e m si n - p l a n em o t i o nw a sr e a l i z e d ， a n dt h e nd y n a m i cc h a r a c t e r i z a t i o np a r a m e t e r so f m e m sr e s o n a t o rw e r ea c q u i r e d ； 4 t h ee x p e r i m e n t so fs i m u l a t i o na n da p p l i c a t i o nf o ra c t u a lm e m sd e v i c ew e r e d o n eb yp r o p o s e da l g o r i t h m s t h em o t i o ne n u r s eo fm e m sr e s o n a t o rw a sa n a l y z e d b a s e do nn e i g h b o r h o o do p t i m i z a t i o na l g o r i t h me n do p t i c a lf l o wc o n s t r a i ma l g o r i t h m i i a n dt h e ni t sa m p l i t u d e p h a s ec h a r ta n de o r r e s p o n d e mf i t t e dc u r v ew e r ea c q u i r e ds o t h a tp r e c i s em e a s l l r eo f m e m sp l a n ec h a r a c t e r i z a t i o nw a sa c h i e v e d k e yw o r d s ：m e m s ，i n - p l a n ed y n a m i cc h a r a c t e r i s t i c st e s t i n g , o p t i c a lf l o w , i m a g e p r o c e s s , s t r o b o s c o p i c 耵i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨主盘至或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：承蛹签字吼锄年z 月，日 学位论文舨权使用授权书 本学位论文作者完全了解叁壅盘堂有关保留、使用学位论文的规定。 特授权苤童盘生可以将学位论文的垒部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫插等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：张旷螭 签字日期：另耐年，月j 日 导师签名： 四 签字日期：d 2 铸，月乒日 第一章绪论 1 1m e m s 概述 第一章绪论 微机电系统( m i c r oe l e c t r o m e c h a n i c a ls y s t e m s m e m s ) 是以微电子技术为 基础，采用硅微加工技术、光刻制造成型( l i g a ) 和精密机械加工等多种为加工 技术制作的，关键尺寸在亚微米至亚毫米范围内的微传感器、微执行器和微系统 的总称。它将传感、处理与执行融于一体，以提供一种或多种特殊功能“。1 ，完 成大尺寸机电系统所不能完成的任务，也可以嵌入大尺寸系统中，从而大幅度地 提高系统的自动化、智能化和可靠性水平。m e 鹏以其微型化的优势，在汽车、 电子、家电、机电等行业和军事领域有着极为广阔的应用前景。正如集成电路技 术把我们带入信息时代一样，很多科学家都认为：m e m s 会给人类社会带来另一 次技术革命，它将对2 1 世纪的科学技术、生产方式和人类生活质量产生深远影 响，因而被认为是关系到国家科技发展、国防安全和经济繁荣的关键技术。“1 。 图卜1 为m 跏s 器件模型，它包括感知和控制外界信息( 力、光、声、温度、 化学等) 的传感器和执行器，以及进行信号处理和控制的电路，是更广泛意义上 的集成芯片系统( s y s t e mo nc h i o ，s o c ) 。 l 垄 寸 。_ - 叫能量 执咂 行+ l 运动 臣丑， 船 it 器咂 田+ 传 回+ 感 陌私 器 l 其它l o l 与其它系统的通讯，接口 叫其它 感测量光，q 磁 控制量 图卜1m d 临器件模型 m e m s 是受集成电路工艺的启发发展起来的，它具有集成电路系统的许多优 点，同时又集约了多种学科发展的尖端成果8 。般地说，m e m s 具有以下非约束 性的特征： ( 1 ) 尺寸在毫米到微米范围之内，区别于一般宏( m a c r o ) ，即传统的、大 于1 厘米尺度的“机械”，但并非进入物理上的微观层次； ( 2 ) 基于( 但不限于) 硅微加工( m i c r o f a b r i c a t i o n ) 技术制造； 第一章绪论 ( 3 ) 与微电子芯片类同，可大批量、低成本生产，性能价格比传统“机械” 制造技术大幅提高； ( 4 ) m e m s 中的“机械”不限于狭义的机械力学中的机械，它代表一切具有 能量转化、传输等功能的效应，包括力，热、声、光、磁，乃至化学、生物能等； ( 5 ) n i e m s 的目标是微“机械”与i c 集成的微系统一有智能的微系统。 m e m s 技术自2 0 世纪8 0 年代末开始受到世界各国的广泛重视，其主要技术 途径有3 种：( 1 ) 以美国为代表的、以集成电路加工技术为基础的硅基微加工技 术；( 2 ) 以德国为代表发展起来的l i g a 技术；( 3 ) 以日本为代表发展的精密加工 技术。1 9 8 7 年，美国u cb e r k e l e y 大学发明了基于表面牺牲层技术的微马达， 引起国际学术界的轰动，人们看到了电路与执行部件集成制作的可能性，这是 l e ) 4 s 技术的开端。1 9 8 8 年，美国的一批著名科学家提出“小机器、大机遇”， 并呼吁：美国应当在这一重大领域发展中走在世界的前列。1 9 9 3 年，美国a d z 公司采用该技术成功地将微型加速度计商品化，并大批量应用于汽车防撞气囊， 标志着i a e m s 技术商品化的开端。2 0 世纪9 0 年代，发达国家先后投巨资并设立 国家重大项目促进其发展。此后，m e m s 技术发展迅速，特别是深槽刻蚀技术出 现后，围绕该技术发展了多种新型加工工艺。近来，美国朗讯公司开发的基于 m e m s 光开关的路由器已经试用，预示着m e m s 发展又一高潮的来临。目前部分器 件已经实现了产业化，如微型加速度计、微型压力传感器、数字微镜器件( d m d ) 、 嚷墨打印机的馓喷嘴、生物芯片等，并且应用领域十分广泛。近年来国际上m i d s 的专利数正呈指数规律增长，说明m e m s 技术全面发展和产业快速起步的阶段已 经到来。 经过十几年的发展，我国己在微型惯性器件和惯性测量组合、机械量微型传 感器和制动器、微流量器件和系统、生物传感器和生物芯片、微型机器人和微操 作系统、硅和非硅制造工艺等方面取得。一定成果。现有的技术条件己初步形成 m e m s 设计、加工、封装、测试的一条龙体系，为保证我国) e m s 技术的进一步发 展提供了较好的平台。但是，由于历史原因造成的条块分割、力量分散，再加上 投入严重不足，尽管已有不少成果，但在质量、性能价格比及商品化等方面与国 外差距还很大。 正是由于m e m s 包含了许多新的交叉学科，多数成果还停留在实验室研究阶 段，仍有不少问题需要解决。 首先，需要进一步开发和改善m 髓s 加工技术，简化工艺流程，扩大可加工材 料的范围，提高产品的合格率，降低成本，逐步使产品实用化、商品化： 其次，为了优化m e m s 的设计和制造，还需要进行许多相关的基础研究。比如： ( 1 ) 微型材料的物性和力学性能的基础研究，包括：小尺寸效应下的材料 第一章绪论 理论分析( 如弹性性能、残余应力、蠕变、屈服、粘弹特性、微损伤等) 和新的 实验测试方法的研究以及相关测试设备的研制，逐步建立和完善材料数据库等： ( 2 ) 为m e m s 设计找出相应的设计规律：m e m s 的建模( 包括小尺度情况下的 流体和传热的计算、多能域耦和的计算) ，计算机的仿真和辅助设计，逐步积累 建立设计知识库： ( 3 ) 研究微型执行器运动机理，研制m e m s 能源供给系统； ( 4 ) 研究m e m s 能量转换机理和能量转换系统； ( 5 ) 建立微型机械自律和并列分散控制系统，实现对m e m s 的智能控制； ( 6 ) 研究m e h l s 与外部世界的关系，建立宏观与微观的连接方式等。 上面分析可以看出，无论是m e m s 的基础研究，还是m e m s 的商品化，都离不开 测试环节。有效的测试手段能够帮助科研人员积累m e m s 的认识，加速研发进程， 有效的信息反馈有助于工艺的改进，产品可靠性和合格率的提高。 m e m s 器件的研发过程如图1 2 所示。在整个研发过程中，测试起了关键的作 用。m e m s 器件加工好后，需要经过测试才能得到器件的性能，然后决定下一步的 工作。因此集成化、自动化的m e m s 澳j 试系统对于更好地进行故障定位，优化m e m s 的设计和加工工艺，加速研发进程，降低封装成本等都具有十分重要的现实意义。 圈l zm 翻s 器件的研发过程 1 ，2m e m $ 平面动态特性测试技术研究现状 在m e m s 动态特性钡4 试领域的研究中，根据m e m s 器件的不同及其运动特性， 动态特性测试技术包括两大类：一个是平面动态特性测试技术；一个是离面动态 特性测试技术。本文的研究主要基于平面动态特性测试技术，因此在这节中，将 m e , i s 平面动态特性测试技术的国内外研究现状加以详细讨论。 在m e m s 平面动态特性测试技术研究中，根据测量原理来分，主要有以下四 种：基于模糊图像的测量原理、基于频闪动态成像的测量原理、基于高速摄影成 第一章绪论 像的测量原理及基于激光多普勒的测量原理。下面就举出基于这些测量原理的较 为经典的测试系统。 1 、美国空军研究实验审的d a n i e lj b u r n s 等基于模糊图像的测量原理实 现了m e m s 器件平面微运动纳米级分辨率的高精密测量“3 。他们建立的实验系统 如图卜3 所示。 恒 涮岍墟 斟 酬睬枭挂块 一一馨髂帆i 一一皇礅缱l 吐 氰 一教搪盖 懂块卜_ | 亲集琏配辱卜_ 1 般测一s l缝 款 j， 荐 盯祗蕊丽耳_ 山苗矗 一拄甫i 适配器 图卜3 基于模糊图像技术的测试系统框图 该系统采用连续光照明，以怎样获取振动结构运动振幅的定量测量来描述它 的工作原理：首先采集两幅视频图像，幅是器件静止时的”静止图像“，另一幅 是器件正弦运动时的”模糊图像4 。然后将静止图像与对应于不同振幅正弦运动的 一组模糊图像合成。这只在检测刚开始时做一次。这些合成的图像保存在内存中。 在不同频率的检测中，获取的运动图像顺序的与每一个候选合成图像相比较，利 用最小二乘拟合法，最佳逼近实际的模糊图像即可获得此频率下的运动振幅。通 过扫频测量，进而计算出器件谐振频率和品质因数等参数。这种技术的特点是测 量系统简单，容易实现自动化，频率测量上限不受频闪方法中光脉冲宽度的限制， 而由测试器件的驱动系统决定，因而频率测量上限可以超过2 0 m h z 。但是测量精 度较频闪方法有所降低，且测试器件的运动幅度不能过低( 最好在亚微米量级以 上) ，否则无法形成可供分析的模糊区域。 2 、美国u cb e r k e l e y 大学b s a c ( 传感器与执行器中心) 的c h r i s t i a nr e m b e 等人建立了频闪显微干涉系统( s m i s ) ，如图l 一4 所示。该系统基于频闪动态 成像原理，利用软匹配的运动估计技术实现m 酬s 平面徼运动的测量，运动幅度 的分辨率在2 0 x 物镜下是3 6 n m ，所采用的匹配准则是最小均方误差法则。同时 他们将面内运动的测量数据和离面运动的钡4 量数据有机结合，通过图像传递实现 运动的全三维测量。 第一章绪论 图1 4 基于频闪显微干涉技术的动态测试系统 3 、美国m i t 的f r e e m a n 教授领导的研究小组研制的干涉计算机微视觉系统 ( i c m v s ) 如图卜5 所示。对于m e m s 器件的平面微运动，他们同样基于频闪 动态成像原理，并基于光流和块匹配的方法实现亚像素级的高精度测量。其中， 光流算法通过估计灰度在时闻和空闻上的导数来确定图像闯的位移，块匹配算法 通过使原始图像问的偏移量的差最小化来确定图像间的位移。运动幅度的分辨率 最高可达2 5 n m 。这种方法适合小位移的运动估计。 样 图l 一5 计算机微视觉测试系统示意图 4 、德国u n i v e r s i t yo fu l m 的c h r i s t i a nr e m h e 等人系统地开展了基于高 速摄影成像技术的m e l d s 动态测试技术的研究“，他们建立的测试系统如图1 6 所示。 第一章绪论 图l - 6 实时高速摄影成像系统 系统中利用的显微镜为a x i o p l a n 2 ，高速摄像机为i m a c o n4 6 8 ，曝光时间为 l o n s ，每秒钟可实时采集l 亿帧 _ i e m s 器件的动态图像。该系统主要测量采用频 闪成像技术无法实现的非周期性或非可重复性的平面微运动。利用该系统，他们 开展了微涡轮平面转动过程的实时测量，研究了器件的动力学特性。在分析微系 统的动态特性时，首先是利用高速摄影采集一组动态图像序列，然后对被测建立 数学模型，将两者相结合，从中提取作用在微器件上的力和转矩信息。实验结果 表明，空问分辨率达4 0 0 n m 。 5 、德国p o l y t e c 公司系统地开展了将激光多普勒测振技术应用于m e _ i s 动态 测试系统的研究工作”“，该公司结合激光多普勒测振技术和频闪视觉显微的特 点，将微扫描振动仪与频闪视觉显微成像系统相融合，研制出混合微运动分析系 统( h y b r i dh o n ) ，如图i - 7 所示，为m e m s 三维振动的快速、精确、高分辨率的 测量提供了最优方案，代表了当今m e m s 动态特性测试的最新发展技术。系统利 用激光多普勒测振的实时响应能力，对m e m s 激励响应进行宽频带扫描，可快速 获得谐振频率。这种谐振频率的预先测量，使得系统直接对溯量的谐振频率附近 的面内行为进行平面运动分析即可，而不再需要花费大量时间在离散的频率中寻 找谐振频率，此外，激光多普勒测振技术的高分辨率也使得m e m s ( 如悬臂粱) 热噪声振动的测量成为可能，为在不使用激励技术的情况下测试m e m s 的机械性 能提供了必要的技术支持。 天津大学精密测试技术及仪器重点实验室的钟莹、张国雄等提出一种l 匝m s 构件微小振动、位移测量系统，采用外差法激光多普勒技术，以锁相环频率跟踪 第一章绪论 器处理解决多普勒信号脱落、信噪比低等问题，对调相多普勒跟踪信号进行频率 电压转换可以实时地得到被测的速度、位移、加速度、频率等参量，系统可实现 钡4 量分辨力为2 0 r i m 。 图1 7 混合微运动分析系统( m i v l a ) 除了基于这四种较为常规的用于m e m s 平面动态特性的测试原理的测试系统 外，还有基于电子散斑技术的测量方法等用于m e m s 的平面特性测量“j 7 j g o 在m e m s 测试领域，国内外的差距主要表现在：由于m e m s 技术引入较晚，对 传感器的认识还有待深入，现在国内大多数的检测工作还是沿用传统i c 和其它 物理性能的测试方法，自动化程度低，适应性、通用性较差；国内专业厂家在这 方面的敏感性不够，即使在掌握了实时图像处理和分析技术后，但因关键元器件 及配套硬件的制造水平不够( 如高分辨率的c c d 器件、高精度的光学零部件、高 性能的激光干涉系统等) ，国内目前高性能、自动化、集成化的m e m s 测试系统还 没有。 1 3 选题背景与论文的主要内容 针对国际m e m s 发展趋势和未来的产业化前景，结合我国社会经济发展的需 要和国家竞争前的核心技术发展战略，以支撑我国i e m s 产业化发展的应用基础 为切入点，国家科技部将m e m s 确定为“十五”8 6 3 计划重大专项。而动态测试 技术在m e m s 研发过程中具有重要的意义。首先，m e m s 的动态特性决定了m e m s 器件的基本性能：其次，m e m s 微结构三维微运动情况、材料属性及机械力学参 数、m e m s 可靠性与器件失效模式、失效机理等关键问题均可通过m 叫s 动态测试 7 第一章绪论 技术加以解决；同时，通过动态测试技术，还可以研究一系列相关的基础理论问 题，如微尺度下空气流动粘滞阻尼效应对微结构活动构件运动性能的影响机制、 微尺度下的微流体机制和微结构巾传质、传媒的输运机制等。因此，针对m e m s 运动特性测试的理论与技术问题进行研究，形成具有自主知识产权的理论方法与 关键技术，具有重要的现实意义。 天津大学精密测试技术与仪器国家重点实验室建立了基于频闪成像技术和 相移显微干涉技术的m e m s 动态测试平台，实现了m e m s 面内和离面运动的测试。本 文在认真调研和充分分析计算机视觉中的光流分析方法* n m e m s 平面测试技术发 展现状的基础上，结合目前的实验条件，提出采用基于光流技术来测量m e m s 平面 微运动特性的方案，成功得获得了m e m s 微谐振器的动态特性参数。本文的主要内 容有： 1 、回顾国内外m e m s 平面动态特性测试技术的研究现状和发展趋势，并对 国外典型的i e m s 测试系统的性能进行了比较； 2 、介绍了一种重要的运动分析技术光流技术，总结了目前光流算法的 分类，并重点介绍了几种典型的光流算法。阐述了在获得光流场的基础上线性运 动场的分解； 3 、描述了基于计算机视觉和频闪成像技术的m e m s 平面微运动测量系统的 组成，基于此系统，获得了m n i i s 器件瞬间清晰的运动图像序列；提出了利用邻 域优化的光流算法来提取m e m s 谐振器的运动特性参数，并通过研究分析，进一 步改进算法，提出了基于置信点约束的最d - - 乘法以及局部和全局相结合的光流 估计算法； 4 、乖j 用上述算法，进行模拟实验和应用在实际m e z s 器件中的实验，得到 m e m s 器件在特定驱动频率下的幅相特性，并分析比较不同算法对钡4 量结果的影 响。 第二章基于光流技术的二维运动估计 第二章基于光流技术的二维运动估计 在计算机视觉中，运动分析以图像序列为输入，根据二维运动信息米分析三 维世界的运动与结构，目前，二维运动的研究主要有两种方法：连续处理方法和 离散处理方法，它们大体相应于人类视觉中处理短时间小位移和长时问大位移两 种不同的处理过程。1 9 8 1 年，h o r n 9 1 首次提出了运动分析的基本等式，从而开 创了连续处理的时期，以后，各种连续处理方法纷纷涌现，如线搜索方法、图像 匹配方法、相位相关估计方法等，为运动分析带来了勃勃生机。1 9 8 7 年v e r r i 和p o g g i o ”“又以严格的数学模型的分析，对作为连续处理基础的基本等式提出 了严峻的挑战。在二维运动估计中，光流法是重要的连续处理方法之一。 2 1 光流技术 2 1 1 光流的定义 光流( 0 p t i c a lf 1 0 w ) 的概念是g i b s o n 于1 9 5 0 年首先提出的。所谓光流 是指当日标与摄像机之间存在相对运动时，会发现陶像也在发生变化，图像灰度 模式的表面运动，它是图像中模式运动的速度。可用人的视觉系统来说明：当人 在观察动态景象时( 无论是景物在运动或观察者在运动) ，在人眼的视网膜上产 生的不是静止的陶像，而是一系列连续的变化，即产生的是一系歹旺连续的输出信 息，这种连续变化的信息不断“流过”视网膜，好像一种光的“流”，称之为光 流2 1 。当成像物体运动时，图像中的亮度图案也随之移动。光流是可看到的亮 度图案的运动，或称为表观运动( a p p a r e n tm o t i o n ) ”。 从光流的定义可以看出，光流有如下三个要素：一是运动( 速度) 场，这是 光流形成的必要条件；二是带光学特性的部位( 例如有灰度的像素点) ，它能携 带信息；三是成像投影( 从场景到图像平面) 。由于光流具备了这三个要素，因 而能被观察到。 光流在视觉运动的研究中有非常重要的作用。视觉运动分析就是研究如何从 变化着场景的一系列不同时刻的图像中，提取出有关场景中物体的结构、位置和 运动信息。视觉运动分析可分为基于特征的方法和基于光流场的方法两类。 光流包含了目标运动的重要信息，在各种不同问题中，扮演着重要角色，是 计算机视觉研究的一个重点。在理论上主要用于二维图像运动的检测、三维物体 结构和运动参数的估计、运动图像分割及编码等：在实际应用中，可用于移动机 第二章基于光流技术的二维运动估计 器人视觉导航和避障、血流速度和心脏壁运动检测，以及气象和道路交通监控等。 在计算机视觉中，光流是较高层视觉算法的一个重要输入，而这些算法执行着 诸如目标分割、识别、跟踪、机器人导航以及形状信息恢复等极其重要的任务。 从表面的光流恢复三维结构和运动是计算机视觉研究所面临的最富有意义和挑 战性的任务之一。因此，对光流的研究成为计算机视觉及有关研究领域中的一个 重要部分。 2 1 2 光流场与运动场 首先需要区分两个概念：光流场和运动场。当物体在摄像机前运动，或者摄 像机在环境( 静态或动态) 中移动时，我们就会发现图像在发生变化。在图像巾 观察到的表面上的模式运动就是所谓的光流场，面运动场则是三维物体的实际运 动在图像上的投影。 一个运动物体在空间产生一个三维的速度场，运动前后空间对应点在图像上 的投影形成一个( 二维) 运动场，如图2 - 1 所示，对于空间一特定点和它的图像 对应点，满足投影方程( 针孔模型) 。如果摄像机已标定的话，我们可以在规一 化的坐标系下工作，所以有p = z i i i ，其中：是三维点p 的深度，m = p = “v ) 7 是 r m l 图像对应点。这里，我们用齐次坐标来表示图像上的点：而= i ：1l 。将p 对时间 l 1j 求导可得：p = 2 矗i + z 击，这里击= ( 也t 0 ) 7 。令k 为指向深度的单位向量；v 为 1 速度。这样我们就有：v ，= ( k 面+ z ，即v m = = 1 - ( v ：k ) 茄) 此方程确立了 三维速度场v 。，二维运动场v i 和深度z 的关系。值得指出的足运动场v i 是 v z 的函数，即三维速度场除以深度。 光流场是景物中可见点的三维结构在二维成像表面的投影图像中各像素点 运动的速度分布。因此，光流场是一种瞬时速度场。它是一种向量场，每一个向 量表示了景物中一个点在图像中位置的瞬时变化。光流场是计算机视觉的研究的 一个重点，具体研究图像灰度模式的表面运动。 理想情况下，光流场和运动场互相吻合，但实际上并不如此。例如，考虑一 个均匀球( u n i f o r ms p h e r e ) 在一个摄像机前旋转，显然所得的运动场不为零， 如图2 - 2 所示，我们在球的图像上观测到光强度的空间变化，但因为该球是均匀 的，球的图像并不随时问而变化，因而光流场在此情况下到处为零；再考虑一个 第二章基于光流技术的二维运动估计 静止的球，但照明光源在移动，如图2 3 所示，则在此情况下运动场为零，而光 强度的空间变化与光源的位置有关，我们将观测到该球图像灰度的变化，因此， 尽管运动场为零，光流场却不为零。此外，即使外部照明条件不变，由于场景中 目标的平移与旋转运动使其表面法线随之变化，导致某些特殊反射和阴影，产生 不反映二维运动的光流场，此现象称为反射和阴影效应，图2 4 为一个典型的例 子，其中( a ) 为视频序列中菜帧，( b ) 为其后续帧，由于目标运动使得反射区 r 移至r ，阴影区由s 移至s ，显然光流场不能反应实际三维运动的图像面 投影。这几个例子是特殊的情况，说明了光流场和运动场并不都是一样的。 图2 - 1 运动场是对应空间点p 的图像点m 产生的二维运动 图2 - 2 一均匀球绕其轴旋转所得的运动 场不为零但其光流场为零 图2 _ 3 一静止的均匀球因光源的 变化产生了不为零的光流场 第二章基于光流技术的二维运动估计 ( a ) ( b ) 图2 - 4 外部照明不变，由场景中旋转目标的表面法线变化弓 起的反射与阴影变化产生不反映二维运动的光流场 通过对以上所举例子的分析可知，以下几个方面的因素决定光流场只能是二 维运动场的近似，而不能确切的描述三维场景运动的二维图像面投影： 1 ) 光流法运动估值缺少足够的空间图像梯度。要想从序列图像中获得实际 场景中目标运动的二维投影，图像强度( 亮度和色度) 必须有足够的动 态范围表示； 2 ) 照明环境的变化。外部照明环境的变化使得光流场的基本假设不再成 立，这样由光流基本约束方程求取的光流场不能表示三维场景运动的二 维投影矢量场； 3 ) 反射和阴影效应。 由于从视频序列圉像强度信号中一般只能估计光流场，而很难直接得到作为 三维目标运动二维图像面投影的运动矢量场因此，一般来说，我们希望光流场 和运动场差别不大。研究光流场的目的就是为了从序列图像中近似计算不能直接 得到的运动场。虽然，在一些特定环境中，光流场与二维运动矢量场不一致，但 由于估值二维运动矢量场困难，光流场仍可作为其简单而直观的近似。 2 1 3 光流场估值中的问题讨论 2 1 3 1 光流的约束方程 1 9 8 1 年，h o r n & s c h u n c k c q i 告性地将二维速度场与图像灰度相联系，导出了光 流计算的基本等式。它的前提是假设图像各点问满足灰度保持约束，称为图像强 度不变假设( 也称为光流场基本假设) “”1 。设图像平面上有一点( x ，力。它是 场景中物体上某一点c _ = j ，】，z ) 在图像平面上的投影，该点在时刻t 的灰度值为 第二章基于光流技术的二维运动估计 f ( x ，y ，f ) 。假设该点在h - 矗时运动到0 + 蠡，y + 咖) ，在很短的时间间隔国内灰 度保持不变，即； f ( x + u 6 t ，+ v 打，f + 盘) = ，( x , y ，f ) ( 2 1 ) 其中蠡= 詹，$ = 踊，u ( x ，y ) 和v ( x ，力是该点光流的，和y 分量。仅有这 一个约束不足以唯一地确定1 5 和v 。如果亮度随x 、y 和t 平滑变化，可将等式的 左边按泰勒级数展开，得到： f ( x , y , t ) + + 嗉+ 痨考+ e = ，( 丘川) ( 2 2 ) 0 xd v研 其中，e 包括蠡，咖和盘中的二次以上的项。上式中消去，( t 弘砂，用哥除 等式两端，并取盘_ 0 的极限后，可求得： 望查+ 堑生+ 望：0 ( 2 3 ) 融m 却d l 动 此式实际上是霉：o 的展开式，用以下形式简写： d t 正“+ v + z = 0 ( 2 4 ) 或 ( 正，工) ，v ) = 一， ( 2 5 ) 其中 “= 妄，v = 軎，正= 篆，= 善，= 善 ( 2 4 ) 或( 2 5 ) 式就是亮度变化约束方程( b r i g h t n e s sc h a n g ec o n s t r a i n t e q u a t i o n ，b c c e ) ，也就是光流约束方程( o p t i c a f l o wc o n s t r a i n te q u a t i o n ， o f c e ) 。其中，为图像平面上一点( x ，力在时刻t 的灰度值；“= 鲁，v = 生d t 分别 为像素点的x 、y 速度分量；正= 篆，力= 岳，z = 等分别为对x 、y 、t靠 。 卯饼 的偏导数，它们可从图像序列中直接估计出来；令v ，= ( 疋，v ) 7 ，v i 是图像点 灰度的空间梯度，即图像中空间的灰度变化；z 为图像的灰度随时问的变化率； 令矿= 0 ，矿称为光流，和v 分别是光流在x 和y 方向上的分量。乙，) ( “，v ) 是两个向量的点积方程( 2 4 ) 或( 2 5 ) 表达了对光流u 和v 分量的约束。 正、 和z 的估计由下面的差分方程得到： 第二章基于光流技术的二维运动估计 厂，= 音t - 厂( t + t ，”，f h ) 一，( ，y ，) 】+ 【，( “，一“，f h ) 一，( t ，巧“，f ) 】 + ( x 川，t d f ( x ，”，t k ) 1 + f ( x ，j ，“，“) 一，( ，j + 1 ，f t ) ( 2 - 6 ) 1 ， 厂y 篁言 厂( x i , y j + i ，f ) 一厂( ，y ， 一i ) 1 + 【厂( x j + l , ，川，f ) 一厂( “，乃，f f _ ) 】 + 【厂( ，乃。如) 一f ( x ，乃，) 】+ 【，( 薯一只m 如) 一，镌一只，f ，) 】； ( 2 7 ) 1 ，= ，( ，y j , “) 一，( t ，以，t 1 ) 】+ 【，( t “，乃，“) 一，( x i + lj 以，q ) 】 + l 厂( t ，乃“，) 一( t ，所h ，t t 1 ) 】+ 【厂( 卅，巧+ i ，) 一，( “，y j + l , t d ) ” ( 2 8 ) 光流有两个变量u 和v ，而基本公式( 2 - 4 ) 或( 2 - 5 ) 只有个方程，因而 不能唯一确定光流，必须加入其它的约束来同时求解u 和v 。因此如何为o f c e 添加合适的约束条件并从中获得u ，v 的解，便成为光流估计算法的发展目标和 学者们关注的核心课题。 2 1 3 2 光流约束方程计算光流场的病态问题 一般来讲，我们定义具备如下条件的问题为“完善定义的问题”( w e l l - p o s e d p r o b l e m ) ： ( 1 ) 问题的解具有存在性与唯一性； ( 2 ) 数据连续变化时，问题的解也连续变化。这一点保证了问题的解对噪声 具有鲁棒性。 不符合上述条件的问题称为病态问题。在计算机视觉中，绝大多数问题都是 病态问题，例如求信号阶或高阶微分的问题就是病态问题，因为当信号中加 上即使幅度很小但频率很高的噪声时，解都会发生很大的变化。 实际中仅由两帧视频图像，根据光流约束方程计算光流场就是一个病态问 题，即解的存在性、唯一性和连续性得不到保证。下面分析光流约束方程计算光 流场病态的原因。 一、遮蔽效应“ 三维场景中目标的运动占据视场的一部分时，引起对背景覆盖的变化，最终 导致光流场估计时对应点不存在，称为遽蔽效应。如图2 - 5 中，估值帧中的目标 相对参考帧向右上方运动，参考帧中的虚线区域表示在估值帧中被覆盖的背景 区，显然该区域的所有像素在估值帧中无法找到强度不变的对应。估值帧中虚线 区域表示由于目标运动参考帧中被覆盖的背景在估值帧中没有被覆盖，该区域在 参考帧中无强度不变的对应。这些区域不能得到合理的光流场，即光流存在性不 第二章基于光流技术的二维运动估计 保证。 参考蛱估值帧 图2 _ 5 运动目标对背景的覆盖引起的光流遮蔽效应 二、f l 径问题“ 在计算光流时，一个重要的理论问题就是孔径问题( a p e t u r ep r o b l e m ) 。考 虑一条运动的轮廓线c ( 图2 - 6 ( a ) ) ，对于t 时刻轮廓线c 。上一点p ，我们不 知道t 时刻对应于点p 的p 1 ，因为p 周围的很多点相互之间差别都不大。 现在考虑一个纯平移的圆圈( 图2 - 6 ( b ) ) 。局部地，我们不知道圆周c ， 应于平移后圆周c 。上哪一点。只可能说，最可能发生的点是光流最小的点。图 中所示的向量对应于与轮廓线垂直的光流分量。 归纳地说，从图像强度模式的变化，我们不能唯一确定图像各点的真实运动。 ( a ) 固2 - 6 孔径问题的例子 ( b ) 由光流基本方程( 2 4 ) 可知，该方程作为仅有的约束，不能解出相互独立 的两个速度分量u 与v ，必须加入其它约束来同时求解u 和v 。