（信号与信息处理专业论文）视频图像修补技术的研究与实现.pdf

摘要 视频图像修补技术是近年来数字媒体领域倍受关注的研究热点。视频图像修补是 在保证视觉效果的基础上，对视频中感兴趣的目标物进行移除或对视频中缺失区域进 行填充的一项技术。 论文简要介绍了视频图像修补技术的基本概念，研究背景及国内外研究现状，提 出了三种改进的视频修补方法： 改进的基于时空正则流( s p n e f ) 的视频修补方法中在预处理阶段采用改进八叉树 模型分割视频，提高了修补过程的视频分割精度； 改进的基于时间相关性的视频修补方法在s s d 计算中添加了时空正则流分量，从 而较好适应待修补区域的尺度变化；在破损帧的修补顺序上，采用沿时间轴从两边到 中间的修补顺序，增加了候选帧的选择范围，提高了匹配块的修补精度； 改进的基于摘要的视频修补方法采用多尺度的方法进行摘要训练，训练得到的摘 要不仅能够捕捉到视频的细微细节同时也加强了视频结构的相关性，得到对视频特征 更精确的概括，较传统的基于摘要的视频修补方法相比取得了较好效果。 关键词：视频修补时空正则流正则方向视频摘要 a b s t r a c t r e s e a r c ho nt h et h e o r ya n da l g o r i t h m so fv i d e oi n p a i n t i n gh a v ea t t r a c t e dr e m a r k a b l e a t t e n t i o ni nr e c e n ty e a r s v i d e oi n p a i n t i n gi sak i n do ft e c h n i c a lw h i c hi si m p l e m e n t e do nt h e p l a u s i b l ee f f e c t st or e m o v et h ei n t e r e s t i n go b j e c t sf r o mt h ev i d e o ，o rt of i l lm i s s i n gp a r t si n t o av i d e os e q u e n c e t h em i s s i n gp a r t sm e n t i o n e dh e r ei sg e n e r a l ：i tm a yb es t i l lo rm o v i n g ，i n t h eb a c k g r o u n do ri nt h ef o r e g r o u n d ，i tm a yo c c l u d eo n eo b j e c to rm a yb eo c c l u d e db ys o m e o t h e ro b j e c t s a tf i r s t ，t h ed e f i n i t i o no fv i d e oi n p a i n t i n gi si n t r o d u c e db r i e f l y ，t h e n ，t h r e ei m p o r t a n t v i d e oi n p a i n t i n gm e t h o d sa r ed i s c u s s e da n di m p r o v e d ，s e p e r a t e d l y ，a sf o l l o w s ： t h ei m p r o v e ds p r e fb a s e dv i d e oi n p a i n t i n gm e t h o du s ea ni m p r o v e do c t - t r e em o d e l t os e g m e n tv i d e o ，i m p r o v i n gt h ep r e c i s i o no fs e g m e n t a t i o nd u r i n gi n p a i n t i n g b ya d d i n gt h es p r e fc o m p o n e n t si n t os s d ，t h ei m p r o v e dv i d e oi n p a i n t i n ga l g o r i t h m b a s e do nt e m p o r a lc o r r e l a t i o ni sf r e eo ft h eo b j e c t sw h o s es c a l eh a v eb e e nc h a n g e dd u r i n g t h ei n p a i n t i n g t h ep r o p o s e dm e t h o d sc h a n g st h ei n p a i n t i n gs e q u e n c eo fc o r r u p t e df r a m e ， f o l l o w i n gt h es e q u e n c et oi n p a i n tf r o m b a c ka n d f r o n tt om i d d l es i m u l t a n e o u s l y t h ei m p r o v e dv i d e oi n p a i n t i n gm e t h o db a s e do nv i d e oe p i t o m eu s em u l t i p l es c a l e p r i n c i p l et ol e a r nt h ev i d e oe p i t o m e ，a l l o w i n gu st ow o r kw i t hm u l t i p l es i z ep a t c h e si no u r e x p e r i m e n t s ，f r o mv e r ys m a l lp a t c h e sc a p t u r i n gf i n ed e t a i lt ov e r yl a r g ep a t c h e st h a th e l p s t r e n g t h e nt h el o n g - r a n g ec o r r e l a t i o n k e yw o r d s ： v i d e oi n p a i n t i n gs p r e f r e g u l a r i t yd i r e c t i o n v i d e oe p i t o m e 长春理工大学硕士学位论文原创性声明 本人郑重声明：所呈交的硕士学位论文视频图像修补技术的研究与实现是本 人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内 容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明 的法律结果由本人承担。 作者签名：j 蚰年上月丞日 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论文版权使 用规定 ，同意长春理工大学保留并向中国科学信息研究所、中国优秀博硕士学位论文 全文数据库和c n k i 系列数据库及其它国家有关部门或机构送交学位论文的复印件和电 子版，允许论文被查阅和借阅。本人授权长春理工大学可以将本学位论文的全部或部 分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编 学位论文。 p 作者签名：錾连型啐年丛日 指导导师签名：墨盘生玺喾吩立月丛日 第一章绪论弟一早殖记 1 1 数字图像修补技术 1 1 1 数字图像修补的概念 图像是人类从外界获取信息的最主要来源，图像处理技术在广义上是各种与图像 相关技术的总称，数字图像修补技术是数字图像处理技术的一种。 i n p a i n t i n g - - 数字图像修补，是一种通过视觉不可察觉的方式来对数字图像进行 修补的技术呻3 。图像修补的范围从对受损绘画，图像的修补到对图像中感兴趣目标的移 除和置换n3 1 ，修补的目的和应用是多种多样的。 1 1 2 数字图像修补技术的研究背景 数字图像修补最早由m b e r t a l m i o 提出，后经逐渐发展，由早期对单幅图像修补 扩展到结合时间域信息对视频进行修补。 传统的图像修补技术最早出现于欧洲文艺复兴时期口5 1 。当时人们为了修补美术作 品中因为时间侵蚀、颜料龟裂而造成裂隙，就请一些专业的画家来恢复作品的原貌， 这类工作被称为“i n p a i n t i n g 。专业画家手工修补时，一般是先从破损区域的最外部 开始修补，尽量将离破损区域最近的内容延伸到内部，使整幅画显得自然协调。 b e r t a l m i o 等人在博物馆通过长时间的仔细观察，于2 0 0 0 年7 月第一次提出了 “d i g i t a li n p a i n t i n g ( 数字修补) 这个术语，通过建立了三阶偏微分方程( p d e ) 来 解决这一问题，这是一个突破性的进展，它使得本来由艺术工作者手工完成的工作得 以用计算机来完成嘲1 。 1 - 1 3 数字图像修补技术的分类 根据待修补图像区域的图像信息，数字图像修补技术可以分为基于纹理合成的修 补方法和基于结构特征的修补方法。 纹理一般指基本纹理元素一纹元的重复啪1 。纹元由几个像素组成，纹元的位置呈 周期性的、类周期性的或随机性的。自然纹理一般是随机的，而人造的纹理通常是确 定的或周期性的。纹理可以是粗糙的、细致的、平滑的、颗粒状的、有波纹的、规则 的、不规则的或线性的。 目前比较流行的纹理分类方法是按纹理特征进行分类，大体可以分为三类：结构 性纹理，随机性纹理，以及既有结构性又有随机性的纹理。结构性纹理包含保持纹理 局部性最小的纹理块即纹元，整个纹理都可以由这一系列纹元组成，例如砖墙，地板 等，如图1 1 ( a ) 所示；随机性纹理找不到明确的纹元，例如土，沙子，草等，如图1 1 ( b ) 所示；但从自然界得到的纹理更多的是属于第三类，既有结构性又有随机性，例如织 物等，如图1 1 ( c ) 所示呻哺。 图i1 纹理分类图( a ) 是结构性纹理 b )( c ) b ) 是随机性纹理：( c ) 既是结构性又足随机性 纹理合成是当前计算机图形学、计算机视觉和图像处理领域的研究热点之，在 图像的真实感绘制中占有重要的地位。根据表面纹理生成方法的不同，可分为纹理映 射、过程纹理合成和基丁样图的纹理合成1 ”。 图像的结构特征是极为复杂f | 勺，有低层次的结构特征，比如图像的梯度场，也有基 于知识和内容的具有高级语义的结构信息，比如图像中物体的信息。对图像内容的处 理与理解，一般采用从图像中提取低层次的结构特征进行数据分割，分出不同特征的 区域，再进行模式识别，最后进行知识表示及语义理解。图像边缘是图像中的个重 要结构信息。 由于语义结构的多样性和人类视觉感知的复杂性，目前很难找到一个精确的数学 模型来表达图像的高级结构语义。凶而在图像修补中识别的还是较低层次的结构特征， 图像修补算法中更多地是运用图像的边缘特征。 依据待修补图像奉身的运动属性，可以将数字图像修补方法分为静卷图像修补技 术和动态图像修补技术：静态图像修补借助空域( 或变换域) 信息来完成，而动态图 像的修补则充分利用时空信息进行修补“。视频图像的修补就属于动态图像修补的范 畴。 1 1 4 数字图像修补模型 从数学的角度来看，图像修补即根据待修补区域周围的信息将图像已知区域的信 息填充到待修补区域巾( 图l2 ) ，并保证修补后整个画面色调以及图像纹理的连续性 和一致性m “。 图12 图像的帖补模犁。，。是图像的像素值，蓝色! 域u 为待修补区域，黄色区域k 为己知区域 蚕 1 2 视频图像修补技术 1 2 1 视频图像修补的概念 视频作为一种信息符号，有着语言文字无可比拟的优点，已经成为越来越重要的 信息表达方式。但在日常生活和科学研究中，人们经常会碰到一些视频图像信息缺失 的现象，如视频图像破损、目标物前后遮挡等等，这给人们的生活工作带来了很多不 便。 视频图像修补描述的就是在保证视觉不被察觉的前提下，对视频中感兴趣目标物 进行移除和置换，以及对视频中缺失区域进行填充的一个过程n 1 4 1 。 1 2 2 视频图像修补技术的研究背景 在当今世界，无论在数字通信领域还是在计算机视觉成像领域，视频作为一种媒 介起着非常重要的作用。然而，现阶段大部分视频的剪辑都是靠人工来完成，为此人 们付出了大量的金钱和时间代价n 儿扣。因此，如何自动的对视频进行修补，自动的对视 频中感兴趣目标物进行移除，置换以及自动的视频剪辑便引起了国内外许多研究者的 广泛关注n 2 1 。 1 2 3 视频图像修补技术的应用 即使视频修补还处在发展初期，但是基于视频修补所带来的潜在的经济效益引起 了图像处理领域研究人员的广泛关注。 视频修补的应用主要包括： ( 1 ) 在对破损的档案电影胶片进行自动修补 ( 2 ) 错误隐藏 ( 3 ) 多媒体剪辑 ( 4 ) 近期出现的鉴于保密性保护所进行的视频修改n m l 鉴于视频数据时间上的连续性，它提出了一系列与静态图像修补完全不一样的课 题1 胡。 1 2 4 视频图像修补模型 视频可以看作一系列图像帧沿时间轴的演化，因而，可以将视频看成是三维空间 视频体。此时，二维图像的修补模型可以推广到视频的修补模型中( 图1 3 ) 嘲1 。 i 麓 图13 视频图像修补模型k 是视频的像素值蓝色区域。为待修补暖域，黄色区域k 为已知区域 1 3 视频图像修补技术的国内外研究现状 131 视频图像修补技术的国外研究现状 视频图像修补技术最早由国外提出，早期借鉴的是静态图像修补方法，取得了一 定的修补效果。 最早的视频修补的方法在文献“n a y l e i 一s t o k e s ，f l u l dd y n a m i c s ，a n di m a g ea n d v i d e oi n p a i n t i n g ”“1 中有记载，由b e r t a l m i o 等人在2 0 0 1 年夏威夷召开的国际计算 机视觉和模式识别大会上提出来的。作者是把静态图像修补方法中基于偏微分方程的 方法进行延伸应用到时空域，从而产生最早的视频图像修补方法。 2 0 0 4 年w e x l e r 等人发表了“s p a c et l m ev id e oc o m p e t i o d ”1 ，在这篇文献中 作者把视频修补问题转化成通过定义一个目标函数然后对它进行优化的全局优化问 题。 2 0 0 5 年p a t w a r d h a n 等人”1 提出的视频修补方法首先对背景物体和运动物体进行 分离。使用”1 中的图像修补算法对静态背景进行填充，然后采用“1 巾处理局部运动相类 似的疗法米处理动态前景”。 2 0 0 5 年1 月，z h a n g 等人介绍了一种新颖的基于运动层的视频修补方法“1 。为r 保证各帧之间时间上的相容性，作者采用一种运动层分割的办法，通过运用运动补偿 和区域分割的办法来合成新的运动层，墩后通过设定运动参数以及合成后的运动层束 生成新的视频。 c h e u n g 等人”在2 0 0 5 年i e e 6 国际算机视觉和模式识别大会定义r 一种基丁块 的概率模j 弘“摘要”，这个模型是通过编泽从输入幽像。| 提取的些补块柬进行训 练，利川文中定义的“摘要”来生成视频中受损区域或者足列标移除区域的数据信息。 2 0 0 6 年j i a 等人介绍的图像修补与法”1 综合运用了各种门类的技术使得修补过 程显得j 常的复杂，并且其巾伴有凡量的人l 交h 的过程：这种方法需要人丁描绘序 列中不同深度层次的边界n 翻n 钔啪】。 2 0 0 7 年1 月，p a t w a r d h a n 等人口1 对以往的视频修补算法进行了比较总结，提出了创 造性的基于约束条件下的视频修补方法。修补算法包含预处理过程和视频修补两个阶 段。在预处理过程中粗略的对每一帧进行分割，即把背景和前景分离开。在视频修补 的第一阶段，首先重建待修补区域前景中被遮盖的运动前景；在第二个阶段，对剩余 的静态背景进行填充。 2 0 0 7 年3 月，w e x l e r 等人又发表了一篇“s p a c e - t i m ec o m p l e t i o no fv i d e o 嘲1 ， 这篇文章是他们对2 0 0 4 年提出来的时空视频修补方法的改进，作者把视频修补问题转 化成定义了一个严格定义的目标函数，然后产生了一种新的算法来优化目标函数的全 局优化问题。缺失区域的值用来形成关于参考例子的相干结构，这种方法可以用来修 补具有复杂背景视频的大块缺失区域。 2 0 0 7 年5 月，a l a t a s 等人提出了一种利用时空正则流来进行视频修补的方法n 引，文 章介绍了一种通用的框架体系来提取一种时空特征，这种时空特征表征了视频的正则 方向，朝着这个特征的方向得到视频是正则的，像素点的值变化是最小的。 2 0 0 7 年5 月，c h a n g 等人介绍了一种对老电影胶片划痕进行修补的方法，作者在 这篇文章中提出了两种主要的错误检测技术：尖峰毛刺信号检测机制和污垢检测机制。 2 0 0 7 年7 月，t i m o t h y 等人口妇使用了一种新的基于样图并且合并了边缘机制的块匹 配修补算法，对视频修补过程中附带的重影现象进行了改进； 2 0 0 7 年7 月，h a o m i a n 等人口2 1 提出的视频修补方法首先把视频中人体具有代表性的 周期性的运动分解成一组时间上的状态( 也叫做运动状态) ，对丢失运动物体的帧的运 动状态进行估计，然后利用其他未受损的帧中具有相同运动状态的信息对其进行修补。 由于视频图像序列中存在大量的时间冗余信息，所以与静态图像修补算法相比， 多数视频图像修补算法优先利用视频图像序列的时间相关性对当前受损帧进行修补。 只有在利用时间相关性无法修补的区域，才使用于静态图像修补算法进行修补。 截至目前，视频图像修补方法大致分为以下三类随 ： ( 1 ) 传统影片修补算法 传统影片修补算法主要用来恢复待修补视频各帧上的暗点、划痕等缺失部分。这 类算法多适用于消除影片中由于年代久远保存或者转换不当所带来的瑕疵。它主要由 运动估计口5 t7 刮、缺失检测、缺失重建 l 例等步骤构成。运动估计是利用各帧之间的相关 性信息，确定各帧上物体的大致运动轨迹的过程。缺失检测的目的是为了确定各个视 频图像帧上那些信息丢失的图像区域。它建立在前面运动估计的基础上，根据物体的 运动轨迹，结合运动的时间连续性，自动检测那些不符合时间连续性的区域，将其标 记为待修补的视频图像缺失区域。缺失重建是针对检测到的缺失区域进行修补重建的 过程，一般这个过程多采用多级中值滤波、自回归模型或是马尔可夫随机模型并结合 运动估计，直接利用前后相邻帧的信息修补受损的影片。 传统影片修补算法与其它现有的视频修补算法都是对视频图像序列进行修补，都 要利用前后相邻帧的时间连续性信息。但是传统影片修补算法有自动的缺失检测的过 程，而在其它现有的视频修补算法一般都需要对待修补区域进行预先标定。传统影片 修补算法通常针对于一些视频中较小的瑕疵，而且由于它只利用了视频的时间连续性， 所以对连续多帧视频图像中相对静止的缺失区域就无法很好地进行修补。 ( 2 ) 基于样例的视频修补方法 因为基于样例的图像修补方法以图像块为单位进行搜索匹配和修补，它速度较快， 对大面积纹理信息修补效果较好，所以该方法被很多后来的研究者多次引用和改进。 c h e u n g 等直接将2 d 图像块扩展到3 d 用于视频的修补问题。p a t w a r d h a n 等进一步把视频 分为背景和前景两部分，分别对这两部分进行修补晦1 ，但是这个方法要求视频的拍摄视 角必须固定。此后，他们进一步完善了视频修补算法四1 ，降低了对视频背景的特殊要求， 使其修补方法可以应用于视角在某些方向移动的视频上。 基于样例的视频修补方法，其优点在于算法简单，较好地利用了原有的图像信息， 既可以消除图像中面积较小的痕迹，也可以去除面积较大的物体。缺点主要在于没有 考虑图像的深度结构，不同景深的物体可能在修补时被误判，修补结果中可能出现景 深错位的情况。而且每个待修补的3 d 块都要在视频上进行搜索，搜索空间过大，严重 影响了修补处理的速度。 ( 3 ) 基于分层的修补方法 针对视频图像序列中物体深度信息在修补过程中的影响，基于分层的修补方法被 提出口2 朋1 。该算法的特点是视频对象按照景深的不同，由算法自动分层或是用户手工 标定，然后对各层视频图像序列分别进行修补，再将各层合并得到修补后的视频图像。 算法主要保证各层交界处信息的一致性，解决各层经过投影变换后的层间交错或空洞 问题。j i a 等提出了单应性混合( h o m o g r a p h yb l e n d i n g ) d 刳，也就是通过在两个相邻 层之间构造一个交错层，在其中利用单应性矩阵加权混合而非直接的像素色彩混合来 解决层间边界的混淆问题。比较典型的视频分层算法是由x i a o 等人提出的订9 1 ，他们在 视频切片的首帧图像上提取h a r r i s 角点，将其空间邻域窗口作为初始种子区域，再利 用跟踪或匹配算法确定切片内种子的对应关系以及每个种子区域的仿射变换关系。然 后利用图分割( g r a p h - c u t ) 算法汹3 以及水平集表示方法，使种子区域的支撑范围延着 其边界法线的方向逐步向外扩展，再利用运动相似性对种子区域进行合并。最后通过 假设各层之间的遮挡次序保持不变，利用图分割算法对多帧图像进行运动分割，标记 视频各层并确定层间遮挡次序。 基于分层的方法可以说是对其他视频修补算法的一种改进和补充。优点在于各层 信息不会互相干扰。缺点在于比较依赖于分层算法的结果，需要保证分层的准确性以 及层间遮挡次序的不变性。 1 3 2 视频图像修补技术的国内研究现状 目前国内对视频图像修补的研究较少，其中2 0 0 7 年浙江大学的刘舒发表了一篇硕 士论文数字图像和视频的技术研究，作者在文章中提出采用一种灵巧的b p 算法来 实现视频图像修补；2 0 0 7 年上海交通大学的聂栋栋发表了一篇关于视频修补算法理论 的博士论文呻1 ，提出一种基于时间相关性的视频修补算法。 另外，国内香港科技大学也在做这方面的研究啪1 ，台湾学者对这方面的研究比较 多蚓。 1 4 视频图像修补方法的评价标准 图像质量评价的研究是图像信息工程的基本技术之一。图像质量的含义包含两方 面，一个是图像的逼真度( f i d e l i t y ) ，另一个是图像的可懂度( i n t e l l i g i b l i l i t y ) 。 所谓图像的逼真度是描绘评价图像与标准图像的偏离程度；而图像的可懂度则表示图 像能向人或者机器提供信息的能力陋6 1 。 对于视频图像修补算法而言，要评价一个算法的优劣，可以从两个方面来评价： ( 1 ) 对修补得到的结果视频本身的评价； ( 2 ) 视频修补算法运行时间的长短。 算法的运行时间是对算法效率的评价，很容易量化。而对视频图像修补质量的评 价，目前还没有统一的标准，也很少有关文献专门设计这方面。 现阶段，对于静态图像的修补，对其修补算法效果可以从以下两个角度来评价： ( 1 ) 主观评价方法 图像修补的目的是为了得到“合理 而“完整 的图像。这里的“合理 和“完 整 都是主观上的感觉，一般有观察者根据所评价的图像来评判。可以对评价标准进 行分类，即针对“合理 和“完整提出一些评判的类别，并规定评价尺度，有观察 者打分。有两种观察方法：评价人不知道修补区域的观察和评价人知道修补区域的观 察。评价的结果有一定数量的观察者的平均分数得出。 其平均分数： c = 式中，g 为图像属于i 类的分数，珥为判断该图像属于i 类的观察者人数。可以 选择不同种类的一定数量的需要修补图像，对不同修补算法得到的修补结果进行评价， 用得分的高低来评价算法优劣。 ( 2 ) 客观评价方法 主观评价方法熟评价者的主观因素影响，有研究者提到了用多层峰值信噪比 ( m u l t i l e v e lp s n r ，m p s n r ) 分析修补得到图像的质量。在实际条件下，无法得到原 图像，从而不能拿修补的结果图像和原图像相比较。这里可以作如下假设，倘若有原 图像的两份拷贝，其中一个收到损坏，修补算法修补受损图像，假设修补结果与另一 拷贝尽可能相似。在这样的前提下，可以用p s n r 值评价修补算法的优劣。然而，对修 补的图像，用单一的p s n r 可能出现这样的情况：p s n r 很高，但主观观察可看到某些细 节部分没有修补得很好，修补图像并不“合理 和“完整 ：或者p s n r 比较低，主观 评价却很好。用单一p s n r 不能分析细节，用多层峰值信噪比( m p s n r ) 可以分析细节。 用完全四叉树表示图像，树的层数由图像的大小确定，一般可以分8 层。设r l 为 图像的层号( 值的大小从1 到最大值) 。每层的p s n r 可用如下公式计算： p s n r 。( 等羚 ( 1 2 ) 厮 叶 其中，p s n r ：j 表示第玎层的o ，j ) 块的峰值信噪比的值。p s n r a 表示整个图像的峰 值信噪比的值。根据式( 1 1 ) ，我们可以知道你珂+ 1 层的平均p s n r 等于甩层的p s n r 。 m p s n r 能够比较在相同的条件的不同的修补算法修补效果。尽管m p s n r 可以客观的 评价修补算法，但层的数量越多，p s n r 就越高，层数的选择缺失一个值得注意的问 题。另外试验中发现这样的现象，即存在m p s n r 的值不高，但修补效果图像在视觉上 也是“完整 且“合理 的。因此m p s n r 还不是一个能反映所有算法优劣的评价标准。 新的更客观的评价标准仍有待予提出。 对于动态图像修补算法的评价标准，我们不可能把每一帧图像的信噪比求出来进 行比对，这在实际操作中也是不现实的。因此只能采用主观的评价方法，即视觉上通 过对修补后的视频与未受损的视频进行观察比对，看是否达到了视觉上“合理 和“完 整的评价标准，修补后的视频在视觉观察上与未受损视频看起来越接近，那么这种 视频修补算法就相对好一些。 在以往的视频图像修补算法的评价中，一般都是在视频中随机的提取几帧图像， 比较修补前后这几帧图像的修补效果，从而得到对整段视频修补效果的一个大致评价， 本文实验部分采用的就是这种评价方法。 1 5 论文的组织安排 文章组织安排如下： 第一章简要介绍了视频图像修补的概念，研究背景，发展历程，以及国内外研究 现状。 第二章提出了一种改进的基于时空正则流的视频图像修补方法，在预处理阶段对 传统八叉树模型进行了改进，采用改进的八叉树模型分割视频，提高了视频分割的精 度；文中对算法进行了详细阐述，并对实验结果进行分析比较。 第三章提出了一种改进的基于时间相关性的视频图像修补方法，在s s d 公式计算 中添加了时空正则流分量，时空正则流场( s p r e f ) 能同时捕获视频时间和空间上的正 则信息。时空正则分量的添加使算法较好适应了待修补区域的尺度变化，扩大了方法 的应用范围；在受损帧的修补顺序上，本文提出了沿时间轴从前后两边到中间的修补 顺序，增加了候选帧的搜索范围，提高了缺失区域的修补精度；文中对算法进行了详 细阐述，并对实验结果进行分析比较。 第四章提出了一种改进的基于摘要的视频图像修补方法，采用多尺度的原贝, l l i ) 1 1 练 视频摘要，采用大小不等的补块进行训练不仅可以捕捉图像的细微细节同时增强了视 频结构的相关性，能够得到对原始视频特征的更精确概括；文中对算法进行了详细阐 述，并对实验结果进行分析比较。 第五章对本文提出的视频图像修补方法进行总结，提出现阶段视频图像修补方法 中丞待解决的一些问题。 第二章一种改进的基于时空正则流的视频图像修补方法 2 1 引言 特征选择和提取是视频分析处理领域的一项关键技术，以此来获得对视频更高一级 的概括抽象。低水平视频分析的一个重要任务就是提取一段视频序列中有用的信息， 提取的目的是把视频中行像素的信息转化成有用的特征以此获得对视频更高一级的概 括。在这一过程中所选的特征依据我们手头工作复杂程度的不同而灵活选择。在视频 图像处理过程中，例如运动分析，视频压缩，视频修补等往往需要提取数据的时空特 征盼3 7 1 ；另一方面，对于别的其他问题，采用关键帧提取，场景分割，数据库查询，甚 至简单的直方图等特征也完全可以满足视频处理要求。因此，特征选择的复杂度范围 很广，从简单的颜色直方图，特征值和特征向量到光流矢量，小波系数等等，特征的 选择依据所要解决问题的复杂程度的不同而灵活选择。 视频的正则方向是视频的一个重要特征，在许多视频处理应用中是非常有用的。如 果视频沿着某一方向，像素点强度变化是最小的，那么视频就是正则的啪1 。正则方向 依靠运动的类型和场景的空间结构来确定。在此之前，曾经有人做过大量的关于视频 图像序列时空结构的分析d 蝴1 的工作，他们把分析的重点放在时空空间运动的分析上。 例如，h e e g e r h 2 1 提出采用基于g a b o r 滤波器的时空能量模型来估计光流，以此来解决 孔径问题h 引。后来，s i m o n c e l l i 和a d e l s o n h 盯揭示了基于滤波器的时空能量模型与基 于梯度的方法在计算光流时的等价性h 5 拍】，提出了采用时空滤波器来计算光流的概率分 布。a d e l s o n 和b e r g e n h 刀研究用实时移动的物体的边缘来产生三维曲线。后来的许多 工作都采用这种方法：图像的边缘首先被计算出来，提取每一帧中物体的轮廓，然后 对这些轮廓形成的时空曲线进行分析m 侧。a 1 l e n 和d y e r 咖1 用方形补块来填补表面的每 一个点，通过确定参数的方法来计算光流。p e n g 和m e d i o n i 瞄在每一个边缘点上提取 数据的时空切片，通过搜索这些切片的路径来寻找每一点的运动方向。b a k e r 和 c o ll e s 啼踟提出了一种运动框架结构，他们使用立体图像序列的边缘，把每一个点的极 性限制融入到三维场景结构。然而，这些基于点的方法对噪声和边缘过度敏感。 由于边缘检测方面的问题和不断增加的视频处理方面的复杂度，越来越多的研究开 始使用时空张量来解决一些特定方面的应用。n g o e t a l 口羽使用图像序列水平方向和垂直 方向的切片来分析照相机的运动。他们使用时空张量来寻找每一个切片的模式，然后 计算这些张量的直方图来确定照相机的运动类型，比如说倾斜，变焦距，静止，等等。 l a p t e v 和l i n d e b e r g 晦钔计算数据的时空张量来寻找感兴趣点，也就是时空数据中变化 最显著的点。他们在事件检测和分类中使用的这种方法。n i y o g i 和a d e l s o n 啼别在步率 检测中使用水平时空切片，寻找人体运动的切片中具有周期性的模式，这些应用都说 明了视频处理中时空特征的重要应用。然而，这些特征和特征提取方法只适用于一些 特定的应用，缺乏通用性，因此很难应用到别的方面。 时空正则流场( s p r e f ) 可以显式的表示视频的时空特征一局部正则方向，沿着局 部正则方向，视频是正则的，即像素点变化是最小的。视频的时空正则方向的显式表 示在视频修补中是非常有用的。例如，目标移除可以通过对沿正则方向上对感兴趣的 像素点的移除来得到。在视频修补中，应用时空正则流，目标物被填充到缺失区域中 而不会破坏视频的的时空正则性，正则性的显示表达极大的方便了视频图像修补。 正则流估计的方法不是依赖于边缘检测，因此它并不依赖于场景中强边缘的存在。 实际上，正则流分析的是整个区域，试图找到最佳的方向来模拟整个区域的正则性。 即使视频中某一点的局部梯度不很明显，区域的整体分析也会给这一点分配一个严格 定义的方向。 2 2 时空正则流( s p r e f ) s p r e f ( f ) 是一个三维矢量场，能够显示表达视频的正则方向，沿着正则方向，视 频时空区域q 中像素点的强度，是正则的，也就说，区域中像素点的强度变化是最小 的。沿着流方向强度是正则变化的也可以理解为沿着流传播方向像素点的方向梯度和 是最小的。于是得到如下的通用的流能量函数， e 例= l i 等i d x d y x t ( 2 1 ) 这里h 是正则滤波器，如高斯滤波器。 时空正则流的定义依靠使用的流模型的不同而有所不同，主要有两种类型的时空正 则流：平移的时空正则流仃一s p r e f ) 和仿射的时空正则流似一s p r e f ) 。为了方便起 见，在t s p r e f 模型中，我们选择一个主要的坐标轴( z ，y ，f ) 作为流传播轴，沿着流传 播轴方向上的流分量的强度是l ，其余的两个分量由最小化流能量函数( 1 ) 来得到， 其强度只与传播轴有关。a s p r e f 能够看成是t s p r e f 的一个延伸，它也是沿着其 中一个主要的坐标轴传播，然而，仿射的时空正则流的每一个分量都是关于所有标轴 的函数，因此，仿射的运动和复杂的场景结构能够被同时捕获。 2 2 1 平移的时空正则流( t s p r e f ) 在平移的时空正则流模型中，时空正则流的逼近是通过垂直与流传播方向上的块移 动来得到的。这就导致了s p r e f 中的平面横断面平行，即在一个平面上所有的矢量是 均匀一致的( 在方向和强度上是相等的) 。在这部分介绍的框架结构中，一个横断面平 行流场包含以下三个分量：砂平行分量( e ) ，x t 平行分量( f ，) ，y f 平行分量( e ) 。 在w 平行流中，对于一个特定的时间t ，x y 平行流场的所有矢量是横断面平行的。对 于x t 平行分量和y f 平行分量的情况与删平行分量是类似的。使用三个横断面分量来模 成一些帧的组台( g o f ) ，然后使用八叉树法把每一个( 吕0 ，) 再分成更小的帧的组合 ( s u b g o f ) 。这样分割允许我们多位置，多尺度的分析g d ，的正则性。每一个s p r e f 的 融i 淤；淤i 擞；j 爨i 熙澈蕊蕊蕊 y y 、，、气0 、 ( a )( b )( c ) 图22 时空正则流横截面幽( a ) 打怍显小剥l 序列中第l 帧第4 帧第8 帧图像返世s p r e f 方向用蓝箭头表不。( b ) 沿着流曲线的序列横断面侧击刚。( c ) 横断面表面的前视凹。 s p r e f 的所有分量的定义u t 以通过对连续流能晕方程( 21 ) 离散化而分别得到 如果流是掣平行的，那么f 就定义为f ，( c 沁) ，c ：o ) ，d ，得到流能量函数如f 川j = 善卜警虹( f ) + ( ，+ 等疋( f ) + ，+ 鲁) f c zz ， 注意到f 的定义表明流的x 和y 分量“0 ) ，c ；0 ) ) 只是关于时间的函数，对于特定的 帧上所有像素点它的值是不变的，比如说，某一时刻q 区域x y 横断喵卜所有的像素点， x ，y 分量的值是常量。图1 显示了一幅台成的片段，其中所有帧中的像素向上和向左 移动了两个像素。图22 ( a ) 显示了图21 中合成片段的第一帧第四帧和第八帧图 像，以及估计的二维时空正则流场( 蓝箭头所示) ，红色f i 线是i e , 0 流曲线。图22 ( b ) 和( c ) 显示了沿着曲线方向的横断面示意图。在这个横断面表面，像素值沿着流方向 变化是最小的。( 实际上，如果s p r e f 估计精确的话，沿流曲线像素值是不变的) 如果流是掣平行，那么f 就可以写成e = ( 1 ，c ；扛) ，0 。s t 平行流的定义表明流 矢量( o ) ，o ) ) 对于某特定的z ，y t 横断面上所有点的旺0 ) ，c ；扛 值是相同的。 于是便得到如下的流能量函数： s 以j = 善( r 祟) + ( ，+ 等) c 2 ，+ 鲁a ( f ) ) c zs ) 图23 ( b ) 显示了静态序列的f ，这里流方向( 红色箭头) 捕获丁帧的正则方向，曲 线显示了正则变化的路径。 爱 甏 j ； 彰 荔 雾 ( a ) ( b ) 阿23 没南发生运动的两组图像序列中的第一帧图像( a ) 是盯半行止则流，( b ) 是y t 平行正则 流n 既然采样序州是静巷的，流的时问丹量是0 ，s p r e f 显示r 帧的辛问正则方向( 蓝色箭头) 。红 色所示的足流曲线 向。 对于x t 平行流，f 的定义就变为f = ( c ：( y ) ，1 ，c ：( y ) ) t 这就表明，沿着流方向 搿黟麓幺肼 s p r e f 的x t 横断面上的( c ：( y ) ，( y ”是一致的。于是能量函数( 2 1 ) 可以被写成如下 形式： e 哆，= 善卜警) c ：( f ) + ( ，宰芳) + ，掌i o hq , o ”1 2 c 2 图2 3 ( a ) 显示了另一组静态序列，这里场景的正则方向被f ，捕获。 流方向通过求解方程( 2 2 ) ，( 2 3 ) ，( 2 4 ) 来得到，这其中使用时空导数：，掌罢， ，宰o _ 却y _ n ，木警计算q 【u 】，( m = 1 ，2 ，3 ) 。这里我们使用样条来逼近沛方向，通过求解 这些方程来得到样条参数。既然用样条来表示视频帧中正则流的方向，所以需要很少 的参数便可以。使用样条能得到一个流方向的比较平滑的逼近，而且它对某一特定帧 中的噪声流方向不敏感。这里使用的是一个变换的箱样条函数b ( u ) 来逼近流方向，于 是 c o ( u ) = e a ? b ( 2 - l u - - n ) 一= 口? 噬 ) ( 2 5 ) 口。o 一1 ，2 ，) 是第n 个样条系数，u 是s p r e f 分量( u x ，yo rt ) ，z = 毛，七。 是区域q 的宽度。我们这里用的样条函数定义如下： 6 ( z ) 一舻巍 ( 2 6 ) 系数口。能够通过对能量函数( 2 2 ) ，( 2 3 ) 或者( 2 4 ) 的二次最小化来得到，这里对 哪个方程的选择依据平行流的类型而定。方程的求解过程看2 3 1 部分。 多数情况下，仅仅知道区域q 的正则方向不能够提供应用所需要的足够视频信息， 于是在很多应用中，我们还需要知道实际的三维曲线，在这些曲线上q 是正则的。 s p r e f 曲线c 1 是一个积分曲线，它的切线方向与s p r e f 的方向是平行的。离散域中 s p r e f 曲线的坐标可以通过如下的方程计算得到， c ) = c ( z ) “ 圳，f ) ( 2 7 ) s p r e f 模型中流方向的正交性决定了沿着流曲线方向时空区域中所有点是一对一 对应的。因此，如果时空区域中混合着很多点，有强梯度点和弱梯度点，那么此时弱 梯度点的正则流方向可以通过强梯度点来确定。在图2 3 中显示了不同类型的时空曲 线，对于一个特定的( x ，y ) 和变化的t ，x y 平行s p r e f 的曲线可以用一组坐标表示为 o + 与o ) ，y + c ：p ) ，t ) 。对下其他两个分量，同理。 2 2 2 仿射的时空正则流( a s 尸舡f ) 当时空区域的正则方向是关于一个传播轴的函数时，t s p r e f 可以得到一个很好 的估汁。换句话说，当运动是平移时，或者在没有运动的情况下所有场景的边缘沿着 一个方向延伸时，此时t s p r e f 可以进行很好的逼近。然而，当正则流的方向依靠 多个坐标轴时，此时平移的时空正则流的精度就会下降。例如，当运动是尺度变化， 或者是旋转时，此时真正的流方向不仅仅是关于时间的函数，还包括关于空间位置的 信息。类似的，在没有运动的情况下，当两个边缘沿着不同的方向扩展时，t s p r e f 也不能正确的找到正则流的方向，仿射的时空正则流( a s p r e f ) 可以很好的解决 这类问题。仿射的时空正则流仍然是沿着一个主要传播轴进行传播，然而，它每个坐 标分量都是关于所有坐标轴的函数。 既然流矢量场f 按照仿射模型定义，通用的流能量模型( 21 ) 也可e l 做相应的扩 展。当传播轴是f ，f 的定义就变为f = ( c 胁，y ，f ) ，c ；扛，y ，f ) ，1 ) ，能量函数表示为 e = 善 ( ”等) c l ( ”一+ ( p 等心，f ) ”+ 詈) | 晓s ， 滕滕滕陈隰隰隰隰 l l tj l? t j j ltlt 熙 熙l 除熊熬聚除黛 黪舅黪舅舅舅舅除 圈24 ( a ) 利用l e n a 图像合成的一 | l 序列，其巾l e n a 的眼睛在系列连续帧巾被逐渐放大。( b ) t s p r e f 琨近cc ) a s p r e f 退避 这里 嬲h 篇篇矧吲 妲。， 就像t s p r e f ，流参数( f ) 能够通过直接计算流能量方程( 2 8 ) 来得到。这里采用 样条来逼近这些参数，n 。0 ) 被扩展为： n f ( f ) = n ：6 ( 2 “r n ) = n ：o ) ( 21 0 ) 图24 ( a ) 显示的是l e n a 图像的一组合成序列，她的眼睛在连续的几帧中被逐渐 放大。( b ) 显示的是使用x y 平行t s p r e f 来得到的正则方向，从中可以看到平移的 n , t 空i 1 2 n 流不能很好的估计潜在的运动。( c ) 是使用a s p r e f 得到的逼近结果t 可 以看到a s p r e f 可以很好的处理这类运动。 当流传播轴是x 或者y 时，流分量和分别计算如下，我们可阻得到 f r