（电路与系统专业论文）数字视频的修复方法研究.pdf

摘要 摘要 数字视频修复是视频信息处理研究的重要内容之一，可用于视频编辑、传 输、存储、历史文献及资料的修复、改善，视频证据的完善及甄别等方面。本 文通过从不同角度分析人类视觉的认知规律，对视频修复技术及其应用进行了 深入的研究，主要工作和创新有： 1 提出一种基于3 d 整体变分的视频修复方法。先建立一个描述视频时 空光滑性的能量函数，根据变分法，将求解能量函数极值问题转换为对e u l e r - l a g r a n g e 方程的求解问题，并结合数字视频像素点的分布特征，用邻域加权合 成实现修复。方法复杂度较低，适于小缺损区域的修复。 2 提出了一种利用运动信息修复较大区域的方法。用仿射模型对非修复区 域的运动进行描述，通过尺度不变特征( s i f t ) 算子提取相邻帧的匹配点，并 估计全局运动参数；以这些参数为依据，从整段视频中提取关于待修复区域的 信息来完成视频的修补。该方法较适用于目标移除后的区域修复。 3 给出一种基于n a v i e r - s t o k e s 方程的视频修复方法。将视频视为时空域中 的三维数据流，依据其和三维流体之间相似的连续性和光滑性，用描述流体连 续性的n a v i e r - s t o k e s 方程对视频数据流杉进行描述，进而导出局部约束方程， 以进行视频修复。该方法适用于较小的区域，可用于视频资料翻新等。 4 将去隔行问题视为小区域的视频修复问题，为了在精度和效率间作出平 衡，根据隔行视频中已知点和待修复点的分布特征，给出了几种具体的视频去 隔行方法。实验结果表明，该类方法能够兼顾空间和时间的平滑性。 文中方法，主要用于视频缺损的修复，也可用于视频传输及存储中由于数 据丢失产生的缺损、历史文献视频资料的修复。进一步可研究一段视频是否经 过修复，或用了哪一种方法修复等视频资料的甄别问题。 关键词：视频修复，贝叶斯模型，整体变分，n a v i e r s t o k e s 方程，图像匹配， 尺度不变特征，仿射模型，去隔行 a b s t r a c t a b s t r a c t d i g i t a lv i d e or e p a i ri sa i li m p o r t a n ta r e ar e s e a r c ho fv i d e oi n f o r m a t i o np r o c e s s i n g ， w h i c hc a nb eu s e di nv i d e oe d i t i n g ，t r a n s m i s s i o n ，s t o r a g e ，r e s t o r a t i o na n di m p r o v e m e n t o fh i s t o r i c a ll i t e r a t u r ea n d m a t e r i a l s ，p e r f e c t i o na n dd i s t i n g u i s ho fv i d e oe v i d e n c ea n d s oo n f r o md i f f e r e n tp o i n t so f v i e w , t h i sd i s s e r t a t i o na n a l y z e sh u m a nv i s u a lp e r c e p t i o n a n df o c u s e so ns o m ek e yi s s u e si nt h et o p i co fv i d e or e p a i ra n di t sa p p l l i c a t i o n t h e m a i nw o r ka n di n n o v a t i o n sa r el i s t e da sf o l l o w i n g ： 1 a3 dt o t a lv a r i a t i o n b a s e dv i d e or e p a i rm e t h o di sp r e s e n t e d f i r s t ，a ne n e r g y f u n c t i o nf o rd e s c r i b i n gs p a t i o t e m p o r a ls m o o t h n e s sf o rv i d e oi se s t a b l i s h e d t h e n ，a c c o r d i n gt ov a r i a t i o n a lm e t h o d ，t h ep r o b l e mh o w t og e tt h ee n e r g yf u n c t i o ne x t r e m u mi s c o n v e r t e dt oap r o b l e mh o wt os o l v ea ne u l e r - l a g r a n g ee q u a t i o n s a tl a s t ，c o m b i n e d w i t ht h ed i g i t a lv i d e op i x e ld i s t r i b u t i o n ，an e i g h b o r h o o dw e i g h t e ds y n t h e s i sm e t h o di s u s e df o rv i d e or e p a i r b e c a u s eo ft h el o wc o m p l e x i t y , t h em e t h o di ss u i t a b l ef o rr e p a i r - i n gs m a l ld e f e c tr e g i o n s 2 am e t h o df o rr e p a i r i n gl a r g er e g i o nu s i n gm o t i o ni n f o r m a t i o ni sp r e s e n t e d a f f i n em o d e li su s e df o rd e s c r i b i n gt h em o t i o no f n o n r e p a i rr e g i o n f o r mt h em a t c h i n g p o i n t se x t r a c t sf r o mn e i g h b o r i n gf r a m e su s i n gt h es c a l e i n v a r i a n tf e a t u r e s ( s i f t ) o p e r - a t o r - t h eg l o b a lm o t i o np a r a m e t e r si se s t i m a t e d t h er e g i o nt ob er e p a i r e di sc o m p l e t e d u s i n gt h ea s s o c i a t e di n f o r m a t i o ne x t r a c t e df r o mt h ee n t i r ev i d e ob yt h em o t i o np a r a m e t e r s t h em e t h o di sa p p l i c a b l et or e p a i rt h eu n k n o w nr e g i o na f t e ro b j e c tr e m o v a l 3 an a v i e r - s t o k e se q u a t i o n sb a s e dv i d e or e p a i rm e t h o d si sg i v e n v i d e oc a nb e v i e w e da st h r e e d i m e n s i o n a ls p a t i o t e m p o r a ld a t as t r e a m b a s e do i lt h es i m i l a r i t yo i l c o n t i n u i t ya n ds m o o t h n e s sb e t w e e nt h es t r e a ma n dt h et h r e e d i m e n s i o n a lf l u i d ，v i d e o d a t as t r e a mc a nb ed e s c r i b e dw i t ht h en a v i e r - s t o k e se q u a t i o n sw h i c hu s e df o rd e s c r i b i n gt h ef l u i dc o n t i n u i t y f r o mt h ec o n t i n u i t yd e s c r i p t i o n ，al o c a lc o n s t r a i n te q u a t i o n si s d e r i v e d ，w h i c hu s e df o rv i d e or e p a i r t h i sm e t h o di ss u i t a b l ef o rs m a l lr e g i o n ，a n dc a n b eu s e df o rr e n e wt h ea g e dv i d e ol i t e r a t u r e 4 d e i n t e r l a c i n gp r o b l e mc a nb er e g a r d e da sav i d e or e p a i rp r o b l e mf o rs m a l l r e g i o n s i no r d e rt ob a l a n c eb e t w e e na c c u r a c ya n de f f i c i e n c y ，s e v e r a ld e i n t e r l a c i n g m e t h o d sa r eg i v e na c c o r d i n gt ot h ed i s t r i b u t i o na b o u tk n o w n p o i n t sa n dp o i n t st ob e r e p a i r e di nt h ei n t e r l a c e dv i d e o e x p e r i m e n t a l r e s u l t ss h o wt h a tt h e s em e t h o d sc a nt a k e i n t oa c c o u n tt h es p a c ea n dt i m es m o o t h n e s s t t i a b sj i 屯气c j t h em e t h o d si nt h i sp a p e rc a nm a i n l yu s e df o r r e p a i r i n gv i d e od e f e c t s ，a n dc a n a l s o b eu s e df o rr e p a i r i n gt h ev i d e ow h i c hh a sd e f e c t sb e c a u s eo fd a t al o s ti nt r a n s m i s s i o n a n ds t o r a g e ，a n du s e df o rr e n e wt h ea g e dv i d e ol i t e r a t u r e f u r t h e rr e s e a r c hc a ni n c l u d e t h ed i s t i n g u i s h i n gw h e t h e rav i d e ow i t ho rw i t h o u tr e p a i r ，o rw h i c hr e p a i rm e t h o dh a s b e e nu s e di nav i d e om a t e r i a l k e y w o r d s ：v i d e or e p a i r , b a y e s i a nm o d e l ，t o t a lv a r i a t i o n ，n a v i e r - s t o k e se q u a t i o n s ，i m a g em a t c h i n g ，s c a l e i n v a r i a n tf e a t u r e s ，a f f i n em o d e l ，d e i n t e r l a c i n g i v 表格 表格 3 1 二维n s 方程和b s c b 修复方法的等价性3 4 6 1 6 2 6 3 基于3 d 整体变分和其它几种去隔行方法的p s n r 9 l 基于n s 方程和其它几种去隔行方法的p s n r 9 5 基于动态规划和其它几种去隔行方法的p s n r 9 8 x l l i 插图 插图 b s c b 方法对老照片l i n c o l n 的修复结果 2 w e x l e r 等的方法进行视频目标移除的结果 3 五点差分格式求解p o i s s o n 方程1 6 利用p o i s s o n 方程的图像融合结果。17 视频修复问题示意图。18 利用t v 方法一维信号复原的示例2 2 利用t v 方法进行去噪和平滑2 2 视频空间中目标点的邻域及半邻域2 3 标准视频中竖线的修复结果2 6 旧电影中竖线的修复结果2 6 标准视频竖线修复结果的放大图2 7 流体应力场示意图3 0 二维流体的流函数和势函数。3 3 视频的等照度面和流面的相似性，3 5 快速行进法示意图3 6 快速行进法的演化；3 7 t e l e a 修复方法的示意图3 8 旧电影中斑点的修复结果4 1 标准视频斑点修复的结果4 2 标准视频斑点修复结果的放大图4 3 基于动态规划的视频修复方法框图4 5 外极线约束示意图4 7 动态规划搜索最优匹配的路径示意图5 1 动态规划方法到达点( t ，j ) 时可能的方向5 1 路径搜索限定在某个范围内有助于进一步提高速度。5 4 方向性插值方法示意图5 5 动态规划方法得到的实际路径5 6 动态规划方法的插值及匹配代价5 6 视频b u s 和p o l l e n 的块缺失修复结果。，。5 7 i x 1 2 l 2 3 4 5 6 7 9 8 l 2 3 4 5 6 9 7 8 l 2 3 4 5 6 7 8 9 l l z z z z z z z z 乙 殳爻 爻 王 王 王 王 殳 殳 禾 t 今 今 禾 小 今 乱 今 插图 4 1 0 块缺失修复结果的局部放大图。5 7 4 1 1 视频f l o w e r 和h a i t i 的整帧修复结果5 8 4 1 2 整帧修复结果的局部放大图。5 9 5 1 基于运动估计的目标移除方法框图6 1 5 2 尺度空间中的轨迹和极值点6 6 5 3 尺度空间中的极值点检测6 6 5 4 由方向直方图确定邻域主梯度方向6 7 5 5 由关键点邻域梯度信息生成特征向量6 7 5 6 经变换的两幅图像之间的特征点匹配6 9 5 7 不同摄像头拍摄的交通图片间的匹配6 9 5 8s t e f a n 第2 帧和第3 帧之间的全局运动参数估计7 3 5 9 s t e f a n 第2 帧目标区域的修补，7 3 5 1 0 视频s t e f a n 及移除运动员的结果7 4 5 1 1 视频f l o w e r 及移除树干的结果7 4 5 1 2 视频m o o n 及移除节目图案的结果7 4 5 1 3 视频h a l l 及移除行人的结果7 5 5 1 4 视频s h e e p 及移除台标的结果7 5 5 1 5 几种方法对s t e f a n 第2 0 帧的目标移除结果7 6 5 1 6 几种方法对b e e 中台标的移除结果7 7 5 1 7 台标移除结果的局部放大图7 7 6 1 隔行视频中的锯齿现象8 0 6 2 隔行视频中的运动虚像8 0 6 3 隔行视频结构示意图8 l 6 4 方向导向插值示意图8 4 6 5 目标点、邻域和半邻域点8 6 6 6 隔行视频中未知点的邻域8 7 6 7隔行视频中已知点的梯度和散度8 8 6 8 基于3 d 整体变分的去隔行方法和其它几种方法的处理结果比较 9 2 6 9基于3 d 整体变分和其它几种去隔行方法处理结果的局部放大图 9 2 6 1 0 基于3 d 整体变分方法和f w 、l a 方法结果的p s n r 曲线9 3 6 1 1 基于3 d 整体变分方法和其它几种方法的去隔行结果比较 9 4 6 1 2 基于n s 方程和其它几种方法的去隔行结果比较9 5 6 1 3 基于n s 方程和f w 、l a 方法结果的p s n r 曲线9 6 6 1 4 基于动态规划去隔行方法对视频f o r e m a n 第1 0 6 场的处理结果9 6 x 插图 6 15 基于动态规划去隔行方法和其它几种方法的比较9 7 6 1 6 与b a l l e s t e r 方法的比较9 8 x l 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均己在论文中作了明确 的说明。 作者签名： 器毖 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 d 么开口保密( 年) 作者签名：惫遂 导师签名： 签字日期：垒翌f 生：垒：盆 第1 章绪论 第1 章绪论 1 1 背景及意义 视频( v i d e o ) 泛指将一系列的影像以电信号的形式加以捕捉、记录、处 理、存储、传送与重现的各种技术，最早出现于以阴极射线管为基础的电视 系统中。随着现代计算机以及多媒体技术的发展，利用计算机对科学研究和 生产中可视化信息进行数字化处理，以数字信息记录的视频资料的数字视频 ( d i g i t a lv i d e o ) 技术，包括数字化采样、存储、压缩、传输、播放等，得到了 迅速的发展。2 0 世纪7 0 年代后期以来，特别是在过去的二十年中，由于数字视 频的在无损存储、精确复制，特别运算方面得天独厚的优势，在此基础上发展 起来的数字视频处理技术取得了长足的进步，并渐渐形成了一个专门的学科分 支。数字视频处理是数学、光学、电子学、图像学、视觉心理学和计算机技术 的交叉学科，在众多科学与工程领域有着重要应用。 在数字视频以及数字图像的促进下，以某种自动的算法代替人类执行视觉 任务为最终目标的计算机视觉( c o m p m e r v i s i o n ) 技术得以建立( m a r r ，1 9 9 8 ) 。 由于达到最终目标的困难性，目前的研究主要集中在中间阶段的半自动方法中， 即“不完全取代人类而给予一些人工交互的辅助，以使视觉任务能更快、更精 确、更可靠的执行”( 葛仕明，2 0 0 8 ) 。数字视频修复( d i g i t a lv i d e or e p a i r ) 技 术的重要原则就是模拟人类的感知机制，以符合视觉认知规律的方式进行区域 修复，常被认为是计算机视觉的一个应用领域，简称视频修复( v i d e or e p a i r ) ， 有时也称为视频修补( v i d e oi n p a i n t i n g ) 或视频补全( v i d e oc o m p l e t i o n ) 。 修复技术源于一些画家对历史上保存下来的损坏或老化绘制品的修缮技 巧，从文艺复兴时期开始，人们常运用这一艺术处理手段，来修复中世纪的油 画等艺术品，从而达到翻新的效果。这种处理方法的主要工作室针对较小缺损 区域的润泽( r e t o u c h i n g ) ，尽量尊重和保留原作品的内容，因此也被称为重绘 ( i n p a i n t i n g ) 。直到现在，这一方法也在文物保护工作中被广泛使用。 在电影业中，由于胶片的化学性质不适宣长期的保存，在电影出现以后， 尽管人们曾投入很大的精力设法解决电影胶片的保存问题，如控制播放次数、 恒温恒湿暗房、定期除尘除菌、定期重新拷贝等，但影片质量的下降仍然难以 避免。在数字视频技术发展和相对成熟后，由于数字化存储具有：1 ) 可以任意 反复播放等优点；2 ) 受温湿度及光照影n i l , j , ；3 ) 可以快速的、无损的拷贝等 优点，数字视频技术迅速延伸到传统的电影产业中。 数字视频修复作为一项能够提高视频质量的技术，早期已受损的旧电影 l 第1 章绪论 进行数字化存储后，可以方便的在计算机上进行自动或交互式的修复和翻新a 1 9 9 3 年美国迪斯尼公司耗资7 0 0 万美元，运用柯达公司的c i n c o n 系统对经典动 画电影白雪公主进行了修复和翻新，获得了意想不到的商业效果；1 9 7 8 年 拍摄的星球大战，由卢卡斯主导，运用数字修复技术进行再版并于1 9 9 8 年 再次公映，一周内获得了3 6 0 0 万美元的票房收入( 谌安军，2 0 0 6 ) 。 随着影视特技的发展以及数码摄像机的普及，视频编辑也有传统的剪辑、 台成、字幕制作等扩展到诸如目标移除、超分辨率、帧速率提升、去抖动新的 领域，在对视频中的未知区域进行补仝或插值时，由于视频的数据量通常比图 像大得多，迫切需要一种能够自动完成智能化的修复技术。 现代数字修复技术的先驱b e h a l m i o 等在2 0 0 0 年首次提出了数字图像修复 的概念( b e r t a l m i o e t a l ，2 0 0 0 ) ，并给出了一种基于等亮度线流( i s o p h o t e - f l o w ) 的b s c b ( b e r t a l m i o m ，s a p k o g ，c a s e l l e s v a n d b a l l e s t e r c ) 修复方法。图il 为 利用b s c b 方法对林肯总统的老照片的处理结果。s c i e n c e 杂志( p e t e r s o ne ta l ， 2 0 0 2 ) ，d i s c o v e r y 杂志( s v i t i l ，2 0 0 2 ) 等对其工作进行了报道，美国太空总署 ( n a s a ) 也曾采用修复方法来处理天文学中的图像。此后，针对数字图像和数 字视频的修复技术得到了快速的发展。 鼠瞄 aa l 厚始m 片t i n c o l nc b ) b s c b 方垃修复的结果 圈1 1 b s c b 方法对老照片l i n c o l n ( 林肯) 的修复结果 f i g l l t h e i n p a i n t i n gr e s u l t o f o l dp h o t o s l i n c o l nb y b s c b m e t l o d 与文物保护巾的手工修复以及影税工作中的交互式处理不同建立在现代 计算机基础上的数字修复技术的目的不仅仅局限丁逐步去除一砦小区域上的瑕 疵，而是能够智能或交互的去除图像或者视频中的损坏部分如污迹和划痕，然 后自动对该区域进行修复，使其与原图或原视频保持一致的前提下，具有较好 的视觉效果。 此外，在对图像或视频进行编辑时，例如电影特效中需要移除图像或视频 中的某个目标，修复技术能够自动的补全原目标所在的区域，避免复杂的人工 2 第1 章绪论 交 叵井保持较自然的视觉效果，如图12 为w e x l e r 等人利用视频修复方法移除遮 挡物的结果( w e x l e r e la l ，2 0 0 4 ) 。另一方面，图像或视频在传输的过程中，有 可能因为干扰或丢包等而造成部分破坏，往往需要采用数字修复技术，根据未 破损区域的信息还原出具有较好视觉效果的完整图像或视频。 囊邈隧彝麓馐戮 髑鼷鬻黪戮 圈1 2 w e x l e r 等的方法进行视频h 标穆除的结果 n 5 1 2 t h ev i d e oo b j e c tr e m o v a lr e s u l tb y w e x l e r l s m e t h o d 美国加州大学洛杉矶分校( u c l a ) 的c h a n 等( c h a n 时a l ，2 0 0 3 ) 认为： 从视觉和认知科学的角度来说，图像处理是一种由图像或视频( 图像序列) 重 建3 d 世界中的相对顺序、几何关系、拓扑结构、模式、动力学行为等特性的 基本工具。数字视频处理的研究通常被认为归结为图像处理的分支，即运动图 像或图像序列，广义上的图像处理方法的研究源于两个主要的领域( 章毓晋， 2 0 0 0 ) ：1 ) 便于人们分析而对图像信息进行改进；2 ) 使机器能够自动理解而对 图像数据进行存储、传输和显示。 研究数字视频修复的方法，通过对人类视觉认知系统的研究和模拟，恢复 出较少失真或符合人类视觉要求的视频，对于缺乏必要的信息但又需要符合一 定视觉要求的视频处理，具有重要的理论意义及广阔的应用前景。 首先，修复方法是图像处理、计算机视觉研究中一个根有意义的新分支。 经典的图像处理方法有复原( r e s t o r a l i o n ) 、增强( e f | f l a a n c e m e n t ) 、压缩 ( c o m p r e s s i o n ) 等。复原( 去噪、去模糊) 是利用退化现象的某种先验知识来 重建或复原被退化的图像，即利用退化模型相反的过程进行处理，以便复原出 原图像或图像序列。其中，待复原区域的真实信息以退化后的形式存在，并未 完全缺失或遭到完全破坏，因此复原方法可以或多或少的利用了这部分信息来 还原真实的图像。增强是对图像进行加1 j ，以得到对具体应用而言视觉效果更 好、更有利于进步处理的图像，具体的距离函数往往需根据原始图像的初始 1 第l 苹绪论 特性来设计，例如直方图等统计特征。压缩则是利用原始图像或图像序列的信 息冗余，设法减少表达图像信息所需的数据量，同时保持压缩后信息较少的损 失，即用尽可能少的数据存储和显示尽量真实的图像。不难看出，这些经典方 法在处理过程中都参考了原始图像的真实信息。 图像及图像序列作为一种高维的、以人类视觉为最终归宿的信号，其处理 过程不仅需要从信号处理的角度去考虑，还需兼顾人类视觉的要求。因此，从 满足人类视觉要求的角度去探讨图像处理问题是一个值得研究的方向。修复问 题的处理方法正是该方向上值得关注的一个重要分支，可以看作是图像处理与 人类视觉研究的结合，其关键是一般性图像模型的分析和视觉认知规则的研究， 其核心是对人类视觉感知过程的学习、理解和模拟。 修复与其它经典的图像处理问题如复原、增强、压缩具有一定的相关性， 但在修复问题中，待修复区域信息几乎为零，同时又更具挑战性。用于还原这 部分区域的信息通常主要来人类视觉系统的某些先验知识和一般性图像模型的 统计特性，其目标是恢复出一个视觉上自然而完整的结果，并不一定要求忠实 于原始图像或图像序列。因此，修复是一个没有唯一解的不确定问题，解的合 理性取决于人类视觉系统的接受程度。换言之，修复是在人类视觉系统的某些 规则指导下进行的图像分析、理解和增强的过程，这不仅是图像处理的重要研 究内容，也是图像理解和计算机视觉中的重要问题。 其次，数字修复技术作为一种先进的视频处理技术有着广阔的应用前景。 修复技术为数字图像和视频的处理开辟了一条新的思路，可以为视觉处理 中的一些问题提供新的分析方法，具体有： ( 1 ) 视频特定目标移除 目标移除( o b j e c tr e m o v a l ) 首先利用目标检测、提取、跟踪等方法对需要 移除的特定目标逐帧进行定位，然后利用修复的方法，通过分析视频剩余部分 的信息，并结合人类视觉的特性，对目标被去除后的区域进行填补，以得到视 觉上易于接受的视频。视频修复方法，可以有效的降低逐帧交互式处理的工作 量，同时更容易得到具有良好运动一致性的结果( w e x l e re ta 1 ，2 0 0 4 ) ，在台标 移除( v i d e ol o g or e m o v a l ) 以用中，基于修复的方法引起的人们的关注( y a n e ta 1 ，2 0 0 5 a ；y a ne ta 1 ，2 0 0 5 b ；w a n ge ta 1 ，2 0 0 6 ) 。 ( 2 ) 放大和超分辨率分析 超分辨率( s u p e rr e s o l u t i o n ，s r ) 是指通过分辨率较低的图像或视频来重 建分辨率较高的图像或视频的算法( p a r ke ta 1 ，2 0 0 3 ) 。传统的图像及视频放 大采用了各种插值的方法，如零阶保持、双线性插值、样条插值等。但是，由 于图像及视频的复杂性，例如形状边沿特征、纹理的统计性质，插值无法带来 新的信息，通常放大后高频成分会有较明显的损失。而通过数字修复技术，将 4 第1 章绪论 低分辨率下的点作为高分辨率下的初始信息，根据统计、学习等方法，并结合 人类视觉规则，导入新的信息对剩余区域进行修复，往往能够获得更好的效果 ( c h a ne ta 1 ，2 0 0 7 ) 。 ( 3 ) 视频传输中的错误隐藏 在信道受到干扰及带宽受限的情况下，通过无线或网络传输的视频常出现 颗粒噪声、数据块损失、丢帧等现象。有些应用场合不便或不允许通过重传来 对视频进行修正，如视频实时点播、卫星遥感影像等，此时，采用修复技术在 接收端对传输过程中发生错误的块进行处理，可以在不改进原传输方式的情况 下，实现错误隐藏( e r r o rc o n c e a l m e n t ) ，改善视频质量。 ( 4 ) 基于修复压缩 目前，主流的压缩算法如j p e g 、m p e g 、h 2 6 x 等一般都采用变换加熵编 码的结构。通过变换分析( 如离散余弦变换、小波变换等) 来减少像素间的统 计冗余，经过几十年的发展，其压缩性能已经达到了很高的水平，时至今日， 在这种框架下的压缩性能已经难以再有突破性提高。而采用修复技术，能够利 用视觉冗余，选择能够通过修复技术来重建的区域并予以主动去除，再结合压 缩的方法，以进一步提高压缩性能。如压缩时人们仅对边缘( l i ue ta 1 ，2 0 0 7 ) 、 重要图像块( r a n ge ta 1 ，2 0 0 3 ) 等进行编码，再现时结合特定的修复方法进行 还原，达到了在基本保持原图像质量的情况下，进一步提高编码效率的目的。 ( 5 ) 视频去抖动 摄像机抖动会造成拍摄视频质量的下降，在专业的拍摄过程中，往往通过 支架、轨道等机械手段抑制这种抖动，现代的摄像机往往还增加了光学防抖的 功能，然而，视频拍摄的过程的抖动仍然难以完全消除，特别是采用家庭数码 设备捕获的视频。视频去抖动的目标是由抖动视频合成一个看起来像是从稳定 的摄像机中得到的视频，通常的做法是用匹配结合裁减的方法，用牺牲画面大 小来获得一段稳定的视频。而采用视频修复技术对边界区域进行补全，可以避 免画面尺寸的降低，获得满帧的去抖动效果( m a t s u s h i t ae ta 1 ，2 0 0 6 ) 。 ( 6 ) 帧速率提升 在电影业以及现代视频技术发展历史中，很多早期的视频由于捕获、存储 和传输设备的限制，仅有较低的帧速率，如战争时期的宝贵纪录片、早期运动 会的慢镜头视频等。这些视频在新型显示设备中播放时，方面希望符合当前 设备的帧速率，另一方面希望消除由原先帧速率偏低造成的顿挫感，即帧速率 提升( 宋锦，2 0 0 8 ) 问题。传统的帧重复、帧平均等插帧方法，虽然能够做到 帧速率的匹配，但并没有增加新的信息，不能有效的消除顿挫感，而将待插入 的中间帧视为待修复的时间域中的缺损区域，利用视频修复方法对其进行补全， 给帧速率提升指出了条新的解决思路。 5 第1 章绪论 ( 7 ) 虚拟场景构建 通过图像融合技术进行全景拼接可以扩大图像浏览的视野( s h u ma n d s z e l i s k i ，2 0 0 0 ) ，利用图像及视频修复技术( s u ne ta 1 ，2 0 0 5 ) 由边界对图像或 视频进行延拓，可以达到场景扩张的效果( h a y sa n de f r o s ，2 0 0 7 ) 。 第三，修复方法的研究可以促进多门相关学科的发展。 修复方法能够通过不完全信息重构出完全信息，这是计算机视觉领域中一 个重要的高级目标，同时也为很多图像处理中诸如复原、增强、压缩等基本问 题提供了一个新思路，对修复问题的研究能够促进这些图像处理问题的发展。 此外，修复方法的研究能够有效的推动对人类视觉系统的研究，反之，对人类 认知研究的深入，也能够有效的促进修复方法以及其它图像及视频处理问题的 发展。 1 2 发展及现状 视频修复技术的源于图像修复，而图像修复中最早提出来的是针对非纹理 图像的基于偏微分方程( p a r t i a ld i f f e r e n t i a le q u a t i o n s ，p d e ) 的修复方法。这类 待修复区域的尺度通常较小，没有复杂的纹理结构，从模拟人类视觉的角度来 看，需要完成的任务主要是保持恢复的光滑性，同时保持边沿结构的连通性。 偏微分方程的导出方式分成两人类：1 ) 根据演化理论设计的偏微分方程，该 类方法通过模拟微观的修复机制( m i c r o i n p a i n t i n gm e c h a n i s m s ) 得到；2 ) 通 过归纳人类视觉总结出对整个图像的“最佳猜测”( b e s tg u e s s ) 而得到变分法 ( c a l c u l u so f v a r i a t i o n s ) 模型( 老大中，2 0 0 7 ) ，一般认为是模拟了宏观修复机 制( m a c r o i n p a i n t i n gm e c h a n i s m s ) 。有时也称之为“面向过程”和“面向对象 的图像修复( 王超，2 0 0 7 ) 。 模拟微观修复机制的方法 模拟微观修复机制的方法根据p d e 的演化( 扩散) 来模拟图像的生成过 程，通过分析需要图像作怎样的变化( 即信息如何传播到待修复区域) 来设计 图像随时间变化的方程，从而最终达到某种可能期望的结果，因此方法是“面 向过程”的( 葛仕明，2 0 0 8 ) 。 2 0 0 0 年，修复技术奠基人b e r t a l m i o 等人提出了著名的b s c b 方法( b e r t a l m i o e ta 1 ，2 0 0 0 ) ，受到手工修复技巧的启发，将图像的散度信息( l a p l a c e ) 沿着等 亮度线方向由边界向待修复区域内部逐步扩散进行修复，方法通过求解一个三 阶偏微分方程来实现修复，体现了视觉中结构连续性原则。2 0 0 1 年，b e r t a l m i o 等人又论证了b s c b 方法采用的三阶偏微分方程与n a v i e r s t o k e s 方程的关系， 并首次利用此方法进行视频自动修复的尝试( b e r t a l m i oe ta 1 ，2 0 0 1 ) ，此时的 6 第1 章绪论 视频修复主要还是利用图像修复方法逐帧进行，较少考虑帧之间的关系。同 年，u c l a 的c h a n 提出基于曲率驱动扩散( c u r v a t u r e d r i v e nd i f f u s i o n ，c d d ) 的修复方法( c h a ne ta 1 ，2 0 0 1 ) ，该方法修复的结果符合人眼的连通性原则 ( c o n n e c t i v i t yp r i n c i p l e ) ，能够将被待修复区域破坏的长条状结构连接起来。目 前，基于等亮度线传播和基于曲率驱动扩散的修复思想，仍然是图像及视频修 复中非常重要的两种方法。 此后，人们结合偏微分方程领域中的一些经典方程，尝试对图像和视频进 行修复，如g r o s s a u e r 和s c h e r z e r ( g r o s s a u e ra n ds c h e r z e r ，2 0 0 3 ) 采用o i n z b u r g l a n d a u 方程进行2 d 和3 d 修复，b e r t o z z i ( b e r t o z z ie ta 1 ，2 0 0 7 ) 采用c a h n - h i l l i a r d 方程进行二值图像修复，d o b r o s o t s k a y a 和b e r t o z z i ( d o b r o s o t s k a y aa n d b e r t o z z i ，2 0 0 8 ) 结合g i n z b u r g l a n d a u 方程和w a v e l e t 方法进行图像修复和解卷 积等。y a n 等( y a ne ta 1 ，2 0 0 5 a ；y a ne ta 1 ，2 0 0 5 b ) 将视频数据视为时空域的 三维灰度场，通过各向异性扩散来实现台标的移除。 另一些人则根据图像的局部特征来设计扩散过程，如o l i v e i r a 等( o l i v e i m e ta 1 ，2 0 0 1 ) 采用统一的高斯滤波器对待修复区域进行迭代滤波修复，b a r c e l o s 等( b a r c e l o se ta 1 ，2 0 0 4 ) 根据水平线连续原则由待修复区域边界逐渐向内部 进行插值，t e l e a ( t e l e a ，2 0 0 6 ) 则采用水平集理论中的快速行进方法( f a s t m a r c h i n gm e t h o d ，f m m ) 进行修复，b e r t a l m i o ( b e r t a l m i o ，2 0 0 6 ) 则根据图像 插值的公理性方法( c a s e l l e se ta 1 ，1 9 9 8 ) ，提出一种具有强连续性和亮度不变 性的最优三阶偏微分方程修复方法。 模拟微观修复机制的方法一般都是从图像及视频的局部连通性出发，有着 完善的数学模型，较好的解决了各向异性扩散的系数设计问题，但这类方法的 一个缺点是对于噪声的敏感性。此外，选择什么样的微观机制进行模拟才更接 近人类视觉的特性，也是一个有待进一步研究的问题。 模拟宏观修复机制的方法 与模拟微观修复机制的方法相比，模拟宏观修复机制的方法是通过对图像 进行“最佳猜测 ，定义并优化一个能量函数来实现修