（信号与信息处理专业论文）老影视资料中视频斑点损伤修复的研究与实现.pdf

上海大学研究生学位论文 摘要 老影视资料是人类历史上极其宝贵的艺术文化遗产。由于年代久远许多老 影视资料受到了损坏，保存和修复这些影视资料成为了一项刻不容缓的仟务。 随着图像视频处理技术的发展，将数字处理技术应用到老影视资料的损伤修复 中成为了一种可能。 本文主要致力于老影视资料中视频斑点损伤修复的研究。斑点损伤是老影 视资料中出现最频繁的视频损伤，它表现为视频序列中大小形状不一的、随机 出现的亮点或暗点。对视频斑点损伤的成因和特征进行了分析，斑点损伤具有 两个主要特征：时间域上的位置不连续性、空间域上的亮度一致性。 本文采用一种时空结合的修复算法来检测和去除老影视资料中的斑点。为 了得到更好的修复效果，提出一个基于时空结合的视频斑点损伤修复系统，包 括运动估计、斑点检测和斑点去除。 在修复系统中，为了更准确地提取受损的斑点区域，提出一种基于多级分 层块匹配的运动估计方法，以此为斑点修复提供运动补偿帧。在斑点检测中， 提出改进的等级差分排序检测法( e r o d ) ，利用斑点的时域信息进行斑点粗检 测，得到斑点粗检测掩膜；然后利用斑点的空间亮度一致性对粗检测斑点与其 邻域像素的亮度相似性进行检1 , 1 1 t l 断，得到斑点优化检测掩膜；最后对优化的 斑点检测掩膜进行形态学膨胀处理，得到最终的斑点检测掩膜。实验证明，该 方法能有效检测出受损的斑点区域。 在斑点去除中，提出一种分类处理的斑点去除方法。根据斑点的大小对斑 点进行分类，对不同类别的斑点采用相应适合的插值算法。微小斑点采用空间 邻域平滑进行插补，小斑点采用多级中值滤波进行去除，大斑点通过运动矢量 修正进行整体重建。实验表明，最终修复的图像在主观上获得了较好的效果。 本文取得的研究成果已在项目“s m g 视频内容修复系统”中得到了成功应 用。 关键词：视频修复系统；时空修复算法；斑点检测；斑点去除 v i ：海大学研究生学位论文 a bs t r a c t t h ea r c h i v e df i l ma n dv i d e oi sa ni n v a l u a b l ea r t i s t i ca n dc u l t u r a lh e r i t a g ei nt h e l o n gt i m eo fh u m a nh i s t o r y m a n yo ft h e s ea r c h i v e dm a t e r i a l sa r ei naf r a g i l es t a t e a n da r ei nd e s p e r a t en e e do fc o n s e r v a t i o na n dr e s t o r a t i o n w i t ht h ed e v e l o p m e n to f d i g i t a li m a g ea n dv i d e op r o c e s s i n gt e c h n o l o g y ，d i g i t a lp r o c e s s i n gt e c h n o l o g yc a nb e u s e dt or e s t o r et h ed e g r a d e da r c h i v e df i l ma n dv i d e o t h er e s e a r c ho fd i g i t a lr e s t o r a t i o no fb l o t c ha r t i f a c ti na r c h i v e df i l ma n dv i d e o i sc o n s i d e r e da st h em a i nc o n t e n ti nt h i sd i s s e r t a t i o n b l o t c h e sa r ec o m m o na r t i f a c t s i na r c h i v e df i l ma n dv i d e o ，a n dt h e ym a n i f e s tt h e m s e l v e sa sb r i g h to rd a r ks p o t sw i t h d i f f e r e n ts i z e sa n dr a n d o ml o c a t i o n s t h ec a u s eo fb l o t c ha r t i f a c ti s a n a l y z e d ，a n d t w om a i n l yc h a r a c t e r i s t i c so fb l o t c h e sa r ep r e s e n t e d ，w h i c ha r et e m p o r a ll o c a t i o n d i s c o n t i n u i t ya n ds p a t i a li n t e n s i t yc o h e r e n c e t h er e s t o r a t i o na l g o r i t h mb a s e ds p a t i o t e m p o r a li n f o r m a t i o ni su s e dt od e t e c t a n dr e m o v eb l o t c ha r t i f a c ti nt h ea r c h i v e df i l ma n dv i d e o t oo b t a i nab e t t e re f f e c t ，a s p a t i o t e m p o r a lr e s t o r a t i o ns y s t e mo nb l o t c ha r t i f a c ti sp r o p o s e d ，w h i c hc o n s i s t so f m o t i o ne s t i m a t i o n ，b l o t c hd e t e c t i o na n db l o t c hr e m o v a l m u l t i l e v e lb l o c km a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h mf o rr e s t o r a t i o ns y s t e m i sp r e s e n t e dt oe x t r a c tb l o t c hm o r ee x a c t l y , w h i c hp r o v i d e sf o r w a r da n db a c k w a r d c o m p e n s a t e df r a m e sf o rb l o t c hr e s t o r a t i o n i nt h eb l o t c hd e t e c t i o ns t e p ，t h ei m p r o v e d e r o dd e t e c t o ri sp r e s e n t e dt oo b t a i nt h ec r u d ed e t e c t i o nm a s kb yu s i n gt h et e m p o r a l i n f o r m a t i o no fb l o t c h e s ，t h e nt h es p a t i a li n t e n s i t yc o h e r e n c ei su s e dt od e t e c ta n d d e c i d et h es i m i l a r i t yo f n e i g h b o rp i x e l st oo p t i m i z et h ec r u d ed e t e c t i o nm a s k ，a n dt h e f i n a ld e t e c t i o nm a s ka r ea c h i e v e db ym o r p h o l o g i c a ld i l a t i o np r o c e s s i n g t h e e x p e r i m e n t a lr e s u l ts h o w sb l o t c h e sc a nb ed e t e c t e de f f i c i e n t l yb yt h ea l g o r i t h m i nt h eb l o t c hr e m o v a ls t e p ，c l a s s i f i c a t i o np r o c e s s i n gm e t h o df o rb l o t c hr e m o v a l i s p r o p o s e d a c c o r d i n g t ot h es i z eo fb l o t c h e s ，b l o t c h e sa r ec l a s s i f i e da n d i n t e r p o l a t e du s i n ga p p r o p r i a t ei n t e r p o l a t i o nm e t h o d s s p a t i a ln e i g h b o r h o o d v l 二海大学研究生学位论文 s m o o t h i n gi su s e df o rm i c r o - b l o t c h e s m u l t i l e v e lm e d i a nf i l t e ri su s e df o rs m a l l b l o t c h e s t h r o u g hm o t i o nv e c t o r sr e f i n e m e n t ，b i gb l o t c h e sa r er e c o n s t r u c t e d t h e e x p e r i m e n t a lr e s u l ts h o w s t h a tt h er e s t o r e di m a g e sh a v eag o o ds u b j e c t i v ee f f e c t a c h i e v e m e n t so b t a i n e df r o mt h i sd i s s e r t a t i o nh a v e b e e na p p l i e ds u c c e s s f u l l yi n t h ep r o j e c t - s m gv i d e or e s t o r a t i o ns y s t e m k e y w o r d s ：v i d e or e s t o r a t i o ns y s t e m ；s p a t i o - t e m p o r a lr e s t o r a t i o na l g o r i t h m ；b l o t c h d e t e c t i o n ；b l o t c hr e m o v a l v i l 上海大学研究生学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名： 查建蓥日期：竺z ：哇：兰垒 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) i i 上海大学研究生学位论文 1 1 课题来源 第一章绪论 本课题来源于2 0 0 7 浙江省科技计划重点科研项目，项目编号：2 0 0 7 c 2 1 0 1 4 。 1 2 课题研究的背景 世界第一部电影诞生于1 8 9 5 年，到现在已经有一百多年的历史。电视从上 世纪2 0 年代诞生到现在，也已经走过了八十多年的历程。在电影、电视发展的 过程中，留下了许多珍贵的电影、电视等影视资料，这些影视资料是记录一个 多世纪以来人类社会快速发展的重要资料，也是近现代人类文化艺术宝库中的 一笔极其宝贵的文化遗产。 电影、电视等影视资料主要是用化学胶片来记录存储的，由于胶片会随着 岁月的流逝而发生物理或化学上的退化，再加上以前胶片保存环境和播放、拷 贝技术的落后，许多老的影视资料都无法完好地保存下来，或损坏或丢失。因 此，如何保存和修复这些宝贵的影视资料已经成了迫在眉睫的任务。 在过去，对于受损的影视资料都是采用化学清洗或薄膜抛光等传统的修复 技术，这些技术只能去除有限的损伤，并且效果也不是太好。随着数字多媒体 技术特别是图像视频处理技术的发展，将数字技术运用到老影视资料修复中成 为了可能，这也就是数字视频修复技术【l 】。相对于传统的物理化学技术，数字 技术的修复受外界环境影响小，可以修复的损伤更多、效果更好，同时减少了 人力物力的投入，修复后数字化存储方便、耗费材料少，可以长时间存储而且 不容易再次受到损坏。 1 3 课题研究的目的及意义 由于保存手段和保存意识比较落后，我国已经有非常多的老影视资料受到 了不同程度的损坏。因此，我们迫切需要对这些老的影视资料进行修复和保存， 这不仪可以保护我们宝贵的历史文化遗产，而且对研究我国的近现代历史有很 i ：海大学研究生学位论文 大的意义。 数字视频修复技术的研究不仅具有保护珍贵影视资料的社会价值，同时也 有着巨大的商业经济价值。1 9 9 3 年美国迪斯尼公司利用柯达公司的c i n e o n 数字 修复系统，不仪将半个多世纪前拍摄的白雪公主修复一新，而且这部修复 后的经典动画电影重新推出后获得了意想不到的成功。这一成功大大加速了数 字视频修复技术在老影视资料修复中的应用【1 】。 随着数字电视技术的发展，数字电视进入千家万户，不同的人有不同的需 求，这必然要求节目源要非常丰富来满足不同人对电视内容的需求，但节目源 的短缺正成为阻碍其发展的一个大问题，制作新的电影和电视的成本必然增加 且具有一定的投资风险，而修复好的老影视资料正好可以满足这方面的需求。 1 4 国内外研究概况 数字视频修复技术是随着计算机技术和数字多媒体技术的发展而出现的。 数字视频修复的相关研究可以追溯到上世纪8 0 年代。早在1 9 8 3 年，s t o r e y 就开始了其在老电影污点修复方面的研究【2 1 ，这一时期是研究的起步阶段，研 究针对的也只是一些简单的问题，研究的进展也相对比较缓慢。进入9 0 年代后， 这方面的研究受到了更多的关注和重视，很多的研究者开始了这方面的研究， 并成立了这方面的相关组织，这些组织和研究者对数字视频修复的相关研究做 出了很多贡献。a n i ic k o k a r a m 是其中一位杰出的研究者，他已经在各种期刊、 国际会议上发表了大量的视频修复方面的文章阱【8 1 。2 0 0 0 年后，数字视频修复 的相关研究进入了快速发展的时期，越来越多的研究者和组织参与了进来，他 们提出了许多新的方法并在实际应用中做出了尝试【9 】【1 0 1 。通过这些研究，我们 可以最大限度地还原甚至增强现有老影视资料的视觉效果。 从技术上来说，西欧围家的相关研究开展得比较早，投入的力量比较大， 目前处于领先的地位。在1 9 9 5 年和1 9 9 9 年，欧盟的a c t s ( a d v a n c e d c o m m u n i c a t i o nt e c h n o l o g ys y s t e m ) 计划组先后肩动了a u r o r a ( a u t o m a t e d r e s t o r a t i o no fo r i g i n a lv i d e oa n df i l ma r c h i v e s ) 项目和b r a v a ( b r o a d c a s t r e s t o r a t i o no f a r c h i v e sb yv i d e oa n a l y s i s ) 项目，这两个项目都取得了许多新的 2 f ：海大学研究生学位论文 研究成果。2 0 0 0 2 0 0 2 年，b r a v a 项目组对影视资料中可能出现的损伤进行了 规范化命名和分类，共分有上百种类别【1 1 】。在研究的基础上，国外也已经开发 出了不少的产品并应用于实际需要，比如柯达公司的c i n e o n 数字修复系统【8 】 12 1 、 d i a m a n t 公司的d i a m a n t 老电影修复处理平台【13 1 、d a v i n c i 公司的r e v i v a l 数字 影像修复系统、s n e l l & w i l c o x 公司的a r c h a n g e l 数字修复系统等。 相对于国外，围内这方面的研究刚刚起步发展，在各类学术期刊杂志上发 表的相关文章也比较少，此类产品的开发还是一片空白。但国内各方面的应用 需求却很迫切，面对国外的技术封锁和设备的昂贵价格，在国内开展数字视频 修复技术的研究也就非常必要。 1 5 论文主要研究内容及安排 本文以作者攻读硕士学位期间承担课题的工作为基础，主要是对老影视资 料中普遍存在的视频斑点损伤进行修复，课题最终要实现一个视频斑点损伤修 复系统。本文的丰要研究内容为： 1 、分析老影视资料受损序列中斑点损伤的形成原因，根据斑点损伤的形成 原因研究斑点损伤的时间域和空间域的特征。 2 、在分析斑点损伤特征的基础上，如何利用斑点损伤的时空域特征来进行 斑点的检测和去除。 3 、在斑点检测时，检测结果包括正确检测和错误检测，如何在提高正确检 测的同时保持较低的错误检测。 4 、受损序列中的斑点是大小不一的，在斑点修复时，如何针对不同类型的 斑点给出相应适合的插值去除方法。 5 、设计一个数字视频斑点损伤修复系统。 本文共分为七章，具体安排如下： 第一章中介绍本文所研究课题的来源，阐述课题研究的背景、目的、意义 和国内外研究现状，提出木文的研究内容和全文的章节结构。 第二章对老影视资料中的视频斑点损伤进行研究，探寻斑点损伤的产生原 因，并分析斑点损伤的时空域特征。 3 i ：海大学研究生学位论文 第三章介绍有关视频斑点损伤的现有修复算法，对这些算法进行分析比较， 在分析现有算法的基础上，提出视频斑点损伤修复的系统模型。 第四章总结视频处理过程中的运动估计方法、块匹配准则、块搜索算法， 提出适合斑点损伤修复的多级块匹配运动估计方法。 第五章提出一种基于时空结合的视频斑点损伤修复算法，详细阐述时空结 合的斑点检测算法和分类处理的斑点去除算法。 第六章介绍软件系统各个模块的功能和实现流程图，利用视频斑点受损序 列对系统进行实验，并对实验结果进行分析。 第七章对全文进行总结，并展望课题下一步研究方向。 4 * 大学日究生 n t 第二章老影视资料中视频斑点损伤分析 小文手要针对老影视资料中视频斑点损伤的修复进行研究，要对斑点坝伤 进行修复，首先要找到斑点损伤的丰要特征，而斑 损伤的特祉叉与腊点损伤 的产生原凶紧密相关。 2 1 斑点损伤分析 斑点是老影视资料中出现壤频繁的视频损伤之一，它表现为视频序列巾并 非图像实际内容的大小形状不一的、随机出现的亮点或暗点，如图21 所示。 2 1 1 斑点损伤的成因 早明的电影是以胶片为存储介质进行存储的。胶片的构成丰要包括保护层 感光乳荆层、结合层、片基、防光晕层，如图22 为电影胶片的结构断而罔。 1 胜毫 h2 2 胶片站构断而h l ： 学r7 r 学位论女 感光乳荆层是胶j ? 实现感光作用的卞型结构，是感光胶片中毋重要的成分， 它由明胶与对光线敏感的澳化银( 也可以台有碘化银、氯化银等锹盐) 等物质 组成。记录在胶h 上的影视信息的存储实际r 是有形物质的储藏。由于构成影 视信息的金属银离子是悬浮在乳剂层中的明胶内，而明胶的成分义足以动物蛋 白为丰，所以胶片极易发牛物珲或化学变化，从而使得原始的影视信息受到损 伤，而斑点损伤就足其中最常见的损伤之一。 存分析现有的老影视资料片段的基础上，我们总结得到斑点损协的产生手 蜜是由污物覆盖、凝胶脱落、水滴霉变等造成的。 1 ) 污物覆盖 在早期的影税资丰 叶 ，胶片没有专门的、清洁的存储环境，j j 奎h 的符理 维护小台理、不完善。在这样的环境条件进行长期存储，胶jr 上会覆盖一此人 小不一的污染物颗粒，这些污染物颗粒会在视频序列幽像上，“十亮的点或暗的 j _ 。污染点的亮或峭墩决于灰尘颗粒附着的位置，附着在腔片感光层的背面则 显示为亮点，附着在胶片感光层的正面显求为暗点。如图2 3 ，( a ) 为污物覆盖 产牛亮斑 的图片，( b ) 为污物覆盖产牛暗斑点的图片。在通常情况下，由污 染物覆盖在腔片上产牛的斑点尺寸比较小，人小般在1 5 1 5 像素的范围内。 i _ i 州2 3r i 物覆盖产生斑点 2 ) 凝腔脱落 在胶 1 1 匀结构组成中，片基和感光乳剖是由不i 可的材科成分构成的。根据 i 。舸走学日究上学* 咯i 热胀冷缩原理，不同的材料只有小同的膨胀、收缩特性，因此当胶存储在冷 热和t 龇1 ：定的存储叫t 境中时，h 基和感光乳荆会i 捌为膨胀收缩不均而发牛龟 裂或脱膜，造成凝胶的脱落。胶片插腹或拷儿中的操作1 i 当也会造成凝腔的脱 落。凝胶脱；喜处存视觉上也显示为或明或暗的j _ ，如图2 4 所示。 3 ) 水滴腐蚀 幽2 , 4 凝胶脱落产生斑点 i 丰1 于早期存储环境的简陋，胶片在长期存储或搬运的过程巾会发牛雨淋或 溅e 水滴的意外市故。水滴附赴胶片上后，胶片乳剂层明胶中的动物蚩向遇水 会产牛物s l l ! j g 娈，使得原小悬浮在明胶中感光离子发十变化，进而产牛霉变、 j i ；i 蚀。水滴腐蚀产牛的损伤在视觉上呈现的是像透明水泡样的明亮【苎：域，且 竖损伤区域范围比较丈，如罔2 5 所示。 倒2 5 水滴腐蚀产生斑 * 学m k * l i 2 1 2 斑点损伤的特征 在分析大量视频资料的基础上，我们可以总结出老影视资料中斑点损伤的 两个特征：时间上的位霄小连续性和空间q 亮度致性。 1 ) 时间上的位置不连续性 由j 覆盖在胶片上的污染物颗粒、脱落的凝胶、溅卜的水滴是人小不一且 随机分布的， 1 此产中的斑点也是大小备芹、随机出现的，只出现在单帧同像 内。因此，从蜥点的时间分布特点米看，斑点小会连续出现在相邻帧的同一位 置，叩斑电具有时【l _ ji ：的不连续性。这旱要区分一下运动造成的罔像像索时间 不准续性，阿| 斑点造成的图像像素时问不连续性。在豳像序列中，对象的运动会 产生遮挡和暴露等现象这蜱遮挡耵| 暴露会造成相邻罔像帧的对应似置的闺像 幽2 6 斑点化置的时间不连续性 i ：海走中m 靠，_ j 学位i 像素的不连续r + ，但是| 1j ：对象运动轨迹是一个连续平滑的1 1 f l 线，闻此产牛的 小连续性是单l 勺的，即只有当前帧图像和前一帧网像或当前帧l 兰l 像和厉帧图 像产牛不连续m 1 ：足二帧同时产牛不连续。而斑点是孤立、奇异的田此它 造成的罔像像秉小连续性是双向的，即当前帧罔像和前一帧蚓像、当前帧幽像 和后一帧图像都具有不连续性。 如图26 所不，( a ) 为m e i 序列的第6 4 帧，( b ) 为m e i 序列的第6 3 帧，( c ) m e i 序列的第6 5 帧。从酬中可以看h ，( a ) 中的亮斑点并没肯出现存( b ) 、( c ) 巾的同一位置及其附近区域，而( b ) 中的咭点也没有在( a ) 的相蚓位置出现。 2 ) 空间上的亮度一致性 对r个独立充牲的斑点它并1 ：足单单的一个像素，而是一个像素区域。 在斑点像素区域中，所有的像素都是受始l 的，且导致这种损伤的原冈足相同或 辛h 似的，因此单独一个斑点区域的像素的亮度存似觉r 呈现一敛的特性，斑点 区域巾心位置的像素亮度是最亮或最暗的，从巾心到边缘有较小的渐变。如罔 2 , 6 所示，右边为局部斑点的亮度放大罔，从图中u ，以看出斑 区域的亮度值从 中心向边缘逐渐递减。 2 2 本章小结 幽2 6 斑点亮度的空间致性 木章对老影视资料q ，视频斑点损伤的产牛原因及斑- ! i 损伤的要特祉址行 了分析。斑点损伤1 要是1 1 1 污染物覆盖、凝胶脱落、水滴腐蚀等不清沾的存 上海大学研究生学位论文 储环境或不合理的拷贝、播放等操作造成的，斑点损伤的分布在时间上具有位 置不连续的特性，在空间上具有亮度一致的特性。斑点成因和斑点特征的分析 为下一步的斑点修复研究打下了基础。 1 0 卜海大学研究生学位论文 第三章视频斑点损伤修复算法研究 斑点是老影视资料中出现最频繁的视频损伤之一，它主要是由于不清洁的 存储环境，或者是不合理的放映、拷贝等操作处理导致污物覆盖在胶片上或者 胶片上的明胶脱落而造成的 1 5 】。这种视频损伤的一个显著特征就是它只存在于 视频中的某一个局部，因而大多发生在单帧图像内，显现出的视觉效果是视频 中并非视频实际内容的大小形状不一的随机分布的或明或暗的块。从斑点在时 间和空间上的分布来看，它主要有两个特点：一是在时间域上的不连续性，即 斑点随机出现在视频序列中，很少在相邻帧的同一位置上出现；二是在空间域 上的一致性，即斑点在空间上是亮度一致的区域，与周围像素的亮度无关。 在数字视频修复过程中，视频序列各帧的原始图像可以用( 3 1 ) 式的形式 来建模： l ( f ，j ) = 厶一。( f ， + d m 一。( f ，川+ p ( f ，j ) ( 3 1 ) 式中，厶( f ，) 是第甩帧中坐标 f ， 处的像素亮度；d m 一，( f ，j ) 是v g ，z 帧中坐标 f ，j 处像素到第，z 一1 帧的二维运动矢量；p ( f ，) 是像素亮度误差，其服从平稳高斯 分布。 根据斑点产生的原因，我们可以知道斑点区域是视频序列中丢失数据的区 域。对于这个数据丢失的区域，我们首先要检测出它在视频序列出现的位置， 然后对这个区域进行插值来重建丢失数据，最终达到去除斑点的目的。因此， 斑点的修复处理可分为斑点的检测和斑点的去除两部分，从算法角度上看，斑 点的检测是整个数字处理过程的重点，也是其中的难点【16 1 。 图3 1 描述了一个完整的数字视频修复系统模型，其中将整个处理过程划分 为6 个阶段：视频获取阶段，将图像信息已从胶片上的模拟信息转换为数字信 号；视频预处理阶段，首先对视频序列进行分析，将图像序列分割为不同的场 景，然后根据具体场景确定视频中出现的视频损伤；损伤检测阶段，对单个场 景进行运动分析，检测出场景中的视频损伤；损伤去除阶段，针对视频损伤的 上海大学研究生学位论文 特点采用相应的算法去除损伤；视频存储阶段，将修复完成后的视频信息放入 存储器中【1 7 】【1 8 】。 图3 1 数字视频修复系统模型 3 1 斑点损伤的检测方法 通常情况f ，斑点损伤的基本数学模型可以表示为： g ( i ，j ) = i - m ( ，) ，( f ，) + ，z ( f ，砂b ( f ，) ( 3 2 ) 式中：g ( i ，j ) 为观察到的实际像素；，( f ，) 为原始未受污染的非斑点像素； b ( f ，j ) 为受到污染的斑点像素；m ( i ，j ) 是一个二值掩膜，取0 表示图像数据没 有受到污染，取1 表示图像数据受到污染19 1 。根据( 3 2 ) 式可知，对于斑点损 伤的检测也就是确定m ( i ，j 1 。斑点检测方法有：直接检测法、s d i ( s p i k ed e t e c t i o n i n d e x ) 检测法、m r f ( m a r k o vr a n d o mf i e l d s ) 检测法、a r ( a u t o r e g r e s s i v e ) 检测法和r o d ( r a n ko r d e rd e t e c t o r ) 检测法。 3 1 1 直接检测法 最早开始视频修复技术研究的是工作于b b c 的s t o r e y ，他在1 9 8 3 年设计 了一个用来检测污染点的自动检测系统，这个系统结合硬件来进行视频修复2 1 。 他的检测思想是：如果当前像素与其前一帧、后一帧对应像素的差别很大，就 认为当前像素是丢失数据的受损像素。 直接检测方法可由表达式( 3 3 ) 表示： j 办= 厶( 7 ，) 一l 小) ( 3 3 - a ) 【d b = l ( f ，j ) - 1 一。( f ，j ) 1 2 上海大学研究生学位论文 聊( z ，) = ：) ：。d ，l 忍 p ，t ，西a p n d i 吃l 丁口，z ds g n ( 办) = s g n 吃( 3 3 - b ) 式中：d ，为前向像素差值，以为后向像素差值，丁为设定的阈值，s g n o 为符号 函数。即当某一像素满足前后两帧图像分别与其当前帧图像的灰度差的绝对值 超过设定的阈值，并且不在前后两帧图像灰度值范围内时，系统自动判定该像 素为斑点像素。前两个条件是为了克服因局部运动造成的对象遮挡或暴露而引 起的亮度变化的影响，第三个条件只有在斑点是亮斑点或暗斑点的时候才能成 立，对于一些不太明显的斑点通常检测不到。 由于该方法没有考虑运动估计和运动补偿，因此当视频序列中出现大的运 动时，将无法区分斑点区域和运动区域，造成检测结果出现大量的漏检和误检， 检测效果不好。 3 1 2s d i 检测法 1 9 9 5 年，k o k a r a m 在考虑了运动补偿的基础上对s t o r e y 的检测方法进行 了扩展，提出了一种叫做s d i ( s p i k ed e t e c t i o ni n d e x ) 的检测方法【4 】【2 0 1 。s d i 检测法的主要思想是首先对当前帧的前一帧、后一帧进行运动补偿，然后通过 当前帧和补偿后的前、后帧之间的像素差值来确定像素点是否为斑点像素。 s d i 检测法公式表示如下： j i ，2 = 。i j ( f ，) ，：+ - ( 【f ，】+ _ n + - ( ，一，) 2 l ( 3 4 一a ) l 吃= i l ( f ，j ) - 1 一，( f ，】+ 吃加。( f ，圳 s d i = ，办 丁d rd b 丁( 3 4 - b 、 0 ， o t h e r w i s e ，z 础= 墨s 删d i - t 2 ，且的选择最重要，这些 阈值的设定决定了检测器的检测敏感度。如果排序差分中的任何一个超过了相 应阈值，就将当前像素判为斑点像素，判决如下： 玳础= ：；，2 o 卜瓦k = 1 , 2 , 3 ( 3 1 5 ) r o d 检测法在计算精度和准确度上比s d i 检测法要高，在计算复杂度上比 m r f 检测法、a r 检测法要低，是一种应用比较广泛的方法。但在前、后帧同 一位置连续出现斑点、噪声比较大的情况下，这种方法也会产生错误。 另外，数学形态学方法也可以用来检测视频中的斑点损伤2 2 】【2 3 1 ，它是利用 开运算、闭运算和原始图像的差来获取检测结果图，再通过阈值来区分像素是 否受到污染。采用这种方法不仅可以处理斑点和灰尘，还可以处理划痕等其它 损伤，缺点是算法本身没有考虑使用时域信息。 3 2 斑点损伤的去除方法 斑点是视频序列中丢失原始像素的区域，在检测出斑点区域后，进一步就 是对受损区域进行插值重建，最终去除斑点。斑点去除的方法有：三点中值去 除法、m m f ( m u l t i l e v e lm e d i a nf i l t e r ) 去除法、m r f 模型去除法、a r 模型去 除法和i n p a i n i n g 去除法。 上海大学研究生学位论文 3 2 1 三点中值去除法 s t o r e y 在 2 】中采用三点中值操作来对丢失像素直接进行插值，即对前一帧 对应像素、当前像素、后一帧对应像素三个像素求中值，将中值作为丢失像素 的插值结果。这种插值方法没有考虑到运动信息，插值效果比较差。 3 2 2m m f 去除法 k o k a r a m 等提出用多级中值滤波来对丢失数据进行插值5 】【2 8 】。m m f 法是一 种比较直接的插值算法，其本质就是中值滤波技术的串联，可以说并不是一种 严格意义上的插值技术【2 9 】。 m m f 插值算法计算简单，对于一般的斑点损伤处理效果比较理想，但对于 出现在视频序列帧边缘位置的斑点，中值滤波处理后会出现边缘模糊的现象， 这是由中值滤波器的固有特性造成的。总体来说，m m f 法是一种比较实用的插 值算法。 3 2 3m r f 模型去除法 k o k a r a m 在提出m r f 检测器的同时，也采用m r f 模型来对丢失数据进行 插值5 1 。该方法的思想是：在给定当前帧和运动补偿后的前后帧的情况下，寻 找斑点区域丢失像素的最大后验估计，然后进行插值。通常m r f 是一个非常复 杂的系统，这里采用了一个相对简单的m r f 模型来进行斑点修复去除。其后验 概率可表示为： p ( 乞( f ，j ) lm ( i ，) ，1 i f _ c ( i ，歹) ，i n ( i ，) ，露箸( f ，) ) o c e x p l - 。，外z 。，：。 。，z ，。s ( i o ( z ，) 一( x ，少) ) 2 + c3 6 ) 。，p ( 撕坩y ) ) 2 + ( 撕m m c 少) ) 2 j ( w ) 品 l 、 、 jl 式中，s s 和s r 分别表示当前像素的空间邻域像素集合和时间邻域像素集合，旯 是时间邻域像素的权值。( l ( i ，) 一( x ，y ) ) 2 项表示空间上进行的插值相对空间 1 9 上海大学研究生学位论文 邻域像素是光滑的，( ( f ，) 一骝( x ，少) ) 2 + ( t ( f ，) 一e m + c ，( x ，y ) ) 2 项表示时间上沿 着运动轨迹进行的插值在图像亮度上是连续的。 m r f 模型去除法物理意义非常明确，而且也取得了不错的效果。但就其表 达式来看，这是一个无方向性的光滑插值运算，这和实际图像边缘的方向性有 所相背，因此该方法对于边缘的处理效果不是很好。相对m m f ，该方法对于噪 声的敏感程度要低，插值效果也要好，但m r f 模型的复杂性使得该方法实现起 来有难度。 3 2 4a r 模型去除法 k o k a r a m 还提出了基于三维a r 模型的插值方法【5 1 。它是利用运动补偿后的 前后帧图像和当前帧图像，在线性均方误差最小的情况下对斑点区域进行插值。 其a r 模型可表示为