（信号与信息处理专业论文）黑白影像的彩色化研究.pdf

摘要 彩色化是一种给黑白图像、电影或电视节目加上颜色的计算机辅助处理技术，在影 视、医疗、太空探索及其它许多工业及科学领域有着广泛的应用，同时也一直是图像处 理中一个活跃的、有挑战性的研究课题。 按照应用目的及处理方式的差异，彩色化可分为伪彩色和假彩色两种类型。伪彩色 指处理对象本身并没有颜色属性，而是通过彩色化实现图像增强以利于人眼进行查看； 与之对应，假彩色的处理对象本应具有颜色，但是颜色在成像过程中丢失，因此要利用 彩色化来模拟真实的场景。本文的研究重点是图像和视频序列的假彩色处理，在分析和 总结现有方法的基础上，开发实用化的黑白影像彩色化技术。 论文工作的创新点主要体现在以下几个方面： 1 图像彩色化方法的理论性总结。本文将图像彩色化视为病态问题，根据处理病态 问题的规整化形式将彩色化分为基于颜色转移和基于颜色扩展的两类处理方法。通过对 比分析，认为基于局部颜色扩展的方法更具合理性，其机理在于图像中颜色的局部相似 性，并将颜色扩展的控制方式归结为微观控制和宏观控制。 2 根据颜色扩展原理，提出两种图像彩色化方法，并验证其有效性。针对l e v i n 算法处理大尺寸图像效率明显下降的问题，改用区域代替像素作为彩色化的处理单元， 提出基于过度分割的彩色化方法。依据图像颜色的局部相似性，将图像中颜色梯度的 l 2 范数平方和设置为价格函数，利用变分法将最小化问题转换为求解偏微分方程，此即 基于拉普拉斯方程的彩色化方法。 3 提出两种视频序列彩色化的新方法，其中一种是基于真实运动估计，另一种利用 局部的严格运动估计。常用运动估汁通常不能有效地反映实际运动、进而难以直接用 于帧间颜色传递，本文利用运动场的空问一致性约束进行真实运动估计。鉴于完全真 实运动估计的实际困难，通过附加条件去除运动估计结果中不可靠的成分、以进行局部 严格运动估计：在此基础：上只需在两帧图像的部分对应区域内进行颜色传递，对传递结 果再利用单帧图像的彩包化方法完成处理。 4 设计了一个人机交互式的黑白i u 影彩色化流程，并已应川于实际处理。提出一种 新的图像质量评价指标亮色变化不一致比，并验证了该指标对于衡量图像彩色化质 量的有效性；这对于缓解因为缺乏有效标准、从而难于客观地评价图像彩色化结果的现 状具有积极意义。 关键词：彩色化，颜色扩展，运动估计，颜色传递，图像质量评价 r e s e a r c ho nc o l o r i z a t i o no fm o n o c h r o m ei m a g e sa n dv i d e o s t e n gs h e n g h u a ( s i g n a la n di n f o r m a t i o np r o c e s s i n g ) d i r e c t e db yp r o f z o um o u y a n a b s t r a c t c o l o r i z a t i o ni sac o m p u t e r - a s s i s t e dt e c h n i q u eo fa d d i n gc o l o r st om o n o c h r o m ei m a g e s ， m o v i e so rt vp r o g r a m s t h et e c h n i q u eh a sb e e nw i d e l yu s e di nm o v i e m a k i n g ，m e d i c a l i n s t r u m e n t s ，i m a g ee n h a n c e m e n tf o rs p a c ee x p l o r i n g , a n dm a n yo t h e ri n d u s t r i a la n ds c i e n t i f i c f i e l d s u pt on o w , h o w e v e r , t h ec o l o r i z a t i o nt e c h n i q u er e m a i n sa l la c t i v ea n dc h a l l e n g i n g a r e a i nt h er e a l mo fi m a g ep r o c e s s i n g a c c o r d i n gt o i t s a p p l i c a t i o na n dp r o c e s s i n gm o d e ，c o l o r i z a t i o ni sd i v i d e di n t o t w o c a t e g o r i e s ，n a m e l yp s e u d oc o l o r i z a t i o na n df a l s ec o l o r i z a t i o n p s e u d oc o l o r i z a t i o ni m p l i e s t h a tt h eo r i g i n a li m a g em a yh a v e n o tac o l o ra t t r i b u t ea n dt h ea i mo f c o l o r i z a t i o ni st oe n h a n c e t h ei m a g ef o ri n s p e c t i o n i nc o n t r a s t ，f a l s ec o l o r i z a t i o nm e a n st h ei m a g eo r i g i n a l l yh a sac o l o r a t t r i b u t eb u ts u c ha na t t r i b u t eh a sb e e nl o s ti nt h ei m a g i n gp r o c e s sa n dt h et e c h n i q u ei n t e n d s t oi m i t a t et h ea c t u a ls c e n e t h i sd i s s e r t a t i o nm a i n l yd i s c u s s e sf a l s ec o l o r i z a t i o n o f m o n o c h r o m ei m a g e sa n dv i d e o s a f t e rs u m m a r i z i n ga n da n a l y z i n ga l lt h ea v a i l a b l ee x i s t i n g t e c h n i q u e so ff a l s ec o l o r i z a t i o n ，af e wn e wa n da p p l i c a b l e c o l o r i z a t i o nt e c h n i q u e sa r e d e v e l o p e di nt h i sp a p e r t h em a i nc o n t r i b u t i o n sj nt h ed i s s e r t a t i o na r ea sf o l l o w s ： 1 t h e o r e t i c a l l ys u m m a r i z i n go fc u r r e n tc o l o r i z a t i o nm e t h o d s c o l o r i z a t i o ni st r e a t e da s a n i l l p o s e dp r o b l e m c o l o r i z a t i o nm e t h o d s a r ed i v i d e di n t ot w ok i n d sa c c o r d i n gt ot h e i r r e g u l a r i z a t i o nf o r m s ：t h eo n eo nt h eb a s i so fc o l o rt r a n s f e ra n dt h eo t h e ro n eb yu s i n gc o l o r p r o p a g a t i o n t h ec o l o rp r o p a g a t i o nm e t h o d i sc o n s i d e r e dt ob em o r er e a s o n a b l e t h e u n d e r l y i n gm e c h a n i s mo ft h em e t h o di st h el o c a lc o h e r e n c eo fi m a g ec o l o r s t h ec o n t r o l l i n g m o d e so fc o l o r p r o p a g a t i o n a r ec l a s s i f i e di n t ot w oc l a s s e s ：m i c r o c o n t r o l l i n g a n d m a c r o - c o n t r o l l i n g 2 t w oi m a g ec o l o r i z a t i o nm e t h o d sb a s e do nc o l o rp r o p a g a t i o np r i n c i p l ea r ep r o p o s e d a n dv e r i f i e d ( 1 ) l e v i n sc o l o r i z a t i o nm e t h o di s i n v e s t i g a t e da n dc o n s i d e r e dt ob ei n e f f i c i e n t f o rl a r g ei m a g e s c h o o s i n gs m a l lr e g i o n sa sp r o c e s s i n gu n i t si n s t e a do fp i x e l sj u s ta sl e v i n s m e t h o d a ni m p r o v e dc o l o r i z a t i o nm e t h o db a s eo no v e r - s e g m e n t a t i o ni sp r o p o s e d ( 2 ) i n v i r t u eo ft h el o c a lc o h e r e n c eo fc o l o ra t t r i b u t e ，ac o s tf u n c t i o nd e f i n e db yt h et o t a ls q u a r eo f t h ec o l o rg r a d i e n t sl 2n o r o li sp r o p o s e d m i n i m i z a t i o no fs u c hac o s tf u n c t i o nl e a d st os o l v e ap a r t i a ld i f f e r e n c ee q u a t i o n ，i e l a p l a c i a ne q u a t i o n 3 t w on e wv i d e oc e l o r i z a t i o nm e t h o d sa l ep r o p o s e d o n ei sb a s e do nt h et r u em o t i o n e s t i m a t i o na n dt h eo t h e ro n er e q u i r e sl o c a l l ys t r i c tm o t i o ne s t i m a t i o n ( 1 ) t h ec u r r e n t l y r e p o r t e dm o t i o ne s t i m a t i o na l g o r i t h m sa r ei n v e s t i g a t e da n dt h ee s t i m a t e dr e s u l t sa r ef o u n dt o b eg r e a t l yd i f f e r e n tf r o mt h ea c t u a lm o t i o n c o n s e q u e n t l y , t h ee x i s t i n ga l g o r i t h m sa r en o t a p p r o p r i a t ef o rc o l o rt r a n s f e r w ei n t r o d u c eas p a t i a lc o h e r e n c ec o n s t r a i n to fm o t i o nf i e l dt o i m p r o v et h et r u em o t i o ne s t i m a t i o n ( 2 ) i nv i e wo ft h ea c t u a ld i f f i c u l t yf o rc o m p l e t et r u e m o t i o ne s t i m a t i o n ，w es e e kf o rl o c a ls t r i c tm o t i o ne s t i m a t i o nb ye x c l u d i n gu n r e l i a b l e c o m p o n e n t s i nt h ee s t i m a t e dr e s u l tb yu s i n ga d d i t i o n a lc r i t e r i a o nt h i sb a s i s ，c o l o rt r a n s f e ri s n e e d e df r o map a r tt oap a r to ft w oi m a g e s a f t e rt h a tac o l o r i z i n gp r o c e s sf o rs i n g l ei m a g e c a nb ea p p l i e d 4 am a n c o m p u t e ri n t e r a c t i v ec o l o d z a t i o nf l o wt h a ti sa p p l i c a b l ei nt h er e a lw o r l df o r m o n o c h r o m em o v i ei sp r o p o s e d w ef o u n dt h a tan e wm e t r i c ，n o n - h h i f o r m 毋r a t i oo fc o l o r c h a n g et oi n t e n s i t yc h a n g e ( n u r c c - t o - i c ) ，i sv e r yu s e f u lf o ra s s e s s i n gt h eq u a l i t yo ft h e c o l o r i z a t i o nr e s u l t t h i sr e s u l tc a na l l e v i a t et h ed i f f i c u l tc a u s e db yt h el a c ko fo b j e c t i v e c r i t e r i ai nt h ee v a l u a t i o no fv a r i o u sc o l o r i z a t i o nt e c h n i q u e s k e y w o r d s ：c o l o r i z a t i o n ，c o l o rp r o p a g a t i o n ，m o t i o ne s t i m a t i o n ，c o l o rt r a n s f e r , i m a g e q u a l i t ya s s e s s m e n t v 研究成果声明 本人郑重声明：所提交的学位论文是我本人在指导教师的指导 下进行的研究工作获得的研究成果。尽我所知，文中除特别标注和致 谢的地方外，学位论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得中国科学院电子学研究所或其它教育机构的学位 或证书所使用过的材料。与我一同工作的合作者对此研究工作所做的 任何贡献均已在学位论文中作了明确的说明并表示了谢意。 特此申明。 签名：膝手f 华日期：2 。口f 上2 多 关于学位论文使用权的说明 本人完全了解“t ，困科学院电子学研究所有关保留、使用学位论 文的规定，其“i 一包括：电子所有权保管、并向有关部门送交学位论 文的原件与复印件：电子所可以采用影印、缩印或其他复制手段复 制并保存学位论文：电子所可允询：学位论文被查阅或借阅：m _ ! , - t - 所可以学术交流为目的，复制赠送和交换学位论文；电子所可以公 布学位论文的全部或部分内容( 保密学位论文在解密后遵守此规定) 。 刚鳓：灿6 f f 2 占 日龇加z ，移别 第一章引言 第一章引言 人类眼中的世界是五彩缤纷的，颜色在人类对世界的认知过程中担当着重要角色。 例如在习惯于彩色电视之后再去看黑白电视，就会明显感受到颜色的缺失对画面表现力 造成的影响。 由于种种原因现存大量黑白影像资料，给这些影像加上适当的颜色有可能极大地改 善视觉效果。本文致力于研究黑白影像的彩色化处理，通过总结分析彩色化的处理方法 及若干问题，发展新的算法以提高彩色化处理的效果和效率。 1 1 视觉、颜色与图像 对于动物而言，视觉仅仅是一种适应环境以利生存的工具，而对于人类，视觉就不 仅仅是一种辅助生存的感官功能，而且是一种思维和交流的手段。事实上，对于无感官 缺陷的人，对物质世界的感知8 0 以上的信息都是通过视觉得来的。颜色和图像是视觉 信息的存在形式，或者说是视觉信息的两个基本要素。人类不仅能够通过视觉感知世界， 而且具有复制颜色和图像的能力：颜色和图像的创造是在视觉响应的支配下完成的，设 计作品的品阅也是通过视觉来实现的1 1j 。 关于什么是颜色，这一问题曾困扰过一代又一代的学者，从柏拉图和亚里士多德的 著作里就可以看到有关颜色的早期观点。牛顿对色彩学的发展做出了根本性的贡献，他 首先对什么是颜色这个问题给出了正确的回答。牛顿认为“光没有别的什么，只是有某 种能力或支配力，它决定光使我们产生这种或那种颜色的感觉。颜色是大脑对眼睛 的视网膜接受光线后的响应而产生的一种感觉”。根据牛顿开创的色彩理论，后来的科 学家在生理学和心理学领域里对颜色这种视感觉做出进一步的揭示。生理学家将颜色视 为发生在眼睛视网膜神经细胞里的电生理活性，实验心理学家则对颜色做出了类似牛顿 所下的定义：颜色是眼睛的视网膜接受光刺激后产生的视觉。 视觉信息的原始形式是现实世界通过眼睛的几何光学系统映射在视网膜上生成的图 像。现实世界是一个布满各种波长的电磁辐射的能量场，可以表示为 黑白影像的彩色化研究 e g ，y ，z ，a ，f )( 1 1 ) 其中：e 代表能量；x , y ，z 是现实三维世界的空间坐标；a 是电磁辐射的波长，对人眼 的视觉世界而言，可见光波长范围在4 0 0 - 7 0 0n l n 之间；t 是时间坐标。这个关系式表示 在一定的观察耐间和空间范围内，屯磁辐射的能量分布。图像则是视觉器官( 即人i t l l ) 、 摄取图像的仪器( 例如照相机、摄像机) 以及各种重建视觉印象的各种手段( 例如画家 的笔) 对这个能量场进行一种变换所得到的结果，用数学关系式表示为 l ( x ，y ，a ) 一i e ( x ，y ，z ，a ，f ) 】 ( 1 2 ) 根据所感应的电磁辐射能量的波长范围可以对图像进行分类，即以感应可见光和非 可见光分别对应直接视觉成像和问接视觉成像。根据图像有无颜色又有彩色图像和黑白 图像之分。正如彩色电视较之于黑白电视，一个彩色的世界包含更多的信息，以“多彩” 的方式进行记录能更真实地还原世界。 1 2 彩色化研究及应用 影像是记录客观世界的有效形式，这里简单地把影像作为图像和视频序列的总称， 不把声音作为研究对象。在利用影像记录世界的过程中，有时颜色的缺失是不可避免的。 例如早期的照片、电影都没有颜色，这是由当时的成像手段落后造成的；还有一类黑白 影像的产生与成像机理有关，如x 光透视成像、雷达成像等，这类影像记录了不能由人 眼直接看到的内容，已经大大超越人眼的感知范围。 相对于黑白影像，颜色使彩色影像内容更丰富、细节更清晰，视觉效果逼真。彩色 影像的优点引发人们对黑白影像进行颜色处理的兴趣，彩色化技术应运而生。 1 2 1 彩色化的研究分类 彩色化是一个给黑白图像、电影或电视节目加上颜色的处理过程，一般认为是由 w i l s o nm a r k l e 在1 9 7 0 年发明的，最初用于处理阿波罗登月获取的月球影像【甜。彩 色化将黑白影像作为处理对象，具体的处理手段及期望的处理效果与影像自身的属性密 切相关。 2 第一章引言 1 2 1 1 伪彩色 彩色化最初处理的是间接视觉成像。这类黑白影像由成像机理决定了其记录的内容 本身并没有颜色，甚至并非常规意义上的图像，是表示非可见电磁波穿透特性的数据显 示。如医学上为检查人体病变采用的x 光透视成像，人体各器官及正常器官与病变器官 对x 光的吸收率不同，经x 光透视成像后体现在灰度差异上，从而间接反映体内器官 的状况。虽然这类图像本身没有颜色，但为了使图像更便于观察，常根据图像灰度添加 不同的颜色以突出细节。这种处理方式称为“伪彩色”( p s e u d oc o l o r a t i o n ) ，处理示例 见下图1 1 ( a ) ( b ) 。 ( a ) 黑白切片图像( b ) 伪彩色处理结果3 1 ( c ) 黑白l 也影图像( d ) 假彩色处理结果4 剀1 i 伪彩色与假彩色处理的对比( 见附录彩图) 伪彩色处理通过将每个狄度级匹配到彩色空问上的一点，将单色图像映射为一幅彩 色图像。这可将按某种规则生成的映射存储在查找表中，从而简单地给每个狄度级赋予 一种彩色。如果按某种模式进行伪彩色映射而不是随机地赋值，效果可能令人更满意， 3 黑白影像的彩色化研究 一般是将灰度轴匹配到色彩空间中的一条连续的曲线上。伪彩色处理可以是连续彩色， 也可以由几种彩色单独构成f 5 1 。 1 2 1 2 假彩色 原本彩色的场景由于成像条件所限造成颜色被动丢失，即传统意义上的黑白照片、 黑白电影等。对于这类影像的处理要求为其添加自然的、接近真实的颜色，以最大限度 地模拟或再现场景的原貌。这类彩色化处理方式称为“假彩色”( f a l s ec o l o f i z a t i o n ) ， 处理示例如图1 1 ( c ) ( d ) 所示。 关于假彩色这个术语，学术界对其解释不尽相同。有的文献并不严格区分假彩色和 伪彩色，而普拉特提出的假彩色概念是将一幅由三基色描绘的彩色图像或具有同一内容 的一套多光谱图像，逐像素映射到由三激励值所确定的色彩空间上【6 】o 本文认同文献【6 】 对假彩色的理解，即将给黑白照片着色以模拟真实颜色这一类处理方式称作假彩色。 综合对比，假彩色力求再现或模拟场景的真实颜色，使之更逼真；伪彩色的处理对 象本没有颜色，颜色选择可以更随意，最终结果是使图像细节更清晰。 1 2 2 彩色化的应用与研究意义 彩色化是源自实践、直接面向应用的技术，上述两类彩色化处理方式均已在诸多领 域被广泛采用。 黑白影像的典型例子就是早期的黑白电影，对旧电影的彩色化处理在2 0 世纪8 0 年 代曾经是一个热门话题。由于技术条件所限，早期电影的拍摄只能采用黑白胶片。早期 电影中不乏经典之作，进一步挖掘这些影片的艺术和商业价值，给其加上适当的颜色能 使之更具观赏性。这个想法得以实现在很大程度上要归功于前面提及的w i l s o nm a r k l e ， 1 9 8 3 年他组建了公司( c o l o r i z a t i o n ，l n c ) 进行黑白电影的彩色化加工。到上世纪8 0 年 代末，电影彩色化变成了一个利润可观的行业，但是当时进行彩色化处理几乎是一项繁 重的“手工”劳动，因此成本高、工期长。以卡萨稚兰1 ：为例，这部影片在1 9 8 8 年完成了彩色化，历时两个月，耗资近4 5 万美元1 7 】。 伪彩色技术早期在遥感图像处理中已有应用，其目的在于使处理后图像的某些内容 4 第一章引言 更加醒目。人眼对彩色的分辨能力远远大于对黑白灰度的分辨能力：对一般的观察者来 说，通常只能分辨十几级灰度，而人眼可分辨出上千种彩色的色调和强度。因此，在一 幅黑白图像中检测不到的信息，经伪彩色增强后可较容易地检测出来。类似的处理在医 学影像中也被广泛采用，伪彩色增强更利于医生评片。 本文研究黑白影像的假彩色处理，尽管这已不是新鲜事物，但随着技术水平的进步， 一些新的处理方式启发我们开展进一步的研究，以求开发出真正简便实用的彩色化技 术。从实际应用及技术发展本身来讲，进行彩色化研究都是非常有意义的。 首先，我国的彩色电影起步较晚，有大量经典的黑白影片值得进行彩色化，特别是 反映我国传统文化的早期戏曲电影，经彩色化处理后会更具观赏性，提升艺术魅力，其 社会意义和商业意义都是巨大的，而国内还未发现有人对此进行专门研究。 其次，随着图像处理相关技术的发展以及计算机处理能力的提高，现在彩色化处理 可以采用不同于以往的方法，显著区别是更加依赖于计算机而不再是“手工制作”。人 们对旧电影彩色化一直颇有非议，除了版权问题，批评在很大程度上是针对其明显颇高 的处理成本l5 1 ，如果能够综合利用现有技术革新传统的彩色化方式，提高处理过程的自 动化水平、降低成本，黑白电影的彩色化处理依然具有广阔的应用前景。 再次，彩色化技术，特别是简便高效的处理方式在医学和工业等领域有着重要的应 用。例如个图像通信过程，由于某种原因接收端仅得到了图像的亮度信息和部分颜色 样本，这时就可能利用彩色化技术恢复出完整的彩色图像。 1 3 本文的主要工作及内容安排 电影彩色化的具体方法属于商业秘密，没有详细的公开资料可查。从学术界发表的 关于图像及视频彩色化的研究成果来看，目前还没有真正行之有效的处理方法，问题主 要体现在处理的效果和效率上。 ( 1 ) 处理效果 处理效果指的是彩色化结果是否着色自然和谐、画面逼真，这是衡量彩色化处理最 重要的指标。考察彩色化的两类处理方法，借助彩色参考图像实施颜色转移的方法处理 结果欠精细，简单的颜色转移不适于处理诸如电影一类的实际影像i8 1 。相对而言，利用 人工初步涂色进行颜色扩展的处理形式更接近于实际的绘画创作，可以看作简化版的 5 。 黑白影像的彩色化研究 “手工绘制”，适当的人工涂色辅以性能优良的算法控制涂色进行合理地扩展，有望取 得理想的彩色化效果。颜色扩展的基础是相邻像素间颜色的相似性，l c v i n 算法1 9 l 及基 于短程线距离的颜色混合法【1 0 l 是颜色扩展法的典范。 利用现有方法处理单帧图像可以取得较为满意的彩色化效果，但在视频彩色化、即 处理多帧图像方面还有许多问题亟待解决。除非简单复制单帧的处理方法( 工作量太大， 对实际视频处理是不现实的) ，难以保证后续帧的彩色化效果。 ( 2 ) 处理效率 在当前的技术条件下，彩色化处理离不开人工参与。人工参与量的多少和计算机处 理算法的复杂性是影响处理效率的两个方面。对于颜色转移类方法，人工参与体现在为 黑白图像指定适当的彩色参考图像；对颜色扩展类方法，需要由人工直接在图像中设置 指示色。人工参与还体现在对处理结果的评价上，目前对彩色化结果还没有有效的客观 评价标准，主要依靠人眼来审查结果，进而决定是否需要重新处理。 相对于人工参与量，计算机处理算法的复杂性是影响图像彩色化效率的更关键要素。 算法复杂性的改进能显著加速彩色化进程，例如在图像彩色化时利用颜色混合法比 l c v i n 算法处理速度能提高数十倍1 1 0 】。在视频彩色化处理时，除去关键帧之外的邻近多 帧处理在整个彩色化进程中占据更大的处理工作量。 至此可以得出结论，黑白影像彩色化的难点在于质优精细的单帧处理与高效稳健的 多帧视频序列处理；研究现状是图像彩色化有可用的算法，但缺乏理论总结，视频彩色 化没有通用的有效算法。本文的研究工作正是围绕这两方面展开，主要的创新点及论文 内容安排如下： ( 1 ) 彩色化方法总结。相对于分割、配准、识别等图像处理问题，在彩色化方面能 够查到的文献非常有限。本文对彩色化的总结分为单帧处理和多帧处理两种情形：对于 单帧图像彩色化，归结为即基于颜色转移和基于局部颜色扩展的两类处理方法；在多帧 彩色化方面，将是否利用运动估计作为方法分类的依据。这部分内容在第二章中予以交 待。 ( 2 ) 解决图像彩色化处理的若干问题。提出基于过度分割的彩色化方法。针对 l e v i n 算法处理大尺寸图像效率明显下降的问题，改用区域代替像素作为彩色化的处理 6 第一章引言 单元；该方法假定图像中小的同质区域内颜色相近，采用过度分割保证这样的区域不至 于过大。提出基于拉普拉斯方程的图像彩色化方法。依据实际图像中除去物体边界、 相邻像素间颜色差异微小的事实，在由人工在图像中部分涂色的基础上，将图像中颜色 梯度的三2 范数平方和设置为化价格函数，利用变分法将最小化问题转换为对偏微分方 程的求解。 颜色扩展方法总结及深入理解。总结颜色扩展类方法，将颜色扩展的控制 形式分为微观控制和宏观控制两类，指出颜色扩展的基础是相邻像素间颜色的相似性。 彩色化处理中的色彩空间选择问题。将常用色彩空间宽泛地概括为基本色空间和颜色 属性空间，分析并实际验证了不同色彩空间在彩色化中的应用性能，指出色彩空间选择 并非彩色化的关键问题。这些内容安排在第三章。 ( 3 ) 在视频序列彩色化方面的研究成果。基于真实运动估计的帧间颜色传递方法。 针对常用运动估计结果与实际运动存在一定偏差、进而不能胜任帧间颜色传递的问题， 采用运动场的空间一致性约束进行真实运动估计，并在此基础上进行逐帧颜色传递。 彩色化结果中非正常着色的区域修正方法。基于颜色的局部相似性，在图像分割的基础 上进行区域异常色检测，并采用区域主色对其修正。基于局部严格运动估计的视频序 列彩色化方法。鉴于完全真实运动估计的实际困难，通过附加条件去除运动估计结果中 的不可靠成分、进行局部严格运动估计；在部分严格运动估计的基础上进行部分颜色传 递，对颜色传递结果利用单帧图像的彩色化方法完成处理。这些是第四章的内容。 ( 4 ) 黑白电影彩色化处理流程及彩色化评价问题。黑白电影彩色化流程设计。在 有关图像和序列彩色化方法研究和对比的基础上，设计了一种实用的、人机交互式的黑 白电影彩色化流程，并已应用于实际处理。该处理流程的显著特点是根据当前的处理结 果，灵活选用基于真实运动估计和基于部分严格运动估计的彩色化方法。提出亮色变 化不一致比的概念，用以评估图像彩色化结果中颜色分布的合理性。针对当前彩色化结 果缺乏客观评价标准的现实，通过对正常与- t e j k 常彩色化结果的实际观察，指出颜色与 亮度变化不一致是彩色化结果恶化的内在因素，设计亮色变化不一致i l x , 1 其进行衡量， 并实际验证了该指标的合理性。这部分内容安排在第五章。 ( 5 ) 第六章是全文工作的总结，并给出对未来相关研究的展望。 本文的最终目的是丌发实用化的黑自影像彩色化处理技术。 7 黑白影像的彩色化研究 参考文献 【1 】古大治，傅师申，杨仁鸣色彩与图形视觉原理关于看的艺术与科学北京：科 学出版社，2 0 0 0 【2 】g a r yb u m s c o l o r i z a t i o n h t t p ：w w w m u s e n m t v a r c h i v e 炼e t v c h t m l c c o l o r i z a t i o n c o 1 0 f i z a t i o n h t m 、 【3 】r a f a e lc g o n z a l e z , r i c h a r de w o o d s d i g i t a lh n a g ep r o c e s s i n g ( 2 n de d i t i o n ) ，p r e n t i c e h a l l ，2 0 0 3 【4 】ly a i z i v ，g s a p i r o f a s ti m a g ea n dv i d e oc o l o r i z a t i o nu s i n gc h r o m i n a n c 圮b l e n d i n g ， i e e et r a n s a c t i o n so ni m a g ep r o c e s s i n g ( t oa p p e a r ) ( 2 0 0 5 ) 【5 】朱秀昌，刘峰，胡栋数字图像处理与图像通信北京：北京邮电大学出版社， 2 0 0 2 ：9 0 - 9 3 f 6 】阮秋琦数字图像处理学北京：电子工业出版社，2 0 0 1 ：2 1 2 - 2 1 4 【7 】gr e d g e r t o n t h eg e r m a n sw o r eg r a y , y o uw o r eb l u e j o u m mo fp o p u l a rf i l ma n d t e l e v i s i o n ，w i n t e r2 0 0 0 f 8 】t w e l s h ，m a s h i k h m i n ，k m u e l l e r t r a n s f e r r i n gc o l o r t og r e y s c a l ei m a g e s p r o c a c m s l g g r a p h 2 0 0 2 ：2 7 7 2 8 0 【9 】m n a tl e v i n ，d a n il i s c h i n s k i ，y a i rw e i s s c o l o f i z a t i o nu s i n go p t i m i z a t i o n p r o c e e d i n g s o f a c ms i g g r a p h 2 0 0 4 ：6 8 9 6 9 4 【1 0 l y a t z i v ，g s a p i m f a s ti m a g ea n dv i d e oc o l o r i z a t i o nu s i n gc h r o m i n a n c eb l e n d i n g ， i e e et r a n s a c t i o n so ni m a g ep r o c e s s i n g ( t oa p p e a r ) ，2 0 0 5 8 第二章黑白影像彩色化综述 第二章黑白影像彩色化综述 假彩色和伪彩色是彩色化处理的两个分支，二者应用背景不同，在处理方法上也存 在很大差异。伪彩色重在突出细节，要使灰度不同的像素对应不同的颜色，即以颜色差 异体现灰度差异，处理过程可看作一种灰度颜色映射，颜色选择允许一定的随意性。 假彩色力求体现场景的真实性，对表现细节没有特殊要求，但颜色搭配要自然合理，以 最大限度地实现逼真的彩色化效果。 由于人眼对彩色的分辨能力远高于黑白灰度，通过彩色化突出细节不难实现：但如 何合理着色以体现场景的真实性是一个难点，这正是假彩色的核心问题。本文重点研究 假彩色，为行文方便，后面不再严格区分假彩色和伪彩色，一律以彩色化表示假彩色处 珲。 2 1 彩色化与病态性 彩色化力求模拟场景原貌，在颜色本已缺失的情况下，不同的操作人员对场景原貌 的理解不尽相同，因此着色可能会有很大差别。即彩色化操作带有很大的主观性，没有 所谓唯一正确的结果，而且缺乏评价彩色化结果的客观标准。 考虑颜色丢失，即彩色图像到黑白图像的变化过程，这是保留颜色的亮度分量、去 除色度信息的正向过程。与之对应，彩色化则可以看作是一个反问题，而且是“病态” 的反问题。所谓病态，是指问题的解不能同时满足存在性、唯一性和连续地依赖于数据。 由于同一种亮度可能对应多种颜色，因此彩色化的解至少不能满足唯一性，彩色化是一 个病态问题。 病态问题的求解要借助于某些规整化( r e g u l a r i z a t i o n ) 手段。规整化的基本思想是 利用关于解的先验知识，构造附加约束或改变求解策略，使得反问题的解变得确定和稳 定i j 】。根掘病态问题的规整化思想，彩色化可通过附加约束条件加以解决。 9 黑自影像豹彩色化研究 2 2 电影彩色化的常规方法 早期w i l s o nm a r k l e 的彩色化过程，在一个电影镜头中，至少要为一个参考帧手工绘 制颜色模板。利用运动检测和跟踪技术，将后续帧未发生运动的区域赋予相同的颜色， 运动区域根据帧间匹配关系着色，运动边界常需要手工定位1 1 0 l 。 尽管列觋代电影工业中应用的彩色化技术缺乏公开的论述，从文献 z l t 解的情况来 看，这些彩色化系统仍然依靠区域的精确分割、手工着色及帧间跟踪。 2 3 图像彩色化的处理方法 作为视频序列的基本组成要素，单帧图像的处理是影像彩色化的基础。近年来随着 彩色化技术的发展，涌现了一些新的处理方法1 3 以2 l ，依据规整化形式可归结为两类，即 基于颜色转移和局部颜色扩展的彩色化处理方法。 2 3 1 基于颜色转移的图像彩色化 彩色化处理的一大进步首先来源于t w e l s h 等人的工作，他们根据像素灰度及邻域 统计特征的相似性实现了一种颜色转移技术，即将一幅彩色图像( 参考图像) 的颜色转 移到灰度图像( 目标图像) 上。如图2 1 所示。 ( a ) 彩色参考幽像黑自目标图像 ( c ) 处理结果 图2 1 基于颜色转移的彩色化( 见附录彩图) 这种方法避免了图像分割及手工填色，但是彩色化的效果强烈依赖于参考图像与目 标图像的相似程度。因此，参考图像的选取是制约该方法实施的一个关键；在该文中参 考图像是靠人工选取的。此外颜色转移法并不适于各种类型的图像，特别是当图像之 间的实际对应区域( 指两幅图像中共有的景物，如树木、天空等) 灰度差异较大时，仅 利用灰度对应就会产生颜色转移错误。对此，作者采用了人工设置对应窗口的方法，即 】0 第二章黑白影像彩色化综述 颜色转移仅在设定的窗1 3 间而不是整幅图像内进行；目标图像再根据设定窗1 3 的彩色化 结果，结合纹理综合完成整幅图像的彩色化1 3 】。 为进一步改善彩色化效果，t o n g b oc h e n 等采用了一种类似于设置颜色对应窗口的 方法，具体做法是先对图像进行分解，再对分解出的图像的各个组成部分分别利用颜色 转移实施彩色化，最后将各部分组合成完整的彩色图像1 4 1 。这种方法使颜色转移仅在特 定目标之间进行，比“加窗”更精确，自然也更复杂。 针对颜色转移中参考图像的选取问题，v i e i r a 等人提出利用基于内容的图像检索技 术，从图像数据库中选取适配参考图像。其论文设计并验证了四种图像选取方法，免除 了人工干预；同时作者指出，不同的方法分别适用于不同类型的图像1 5 j 。 2 3 2 局部颜色扩展法 图像彩色化是病态问题，为此要利用规整化，基于颜色转移的彩色化方法借助于额 外的参考图像作为选色参考。与之对应的另外一类做法是，先在图像各区域粗略地手工 着色，再设法将局部的彩色化扩展到整幅图像。 2 3 2 1h o r i u c h i 算法 基于这类规整化策略，h o r i u c h i 等在图像彩色化方面取得了一些进展 6 - 9 。文献【6 】【7 】 假定，图像的颜色值服从局部的m a r k o v 性，即一点的颜色仅与邻近像素有关，为此在 将某些称之为“种子像素”的点手工着色之后，把图像中相邻像素间颜色的r g b 各分 量差异总和作为最小化目标，有下式 d 一m i n ( 2 1 ) 式中d ，表示图像中像素( i ，) 与相邻像素的颜色差。至此，图像的彩色化转换为一个最 小化问题，计算过程采用概率松弛法( p r o b a b i l i s t i cr e l a x a t i o n ) 。 诚然，也正如原文所见，这种总体优化的方法可以在某种程度上求解图像彩色化问 题，但其缺点也是相当明显的，除了处理效果差，仅仅是巨大的计算量就妨碍了该方法 的实际应用。文献【8 】1 9 】意识到了这一点，采用了山种子像素开始、在保证邻域像素颜 色差异最小的f 讨提下，即满足 黑白影像的彩色化研究 训：= 虬厂吒i - - , m i n ( 2 2 ) 使着色向外逐点扩张的处理方法，如图2 2 所示。式( 2 2 ) 中表示种子像素，w 是需要 着色的相邻像素。 为改善边界的彩色化结果设计了专门的边界划分算法，并且分别在r g b 和c i e l a b 色彩空间实施了该方法。与利用概率松弛法进行总体优化相比，逐点扩张的彩色化方法 可大幅降低运算量。文中采用的种子是从初始彩色图像中随机选取的。 2 3 2 2l e v i n 算法 田一田一嚣 种子像素 ( a )( b )( c ) 图2 2 着色扩张示意图 从类似的前提出发，a n a ll e v i n 等人的做法i m l 是在色差空间( 利用y u v 色彩空间) 使所有像素颜色值与其邻域加权差的平方和达到最小。由于颜色分配是在色差空间进行 的，不仅能保证图