（计算机应用技术专业论文）高动态范围场景可视化技术研究.pdf

学位论文版权使用授权书 舢f f 舢 y 17 81j 7 l l l 8ir 。= l l l 7 l l l l l 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：王金乎 签字日期：坤年7 月日 导师签名： 签字日期：矽f j 年7 月z 日 一 f 中图分类号：t p 3 9 1 u d c ：x x x x 学校代码：1 0 0 0 4 密级：公开 北京交通大学 博士学位论文 高动态范围场景可视化技术研究 r e s e a r c ho nh i g l ad y n a m i cr a n g es c e n e sv i s u a l i z a t i o n 作者姓名：王金华 导师姓名：须德 学位类别：工学 学号：0 6 1 1 2 0 7 7 职称：教授 学位级别：博士 学科专业：计算机应用技术研究方向：视觉认知计算 北京交通大学 2 0 1 0 年6 月 ，i 致谢 值此博士论文完成之际，回忆起在北京交通大学度过的难忘的四年时光，心 中感慨万千。论文的完成浸透着多年来各位老师、同学以及家人对我的关心和帮 助。 本论文的研究工作是在导师须德教授的悉心指导下完成的。导师的渊博学识、 严谨求实的治学态度、对科研问题的敏锐洞察力以及将理论应用于实践的能力， 都给我留下了非常深刻的印象，为我以后的科研工作树立了典范。感谢宋泽海老 师在学习、生活及科研上的支持和帮助，为我们创造了良好的学习环境。 感谢北京交通大学多媒体数据库实验室的郎从妍、冯松鹤、李兵、鹿瑞、李 宁、蔺旭冬、刘硕研、唐颖军、解文杰、王宁等师兄弟们，与你们的交流和探讨 拓宽了我的研究视野，给了我很多启发，让我的学习研究充满了动力，祝他们工 作顺利，生活幸福。 感谢我亲爱的父亲、母亲。他们不仅将我带到这个美丽的世界，而且不辞辛 苦地供我读书、教我做人。感谢我的弟弟，他给我的生活带来了如此多的欢乐和 笑声。特别要感谢我的丈夫毕海江先生，感谢他在这几年里对我的关心、体贴、 包容和支持。在我压力大，情绪低落的时候，是他安慰我，帮我调节心情，舒缓 压力。如果没有他在我身边陪伴，我可能很难顺利地完成学业。 最后，真诚地感谢每一位曾经支持、帮助和关心过我的老师、亲人和朋友! 中文摘要 摘要：随着计算机和多媒体技术的发展，医学影像、视频监控、卫星遥感和计算 机视觉等各领域对图像的质量提出越来越高的需求。高质量的图像能够提供更丰 富的信息和更真实的视觉感受，是很多实际应用的基础。高动态范围( h i g hd y n a m i c r a n g e ，h d r ) 场景如何在普通显示设备真实再现是阻碍这些应用发展的一个难题。 针对这一问题，论文提出了高动态范围场景可视化技术。它主要从色调映射( t o n e m a p p i n g ) 和多曝光融合( e x p o s u r ef u s i o n ) 两个方面进行研究： 人类视觉系统( h u m a nv i s u a ls y s t e m ，h v s ) 是被显示图像的最终接收对象， 因此，在色调映射算法中，利用h v s 的特性指导h d r 图像的动态范围压缩具有 重要意义。根据这一思想，论文引入一种新的“双锚 ( d o u b l ea n c h o r i n g ) 亮度感 知理论，提出一种基于亮度感知理论的h d r 场景再现算法。通过视觉差异预测器 ( s 砌d i f f e r e n c ep r e d i c t o r , v d p ) 评价标准验证了提出算法的有效性，它不仅能 较好地保持真实场景的细节信息和整体明暗效果，而且结果图像更加符合人眼对 真实场景的感观体验。 物体表面反射率具有低的动态范围，而场景的照度一般具备较大的动态范围， 根据这一现象，研究学者提出了一种新的研究思路：把h d r 图像分解成反射层和 光照层，由于每层获取不同的信息和动态范围，因而对每层采取不同的处理方式， 既能压缩了h d r 图像的动态范围又能保持了图像原有的细节信息。基于这一思想， 论文提出利用y u v 颜色空间代替传统的r g b 空间进行双边滤波( b i l a t e r a lf i l t e r ， b f ) 来实现图像分层，这样，可以降低亮度通道范围压缩处理对色度信息产生的 影响。此外，通过利用像素的亮度值自适应地决定其在对数域中的底数值，使算 法能够保留场景更多的细节信息。 基于空间域的多曝光融合算法，通常采用单一的图像特征作为标准。但是，一 个特征来衡量图像质量好坏是不全面的。为了克服这个问题，论文提出一种基于 支持向量回归的多曝光融合算法( s u p p o r tv e c t o rr e g r e s s i o nb a s e de x p o s u r ef u s i o n ， s v i 也f ) 。它能够建立多个特征和图像质量评价标准的映射关系。此外，在大多数 曝光融合算法中，为了获取场景的色度信息，通常是红、绿和蓝三通道分别处理， 这种处理方式不仅使结果图像泛灰( g r a y - o u t ) ，还增加了算法的时间复杂度。针 对这一问题，论文提出一种新的场景色度信息获取的方法，能够较好地保留场景 的色度信息。 在基于频率域多曝光融合算法上，为了降低图像序列间小的平移或旋转对融合 结果图像造成的光晕、模糊等影响，论文提出了一种基于可操纵金字塔( s t e e r a b l e p y r a m i d ，s p ) 的多曝光融合算法( 标记为s p b e f ) 。同时，为了支持对多个输入 图像同时进行融合处理，提出一种分层( h i e r a r c h i c a l ) 的融合规则，它可以大大 增加融合图像的对比度。实验结果表明，s p b e f 和其他曝光融合算法相比，能够 得到较好的视觉效果。 图4 6 幅，表6 个，参考文献1 2 7 篇。 关键词：h d r ，色调映射，曝光融合，支持向量回归，亮度感知，多尺度分解， 双边滤波器 分类号：t p3 9 1 a b s t r a c t a b s t r a c t ：w i t ht h ed e v e l o p m e n to fc o m p u t e ra n dm u l t i m e d i at e c h n o l o g y , m e d i c a l i m a g i n g ，v i d e os u r v e i l l a n c e ，s a t e l l i t er e m o t es e n s i n ga n do t h e rv a r i o u sf i e l d ss u c ha s c o m p u t e rv i s i o na s kh i 曲r e q u i r e m e n tf o ri m a g eq u a l i t y h i g hq u a l i t yi m a g e sc a n p r o v i d em o r ea b u n d a n ti n f o r m a t i o na n dm o r er e a lv i s u a lp e r c e p t i o nt oh u m a ne y e s i ti s t h eb a s i so fm a n yp r a c t i c a la p p l i c a t i o n s h o wt od i s p l a yh i g hd y n a m i cr a n g e ( h d r ) s c e n e so nc o m m o nd e v i c e si sad i f f i c u l tp r o b l e mt oh i n d e rt h e s ea p p l i c a t i o n s i no r d e r t os o l v et h i sp r o b l e m ，t h i sd i s s e r t a t i o nf o c u s e so nt h ev i s u a l i z a t i o no fh d rs c e n e s ，a n d c a r r i e so u tr e s e a r c hf r o mt w oa s p e c t s ：t o n em a p p i n ga n de x p o s u r ef u s i o n t h ef i n a lr e c e i v i n go b j e c tf o rd i s p l a y e di m a g e si sh u m a nv i s u a ls y s t e mo r e s ) ， t h e r e f o r e ，u s i n gt h eh v s c h a r a c t e r i s t i c st og u i d et h ed y n a m i cr a n gc o m p r e s s i o nf o r h d ri m a g e sh a sag r e a ts i g n i f i c a n c e a c c o r d i n gt ot h i sc o n c l u s i o n , w ei n t r o d u c ea l i g h t n e s sp e r c e p t i o nt h e o r yc a l l e d “d o u b l ea n c h o r i n g i n t ot h et o n em a p p i n ga l g o r i t h m t h ee f f e c t i v e n e s so fo u rp r o p o s e da l g o r i t h mi sv e r i f i e db ym e a n so fa ne v a l u a t i o n s t a n d a r dc a l l e dh d rv i s u a ld i f f e r e n c ep r e d i c t o r ( h d r - v d p ) i tc a nk e e pm o r ed e t a i l s a n dt h er e s u l t i n gi m a g e sa l s oa c c o r d 、砘mt h ep e r c e p t i o no fh v st ot h er e a ls c e n e s w ek n o wt h a tt h es u r f a c eo fo b j e c th a sl o wd y n a m i cr a n g e ；t h ei l l u m i n a t i o n i n t e n s i t yo fs c e n e su s u a l l yh a sl a r g ed y n a m i cr a n g e a c c o r d i n gt ot h i sp h e n o m e n o n , r e s e a r c h e r sp r e s e n tan e w t h i n k i n gf o rh d ri m a g e s ：d e c o m p o s i n gt h eh d ri m a g e si n t o r e f l e c t i o na n di l l u m i n a t i o nl a y e r s b e c a u s ee a c hl a y e rh a sd i f f e r e n ti n f o r m a t i o na n d d y n a m i cr a n g e ，c a r r y i n go u td i f f e r e n ta p p r o a c hc a l la c h i e v et h ec o m p r e s s i o no fd y n a m i c r a n g e ，a n dm a i n t a i nm o r ed e t a i li n f o r m a t i o n b a s e do nt h i st h e o r y , w ep r o p o s eat o n e m a p p i n gm e t h o d , w h i c hi sc a r r i e do u tu s i n g c o l o rs p a c ei n s t e a do f t h ec o m m o n l y u s e dr g bc o l o rs p a c e b i l a t e r a lf i l t e ri su s e dt od e c o m p o s et h eh d ri m a g e si n t o d i f f e r e n tl a y e r si nt h el o g a r i t h m i cd o m a i n 、析ma d a p t i v eb a s ev a l u e i na d d i t i o n , w e p r o p o s ea ni m p r o v e dc e n t e r s u r r o u n dm e t h o dt om a i n t a i nm o r ed e t a i l si nt h ed a r ka n d h i g h l i g h tr e g i o n s f o r m o s te x p o s u r ef u s i o na l g o r i t h m si nt h es p a t i a ld o m a i n , s i n g l ei m a g ef e a t u r ei s u s u a l l ys e r v e da sas t a n d a r dt oe v a l u a t et h eq u a l i t yo ft h ei m a g e h o w e v e r , t h es i n g l e f e a t u r ei sn o tc o m p r e h e n s i v e i no r d e rt oo v e r c o m et h i sp r o b l e m ，w ep r o p o s ea n e x p o s u r ef u s i o nm e t h o d , w h i c hi sb a s e do ns u p p o r tv e c t o rr e g r e s s i o n i tc a ne s t a b l i s h t h em a p p i n gr e l a t i o nb e t w e e nm u l t i p l ei m a g ef e a t u r e sa n dt h es t a n d a r do ft h ei m a g e o n v t h eo t h e rh a n d ，e x i s t i n ge x p o s u r ef u s i o nm e t h o d su s u a l l yt r e a tt h erga n dbc h a n n e l s s e p a r a t e l y , w h i c ha r ev e r yt i m ec o n s u m i n g i nt h i sd i s s e r t a t i o n , w ep r e s e n ta n o v e lw a y t og e tm o r ec h r o m i n a n c ei n f o r m a t i o no ft h es c e n e i nf r e q u e n c yd o m a i n , m o s te x p o s u r ef u s i o na l g o r i t h m sa r ep u tf o r w a r do i lt h e a s s u m p t i o nt h a tt h es o u r c ei m a g e sa r ea l i g n e dp r i o rt of u s i o n a sar e s u l t , s o m ea r t i f a c t s ， s u c ha sh a l o i n g ，m a yb ec a u s e dd u et ot h es l i g h tm i s a l i g n m e n ti nt h es o u r c ei m a g e s i n o r d e rt or e d u c et h ei n f l u e n c ei n d u c e db yt h em i s a l i g n m e n t ，an o v e ls h i f t i n v a r i a n ta n d r o t a t i o n i n v a r i a n ts t e e r a b l ep y r a m i d b a s e de x p o s u r ef u s i o n ( c a l l e ds p b e f ) a l g o r i t h mi s p r o p o s e d i na d d i t i o n ，f u s i o ni sp e r f o r m e di nah i e r a r c h i c a lf a s h i o n i tc a ni n c r e a s et h e c o n t r a s to fr e s u l t i n gi m a g e s e x p e r i m e n t ss h o wt h a ts p b e fc a ng i v ec o m p a r a t i v eo r e v e nb e t t e rr e s u l t sc o m p a r e dt oo t h e re x p o s u r ef u s i o na l g o r i t h m s k e y w o r d s ：h d r , t o n em a p p i n g ，e x p o s u r ef u s i o n , s u p p o r tv e c t o rr e g r e s s i o n , l i g h t n e s sp e r c e p t i o n , m u l t i - r e s o l u t i o nd e c o m p o s i t i o n ，b i l a t e r a lf i l t e r c l a s s n o ：t p 3 9 1 目录 中文摘要i i i a b s t r a c t 、， l 绪论1 1 1 课题的提出一1 。1 2国内外研究现状3 1 2 1h d r 图像的获取3 1 2 2h d r 图像的存储。6 1 2 3h d r 图像的显示。7 1 3论文的主要研究工作13 1 4论文的结构安排1 6 2基于亮度感知理论的h d r 场景再现算法1 7 2 1引言17 2 2相关工作介绍18 2 3存在的问题l9 2 4 基于亮度感知理论的h d r 场景再现算法。2 0 2 4 1h v s 亮度感知理论2 0 2 4 2 基于“双锚 理论的色调映射算法2 l 2 4 - 3 对比度增强2 7 2 4 4 颜色校正2 9 2 5实验结果与分析3l 2 5 1 评价标准31 2 5 2 性能分析与比较3 2 2 6本章小结4 3 3局部自适应双边滤波色调映射算法4 4 3 1 引言4 4 3 2相关工作介绍。4 5 3 3 局部自适应双边滤波色调映射算法4 7 3 3 1 颜色空间4 8 3 3 2 双边滤波器51 3 3 3 自适应对数底的双边滤波动态范围压缩算法5 1 3 3 4 优化算法5 3 5 基于可操纵金字塔的多曝光融合算法81 5 1 引言。一8 1 5 2相关工作介绍8 2 5 2 1 无方向的塔形分解8 2 5 2 2 有方向的塔形分解。8 6 5 3存在的问题8 8 5 4基于可操纵金字塔多曝光融合算法8 8 5 4 1 可操纵金字塔简介8 8 5 4 2 基于可操纵金字塔多曝光融合算法。9 0 5 5实验结果与分析9 2 5 5 1 评价标准9 2 5 5 2 主观评价9 3 5 5 3 客观评价10 0 5 6 本章小结。：。1 0 1 6论文工作总结与展望1 0 2 6 1论文工作总结1 0 2 6 2 进一步的工作10 4 参考文献1 0 5 附录a 部分彩图：113 作者简历11 9 攻读博士学位期间发表的学术论文( 第一作者) 。11 9 独创性声明1 2 0 学位论文数据集1 2 1 1 1课题的提出 1绪论 在日常生活中，当我们用传统相机在室内拍摄有阳光射入的门、窗等场景图像 时，或对着有太阳、灯光的方向拍摄图像时，不管怎样调整相机参数，都会存在 严重丢失场景细节信息的现象。如图1 1 给出典型场景示例，其中( a ) 表示采用 低曝光度获得的图像，可以看出，室外树木的细节信息可以被人眼感知，但室内 球案的细节严重丢失。( b ) 表示同一个场景下用高曝光度获取的图像，虽然球案 的细节信息可以很好的表现出来，但窗外的树木信息丢失严重。( c ) 代表了真实 场景的信息。 ( a ) 低曝光( b ) 高曝光( c ) 真实场景信息 图1 - 1 典型场景示例 为什么会出现这种信息严重丢失的现象呢? 原因在于真实场景所展现的亮度 范围超出了相机本身所能显示的动态范围。真实场景具有非常宽广的动态范围， 比如说，从夜空中的星光到耀眼的太阳，场景亮度变化涵盖了大约九个数量级( 1 0 9 ) 的动态范围。但是，目前普通的显示输出设备受到软硬件水平的限制，使得数字 图像的存储、传输、处理、显示等都是基于8 - b “整数来进行的，只能表示2 5 6 ( 约 1 0 2 ) 个深度等级，图像的亮度级别十分有限。正是由于动态范围的不匹配才导致 图1 1 中( a ) 和( b ) 的细节信息丢失。如何使获取的图像带给人眼的视觉感知 与我们直接观察真实场景具有的感官体验尽可能相同，吸引了众多研究学者的关 注。为了解决这个问题，本论文提出了高动态范围场景可视化技术，使该类场景 能够在普通显示设备上得到最优化的再现。所谓高动态范围( h i g hd y n a m i cr a n g e ， h d r ) 场景指的是具有高于普通显示设备动态范围的场景。 在数字图像成像过程中，真实场景、人类视觉系统和显示设备等都具有不同的 亮度级别。亮度级别可以用动态范围来定义：即图像的最大亮度与最小亮度之比。 个数量级动态范围的亮度，这一状况由于受到硬件成本的制约，短时期内难以得 到改变。所以，如何使已获得h d r 图像在低动态范围的显示设备上有效地进行显 示输出，即高动态范围图像的色调映射问题，成为一个越来越重要的课题，它也 是本论文研究的主要内容之一。 由于一组同一场景不同曝光度的图像序列要比单一图像提供更多的信息。较暗 的照片可以提供场景明亮处的细节，而较亮的图像可以较好地显示暗处细节。那 么可以对多幅图像直接进行融合，分别提取每幅图像的有用信息，然后进行融合 得到一幅尽可能多的包含场景信息的高质量图像进行显示。所以，论文从另外一 个角度多曝光融合技术来解决高动态场景可视化问题。 色调映射和多曝光融合技术作为论文的主要研究内容，它们的共同点是：均采 用了一组不同曝光度的图像序列作为输入数据源，目的都是通过一定的算法将不 同曝光度下的图像细节融合到同一张高质量的图像中，并能够在普通显示器上进 行显示，且要接近场景的真实内容，符合人眼的视觉感知。两者的主要区别是处 理对象不同，如图1 2 所示，色调映射处理的是由多曝光图像( 一般需要成像参数) 生成的h d r 图像( 采用浮点数进行存储) ；而曝光融合算法直接处理多幅具有不 同曝光的图像序列。更主要的区别是，两者所采取的融合思路是完全不同的。- 一撇啾h 色裂卜 l 离动态范围11 获取多幅小i 一 i场景_ 1 同曝光图像广 一多瓣合卜 图1 - 2 色调映射和曝光融合算法的关系 经过色调映射算法或多曝光融合算法处理后得到的结果图像，不仅有助于人眼 2 对场景的辨识，而且对边缘检测、图像分割、图像锐化等数字图像后续处理和计 算机视觉系统研究也具有积极的意义。此外，在应用方面，h d r 技术能够在复杂 环境下获得更高质量的成像，在很多领域中也有极其广泛的应用前景，比如高清 影片、游戏特效、航空航天、卫星气象、医疗、印刷等领域。对h d r 图像处理的 研究，各著名杂志也给予了极大的关注，在2 0 0 2 年，a c ms i g g r a p h 会议上， 三篇关于h d r 色调映射的论文同时发表。2 0 0 7 年的v i s u a lc o m m u n i c a t i o na n d i m a g er e p r e s e n t a t i o n 杂志设专刊介绍该领域的研究成果。另外，2 0 0 9 年的 s i g g r a p h 会议也专门开设了h d r 游戏特效显示技术方面的专题。在未来，这种 可视化显示技术可以实现在低成本的显示设备上显示高逼真的效果，因此，它不 仅具有非常重要的学术价值而且具有较高经济和社会价值。 1 2 国内外研究现状 在图像处理领域中，h d r 场景可视化技术得到了广泛的关注和深入的研究。 本节中，就h d r 场景可视化技术的国内外研究现状，我们分别从三个方面进行梳 理和介绍：1 ) h d r 图像的获取；2 ) h d r 图像的存储；3 ) h d r 图像的显示。 1 2 1h d r 图像的获取 在介绍和梳理h d r 图像获取技术之前，我们简要介绍下相机的成像原理。传 统胶片成像过程是根据光化学理论，而现在通用的数码成像是基于光电子学理论 的。用传统的胶片相机进行拍摄时，光线通过相机的镜头到达胶片的感光介质上， 引起胶片的光学密度发生变化。通常是曝光度越高，光学密度越小，但是，这种 关系不是线性的。接下来，经过扫描等非线性处理，生成数字图像在显示设备上 进行显示。与胶片相机不同，目前被广泛应用的数码相机，是利用感光器件把接 收到的光信号转变为正比于曝光量的模拟电信号，之后，通过模拟、数字转换器 a d 处理变成数字信号，最后经过后续的非线性运算转换为图像文件进行存储。 上述的数码相机成像原理由图1 3 所示。由这种通用的数码相机获取的图像被称为 低动态范围( 1 0 wd y n a m i cr a n g e ，l d r ) 图像，它记录的亮度值被限制在显示设备 或打印机所能承载的亮度范围内，所以它也称为是“设备相关”或“输出相关 的。而高动态范围图像存储的信息是真实场景中的辐射亮度值，被称为是“场景 相关”的。目前，被广泛使用的c c d c m o s 图像传感器，在获取该类场景内容时， 其局限性越发暴露出来。比如，在一个明暗变化较大的环境中，很难获得理想的 图像。太亮的区域为饱和输出，太暗的区域可能根本无法分辨出场景中的物体。 图1 - 3 数码相机的成像原理 为了解决c c d 摄像机成像动态范围小的问题，m a n n 和p i c a r d 率先尝试以多 张不同曝光度的图像来合成h d r 图像【2 1 。该方法对一个观察场景做出可信度估计， 然后对不同的曝光图像进行加权平均得到该场景的高质量图像。随后，许多研究 者基于该思想提出了各种不同的高动态范围的图像获取方法。 使感光单元的输出尽可能处于其线性工作区。基于这个思想，美国c m u 大学的 b r a j o v i c 等人【7 】设计了一款模拟v l s i ，在每个感光单元处增加了一个局部处理电 路，相邻的几个局部处理电路都与一个全局处理电路相连。每个局部处理电路能 够完成一定的预设或者预编程的功能。这种方法虽然能得到较好的结果，但是在 高分辨率的情况下，受加工工艺和成本的限制，实现起来很困难。另外，在光线 较暗时，由于曝光时间长，对运动场景来说易造成“运动模糊”。 哥伦比亚大学的n a y a r 等人提出的s v e ( s p a t i m l yv a r y i n gp i x c le x p o s u r e s ) 用 于h d r 图像的获取【g 】。该方法在感光阵列之前增加一个模板，在该模板上，每四 个方格构成一组，对应于感光阵列上的四个相邻像素。每个方格对入射光的吸收 是不同的，在成像单元曝光积分时间一定时，决定了感光阵列上对应点的曝光量。 通过灰度差值的方法得到饱和点或者暗点的灰度值，从而得到一幅高动态范围图 像。a g g 删例提出了光束分离的方法获取h d r 图像。成像过程中采用特定的光 路，使所有的图像能够一次性获取，从而大大提高了成像的效率。他使用多面的 分光棱镜将光束分成多束，每个分光面对应一个传感器，这样，可以通过设定每 个传感器的曝光时间或者采用非均匀的分光策略得到用一场景具有不同曝光度的 图像序列。r o b e r t s o n 等人考虑了成像过程中的噪声影响，从噪声分布的概率统计 角度来解决扩展动态范围的问题【lo 】。利用输入图像的加权平均方法构造高动态范 围图像，该方法使得具有高曝光度的图像分配大的权值。 在2 0 0 3 年的i c c v 国际会议上，发表了一篇采用光学衰减器的自适应h d r 图 像获取的文章【l 。它采用光学衰减器对入射光强进行控制，以调整对应点的曝光 量。从光学衰减器平面上的点映射到图像平面上的点是透视变换关系。要根据入 射光强控制光学衰减器，要准确透视变换矩阵，因此需要进行系统标定才能使用。 在2 0 0 4 的c v p r 国际会议上，提出数字m i c r o m i r r o r 阵列技术1 1 2 j ，采用可编程控 制的微反射镜阵列来实现高动态范围图像的获取。这种微反射镜阵列的工作原理 是，在阵列上的每个微反射镜角度能够以高位置精度和速度控制，场景光通过微 反射镜阵列时，可以选择是否让其通过，或者对入射光进行调制，不同的控制对 应于不同的图像获取功能【l 引。 5 究内容。它一般采用浮点数进行数据存储，这样可以大范围、高精度地记录真实 场景的光照信息。几种较常用的h d r i 存储格式有p i x a r 的l o g e n c o d e dt i f f 1 4 】格 式、s g i 的l o g l u v t i f f 格式、i l m 的o p e n e x r b s 格式和r a d i a n c e 的r g b e 格式 1 6 1 竺 弋ro p i x a r 的l o g e n c o d e dt i f f 格式【1 4 1 保存的是红、绿、蓝三种颜色的对数值，并 每种颜色用1 1 - b i t 来存储，这样，每个像素占用3 3 b i t 存储空间。这种格式可利用 z i p 熵编码无损压缩，但同样不能表现所有可见光，动态范围不是很广。s g i 将 l o g - e n c o d e dt i f f 格式扩展得到l o g l u vt i f f 格式，是以人的视觉感知为基础的。 它的量子化步长低于人眼区分颜色和对比度的门限值，适合人眼感知。这种存储 格式将亮度和色度通道分开，并对亮度通道进行对数编码。它有两种具体的编码 格式：2 4 b i tl o g l u vt i f f 格式，每个像素用2 4 - b i t 存储所有的亮度和颜色信息， 此格式动态范围能达到4 8 个数量级；3 2 b i tl o g l u vt i f f 格式，每个像素占用 3 2 - b i t ，此格式动态范围达3 8 个数量级。尽管l o g l u v 格式具有很多的优点，但是， 一方面人们不愿意放弃习惯的色彩空间，另一方面没有合作者的加盟，因此这种 格式还没有得到较为广泛应用。i l m ( i n d u s t r i a ll i g h ta n dm a g i c ) 公司在2 0 0 2 年 提出的了h d r 图像的o p e n e x r 存储格式【l5 。它是利用半数据类型保存浮点型像 素值，每种颜色占1 6 b i t 。用1 - b i t 保存符号，5 - b i t 保存指数，1 0 - b i t 保存尾数，即 每个像素占用4 8 b i t 。这种格式可以表示整个色域，动态范围达l o 7 个数量级。 论文采用r a d i a n c er g b e 格式存储的高动态范围图像作为测试图像。r g b e 格 式【1 6 1 是由b e r k e l e y 国家实验室提出的一种高动态范围图像格式。每个像素用3 2 b i t 保存。像素值被分为两部分一尾数和指数。其中尾数部分用3 个8 - b i t 分别存储 r 、g 、b 颜色分量，另一个8 - b i t 存储公用的以2 为底的指数。该格式的优点是既 保证了小数的精度，又节省了空间。将小数像素值转化成整数时，先将原始的r 、 g 、b 值标准化成尾数和以2 为底的指数相乘的形式，并保证尾数的最大值在 0 5 1 0 ；再将每个尾数线性映射成0 2 5 5 的整数。r g b e 格式可以保存的动态范 围可达到7 6 个数量级。 另外，微软和惠普合作开发的s c r g b 格式【l 。7 1 。在2 0 0 1 年的w i n h e c 年会上被 确定为i e c 标准。s c r g b 格式分为两类，一类是每个像素用4 8 - b i t 保存，另一类 6 是用3 6 - b i t 保存。这种格式在扩展了色域的同时减少了动态范围。 1 2 3h d r 图像的显示 近年来，图形图像、计算机视觉等各个领域对获取和使用h d r 图像的需求不 断上升【l 引。随着半导体等计算机硬件技术的飞速发展，使图像传感器的动态范围 有了较大程度的提耐1 9 1 ，有专用相机可以直接对h d r 场景直接进行信息获取。另 外，如1 2 1 小节所述，相应的软件方法也逐渐成熟，h d r 场景获取技术也取得了 很大的进展。但是，数字图像显示设备和传播媒介承载动态范围的能力无法适应 于图像获取设备技术的迅速发展，主流的显示设备的动态范围仅仅为1 2 个数量 级。简单的通过线性变换来映射h d r 图像到较低的显示设备上，往往会导致高亮 区域和暗区域的细节信息严重丢失：较暗区域的细节变得不易从黑色中识别，而 高亮区域的细节变得不易从白色中分辨【2 0 】。因此，如何使h d r 场景信息在常规的 显示设备上得到最优化的输出，使其符合人类视觉系统的感知，需要进一步研究。 基于这一点，产生了h d r 场景可视化技术模型，如图1 - 4 所示。它主要涉及色调 映射算法和曝光融合两个方面的研究。下面我们分别从这两个方面对h d r 图像显 示技术作简要的介绍。 1 2 3 1 色调映射 图1 - 4h d r 场景可视化技术模型 对现有的各种色调映射算法通常将其分为两大类口1 】：( 1 ) 全局算法，也称为空 间一致( s p a t i a j l yu n i f o r m ) 算法，或者阶调重建曲线( t o n er e p r o d u c t i o nc l l f v e ，t r c ) 。 ( 2 ) 局部算法，也称为空间变化( s p a t i a l l yv a r y i n g ) 算法，或者阶调重建算子( t o n e 7 感知模型的基础上提出的。下面介绍三种常用的全局映射方法： ( 1 ) 基于s 曲线的色调映射算、法【2 2 1 。这种算法用s 曲线实现压缩暗区域和亮 区域的亮度信息，保留了中等亮度信息。基于s 曲线的处理过程比较适合人类视 觉系统的感知过程。 ( 2 ) 基于对数方程的色调映射算法四】。对人类视觉系统来说，视网膜上各种 光敏细胞对光谱能量分布的响应过程满足w e b e r - f e c h n e r 定律，符合对数运算的非 线性过程。当再现h d r 场景内容时，基于对数运算接近于人眼对亮度的感知变化。 因此采用这种算法来处理h d r 图像能够取得较好的视觉效果。 ( 3 ) 基于直方图均衡化的色调映射算法。在原始图像具有单峰直方图特征的 情况下，该算法能够取得较好的效果，但当图像的直方图是双峰情况下，该算法 处理后的图像细节信息丢失严重。g u o p i n gq i u 等人【2 4 】提出用两个评估函数来调整 映射过程的算法，它是线性映射和直方图均衡化算法的折中选择。 目前，还有一些其他的基于全局的色调映射算法被提出，如s c h e e l 等【2 5 】提出 的一种交互式的纹理贴图方法，c o h e n 等【2 6 】利用两幅单独的纹理贴图，通过动态 调节曝光水平并将两幅纹理贴图合成在一起的方法来显示图像。 总之，全局算法简单、运算效率高，一旦确定了一种统一的映射关系，整幅 8 图像就可以利用查找表等方法，对各像素并行地进行处理。然而，这种统一映射 必须是一对一的并且是单调的，要不然会在图像的某些局部产生亮度反转现象。 另外，随着人们对图像显示逼真度的要求越来越高，全局方法在处理较高动态范 围的图像时并不能得到令人满意的效果。由于全局算法存在以上诸多无法解决问 题，研究学者们提出了局部映射算法。 2 ) 局部算法 局部算法与全局算法的不同之处在于：在确定对某一点的映射时参考了其邻 域像素信息。在这种情况下，两个亮度相同的像素点在转换之后的亮度可能是不 同的，也有可能亮度不同的两个像素点被映射为相同的亮度值。这样就增加了算 法的灵活性，可以得到较好的视觉效果。 根据l a n d f 2 7 1 和m a n 早8 1 的研究，人眼会相对比较平缓的亮度变化不敏感，那么， 如果压缩函数具有相对较小的梯度，就可以使压缩后的h d r 图像基本保持原有的 感观效果。另外，人眼的适应水平与图像的低频成分有关系1 2 9 1 。根据这两种思想， c h i u 等人【3 0 】提出一种色调映射算法。具体过程如下：首先对原图像进行模糊处理 去除高频分量，然后以结果图像的倒数为基础构造缩放函数。该算法的一个缺点 是在极亮与极暗区域相邻的边缘处会引起对比度反转，在高亮区域的周围有光晕 现象产生。另外，该算法的时间复杂度高，处理起来需要的运算量很大。s c h l i c k t 3 1 】 在c h i u 算法的基础上进一步发展，着重于提高运算效率和简化参数。他利用一阶 有理多项式实现基于全局处理的色调映射，基于低通滤波实现局部处理。虽然效 果一般，但是提供了对局部处理方法进行加速和简化的优化方法。 另外，由于真实世界的表面反射率具有低的动态范围，而场景的照度一般具 备较大的动态范围，且在局部区域内变化平缓。因此，动态范围压缩可以通过分 离h d r 图像为反射层分量和照度层分量，并只压缩照度层分量来实现。一些研究 者根据该思想，将图像( i ) 看作是