（计算机系统结构专业论文）高动态范围图像的合成及可视化研究.pdf

浙江大学硕士学位论文摘要 摘要 高动态范围图像是一种可以表示真实世界场景中高动态范围亮度信息的图 像。近年来在数字摄影、基于图像的光照、基于图像的建模、虚拟现实等领域得 到了越来越广泛的应用。但是在其应用推广过程中存在如下的两个问题：高动态 范围图像已可通过硬件直接获得，但是其专用硬件造价昂贵，难以推广至日常应 用；而且大多数显示设备只支持低动态范围的显示输出。通过图像的软件合成及 色阶重建可以有效解决这两个问题。色阶重建的工作就是在保证较好显示效果的 前提下，将高动态范围图像的动态范围进行压缩以便能够在低动态范围设备显 示。本文针对合成及色阶重建两方面展开研究工作。 在论文中，首先，对高动态范围图像的获取生成方法进行了总结。目前已有 算法使用多张曝光图像来合成高动态范围图像。这种算法通过恢复相机成像系统 光照响应曲线来进行合成工作。它使得人们通过普通数码相机即可得到高动态范 围图像。本文实现了该合成算法并研究了几个重要参数对合成结果的影响，在分 析实验结果后得出一种对丢失曝光时间信息的图像组进行合成的方法。通过使用 随机采样的方法提升了算法的自动性。然后，对色阶重建方面的算法进行了简单 的综述分析。色阶重建可分为空域不变和空域变化两类。空域不变的色阶重建算 法具有简单快速的优点。在分析并实现现有算法的基础上，本文通过一个改进的 空域不变的色阶算法对图像进行处理，得到了较好的效果。 关键词：高动态范围图像，可视化，色阶重建，响应曲线，空域不变 浙江大学硕士学位论文 a b s t r a c t h i g hd y n a m i cr a n g ei m a g e ( h d r i ) i sak i n do fi m a g et h a tr e p r e s e n t sa c c u r a t e l yt h e w i d er a n g eo fl u m i n o s i t yl e v e l si nr e a ls c e n e s n o w ，h d r ii s w i d e l yu s e di nm a n y d o m a i n s , s u c ha sd i g i t a lp h o t o g r a p h y ，i m a g e - b a s e di l l u m i n a t i o nt e c h n o l o g i e s ， i m a g e - b a s e dm o d e l i n g ，a n dv i r t u a lr e a l i t y h o w e v e r ，t w op r o b l e m sp r e v e n ti t s d e v e l o p m e n ti na p p l i c a t i o n f i r s t , t h es p e c i a l i z e dh a r d w a r ew h i c hp r o d u c eh d r ii st o o e x p e n s i v ef o re v e r y d a yu s e ；s e c o n d , m o s td i s p l a yd e v i c e sj u s ts u p p o r tl o wd y n a m i c r a n g e ( l d r ) o u t p u t w ec a r ls o l v et h e s ei s s u e st h r o u g hs o f t w a r es y n t h e s i sa n dt o n e r e p r o d u c t i o n t h et e c h n o l o g yo ft o n er e p r o d u c t i o ni su s e dt oc o m p r e s st h ed y n a m i c r a n g eo fh d r lw i t h o u tl o s i n gi m a g eq u a l i t y t h i sp a p e rs t u d i e st h es y n t h e s i sa n dt o n e r e p r o d u c t i o nt e c h n o l o g y 。 i nt h i st h e s i s ，f i r s t , w es u m m a r i z et h es i t u a t i o no ft h et e c h n o l o g yo f g e n e r a t i n gh d r i u pt on o w ，t h e r ea r ea l g o r i t h m sc a nf u s et h em u l t i p l ep h o t o g r a p h si n t oas i n g l eh d r i ， o n eo fw h i c hr e c o n s t r u c t sh d r it h r o u g hr e c o v e r i n gr e s p o n s ec u i w co f c a m e r ai m a g i n g s y s t e m i ti sp o s s i b l et og e th d r it h r o u g hc o m m o nd i g i t a lc a m e r au s i n gt h i sa l g o r i t h m w ei m p l e m e n tt h i s a l g o r i t h m ，m a k er e s e a r c h e so ne f f e c t so fs e v e r a li m p o r t a n t p a r a m e t e r st ot h es y n t h e s i sr e s u l t s ，a n dg e tas y n t h e s i sm e t h o df o ri m a g e sm i 鼹i n gt h e i n f o r m a t i o no fe x p o s u r et i m e w ei m p r o v et h ea u t o m a t i o no fa l g o r i t h mt h r o u g h r a n d o ms a m p l i n g ；t h e n ，w ea n a l y z et h eh d r it o n er e p r o d u c t i o na l g o r i t h m s ，w h i c hc a n b ed i v i d e di n t ot w oc a t e g o r i e s ：s p a t i a l l yu n i f o r ma n ds p a t i a l l yv a r y i n g t h ef i r s tk i n d o f a l g o r i t h mh a st h ea d v a n t a g eo fe a s ya n dq u i c k a ni m p r o v e da l g o r i t h mi sp r e s e n t e d b a s e do nt h ee x i s t e da l g o r i t h m si nt h i sp a p e r w eu s et h i sm e t h o dt op r o c e s sh d r ia n d g e tg o o dp e r f o r m a n c e k e y w o r d s ：h i g hd y n a m i cr a n g ei m a g e ，v i s u a l i z a t i o n ，t o n er e p r o d u c t i o n ， r e s p o n s ec u r v e ，s p a t i a l l yu n i f o r m 浙江大学硕士学位论文 图目录 图目录 图1 1 自然环境亮度范围及对应视觉感受域l 图1 2 一组同一场景的不同曝光量图像4 图1 3 色阶重建示意图。5 图2 1 数码相机的成像过程。1 2 图2 2 响应曲线的拟合过程。1 4 图2 3 合成高动态范围图像流程图1 6 图2 4 存在相机移动及物体移动问题的图像序列1 7 图2 5 图像中的模糊及幻影1 7 图2 6g r o s c h 提出的校准并消除幻影的算法流程1 8 图2 7g r o s c h 算法的效果图l8 图2 8r g b e 存储格式示意图1 9 图2 9l o g l u v 存储格式示意图2 0 图2 10o p e n e x r 存储格式示意图2 1 图3 1 色阶重建：动态范围的压缩。2 3 图3 2 l w 删与厶眦，的映射关系2 4 图3 3 基于直方图均衡的色阶重建示意图2 6 图3 4 动态范围分割示意图2 7 图3 5 光晕现象2 9 图3 6 不同。；。取值下的映射关系3 0 图4 1 系统的模块图。3 2 图4 2 用于合成的图像序列3 3 图4 3 高动态范围图像合成流程图3 4 图4 4 不同n 值下的曲线拟合结果3 6 图4 5 不同九值下的曲线拟合结果3 8 图4 6 不同九值下的合成显示结果3 8 图4 7 设定不同曝光时间值得到的拟合结果3 9 图4 8 三个通道上恢复的光线响应曲线。4 0 图4 9 使用p h o t o s h o p 显示的结果4 l 图4 1 0 本文色阶重建的流程4 2 图4 1 1 使用简单算子进行色阶重建的结果4 3 图4 1 2 对动态范围较低的图像进行色阶重建的结果4 4 图4 1 3 对动态范围较高的图像进行色阶重建的结果4 4 图4 1 4 不同参数设定下得到的最终结果4 6 图4 1 5 未进行颜色恢复的重建结果4 7 图4 1 6 不同s 值下恢复颜色的结果4 7 塑垩查兰堡主兰垡堡茎 鬯旦墨 图4 1 7 不同算法得到结果的比较4 8 i v 浙江大学硕士学位论文 表目录 表目录 表2 1 各种存储格式的对比2 l 表4 1 不同n 取值下的曲线恢复时间3 7 v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝姿盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机构 送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权迸姿盘鲎可 以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 签字日期：年月 日 新躲州氓 签字日期：年 月日 浙江大学硕士学位论文 第i 章绪论 第1 章绪论 1 1 研究背景 在一个真实世界的场景中，其亮度值( i 岫i n 锄c e ) 的分布是非常广的。我们使 用l 来表示亮度值，亮度的单位是c d m 2 。k 。和k 分别表示场景中的最小和最 大的亮度值，则该最大值与最小值的比值即该场景的动态范围( d y n a m i cr a n g e ) 。 用符号口来表示动态范围，则有： 口= k 厶血 在阳光直射的情况下，场景亮度可达到1 0 5 c d m 2 ，而场景的阴暗处亮度值约 为1 0 3 c d m 2 。可见，真实世界中的动态范围是非常之巨大的。人的视觉系统对亮 度值的感觉范围大约是从1 0 2 c d m 2 到1 0 5 c d m 2 ，但是人眼感光的动态范围受背景 亮度的影响很大，人眼系统需要通过自身调整来适应外界光强。通常来说，人在 同一场景下能达到的亮度动态范围约为1 0 ，0 0 0 ：1 。图1 1 给出了自然环境下的亮 度范围以及对应的视觉感受域： 亮度范嘲( 1 0 9c d m 2 ) i - 6 l 4 1 1 2i ol 2 l 4 l i 3 lliil 展免月光 寝内毙缝口兜 闪光盯 夜视域 昏暗视域适光域 图1 1 自然环境亮度范围及对应视觉感受域 目前有着广泛应用的传统数字图像所能表示的动态范围其实是非常有限的。 例如，使用8 b i t 来分别存储三原色( 红、绿、蓝) 通道的传统图像格式的动态范围 仅仅为2 5 5 ：1 。这使得场景中的高亮区域会在图像中呈过饱和状态，而黑暗区域 浙江大学硕士学位论文第l 章绪论 的细节会丢失。也就是，这些数字图像是无法传递给我们真实场景的感受的。如 果需要较高范围域的亮度信息，我们可以通过拍摄多张图像来得到不同亮度域范 围的场景，但是这显然无法满足实际应用的需求，因此我们需要一种特殊的图像， 高动态范围图像，来满足应用要求。 1 1 1 高动态范围图像简介 顾名思义，高动态范围图像( h i g hd y n a m i cr a n g ei m a g e ，h d r i ) 是一种可以 表示真实世界场景中高动态范围亮度信息的图像。这个概念最早由c h a r l e s w y c k o f f 与2 0 世纪3 0 年代提出。d e b e v e c 在其论文f l 】中提到：高动态范围图像中 的像素值正比于与场景中对应点的实际亮度值。而传统数字图像中的像素值代表 的仅仅是显示的色彩值，与实际场景的亮度不存在线性的对应关系。因此可以说 高动态范围图像是“场景相关”的，而传统数字图像是“输出相关”的。正是由 于这一特性，与传统图像存储形式相比，它所能表示的层次更丰富，色彩空间更 高，场景中的亮区及暗区的细节信息都能很好的保留下来。 高动态范围图像广泛的应用于图像处理、基于图像的绘制、建模及光照摄影、 学以及虚拟现实。例如，用高动态范围图像来模拟照明真实的或计算机生成的对 象【2 1 ，对这些c g ( c o m p u t e rg r a p h i c s ) 对象进行渲染，即高动态范围渲染；基于 图像的建模和绘制及图像合成中使用高动态范围图像可以避免因拍摄方向和曝 光量不同致使图像间存在亮度和色调的差异等因素而影响建模、绘制效果；此外， 高动态范围图像还用于电影特技、电脑游戏、人类视觉系统的模拟、卫星遥感图 像、运动模糊、交互3 d 应用等领域。如今，h c d s e e 及p h o t o s h o p 等软件也纷纷 加入了高动态范围图像的处理。另外还有一些其它的专门的高动态范围图像处理 软件：如h d r s h o p 、p h o t o m a t i x 等。 1 2 国内外研究现状 由于高动态范围图像具有很好的应用前景，因此吸引了国内外的大批学者进 行这方面的研究。目前国内外对高动态范围图像的研究主要是从下面三个层次来 进行的： 2 浙江大学硕士学位论文 第l 章绪论 1 高动态范围图像的获取生成 2 高动态范围图像的存储 3 高动态范围图像的显示，即可视化 下面我们从这三个角度来简单说明目前国内外的研究状况。 1 2 1 高动态范围图像生成技术研究现状 在高动态范围图像的获取方面，目前已有专门的硬件系统用于获取这种图像。 但是造价昂贵，难以普及。研究方向倾向于如何通过普通的数码成像设备来得到 高动态范围图像。图1 2 展示了通过不同的曝光量设置，可以得到同一场景的不 同亮度域的信息。( c ) 图为中度曝光的图像，也就是我们平时通过数码相机能得到 的场景的较好的效果。其根据人们的视觉需要，较均衡的保留了场景中各亮度区 域的信息。但天空的云彩这些高亮区域是呈过饱和状态的，而且场景的昏暗区域 细节呈现不够。( a ) 图像通过低曝光( u n d e r - e x p o s i n g ) 得到了场景中的高亮域的信 息。其较好的保留了天空云彩的信息，当然代价是低亮度区域信息的进一步丢失。 ( b ) 图为过曝光( o v e r - e x p o s i n g ) 图像，得到了大量低亮度范围的细节。研究者希望 能通过这些不同图像中得到的信息来得到一张高动态范围图像。 d e b e v e c 在其文章中提出的利用同一场景的不同曝光图像来合成高动态范围 图像的方法【i 】是目前普遍采用的手段。这个方法的原理是基于每个数码成像设备 都是通过某个非线性的响应函数将传感器器件的曝光值映射为像素图元的。由于 这个响应函数是成像过程中几个非线性函数共同作用的结果，无法从相机的参数 手册查阅到。因此合成的关键就是如何恢复这个非线性的响应函数。在9 5 年， m a n n 已经给出了一个恢复相机响应函数的方法【3 】。d e b e v e c 的文章中【1 1 给出了一 种通过求解最d , - - - 乘目标函数恢复响应函数的方法。r o b e r t s o n 随后又提出了一种 概率论的求解方法f 4 】。g r o s s b e r g 通过比较图像的亮度直方图而不是像素值的方法 来恢复响应函数【5 1 ，并给出了进一步的研究成果【6 】。硬件方面的成果相对较少， s p h e r o n 公司开发出了一个叫做s p h e r o n c a mh d r 的摄影系统。通过这个系统可 以能够简单高效的生成高动态范围图像。 3 浙江大学硕士学位论文 第1 章绪论 ( c ) 图1 2 一组同一场景的不同曝光量图像 何烽、徐之海等人在其论文【7 】中提出了一种基于人眼对灰度识别特性的图像 合成算法。这种方法并不需要恢复相机的光线响应函数。主要是根据对图像间相 同位置点像素值的线性加权来得到高动态范围。这种方法简便易行，但适应性较 弱。 1 2 2 高动态范围图像存储技术研究现状 高动态范围图像由于数据的特殊性，无法使用传统的数字图像存储格式来进 行存储。高动态范围图像需要存储浮点数数据，几个主要是指标是：大范围、高 精度、占用低存储空间。目前常用的存储格式有r a d i a n c er g b e 格式、s g i l o g l u v t i f f 格式 8 , 9 1 、i l m 的o p e n e x r 格式。可以看出由于实际产业的应用需 要，许多公司对高动态范围图像的存储技术做出了大量的贡献。w a r d 在其文章中 4 浙江大学硕士学位论文第1 章绪论 介绍了这些格式并对它们的各项指标进行了对比【蝴。 1 2 3 高动态范围图像可视化技术研究现状 通过前面的介绍，我们知道自然场景的动态范围约为1 0 ，0 0 0 ，0 0 0 ：i ，人眼也能 观察到较大动态范围的场景信息。通过将高动态范围图像在一些显示设备上显示 出来，可以给人们呈现自然场景的真实感受。例如，l o d d a 等人利用曾被用于 n a s a 虚拟现实系统的l e e p 立体光学仪器搭建了一套简单的试验性装置，通过 它可以直接观察真实世界中的高动态范围场景【l l 】。s e e t z e n 等人利用彩色l c d 搭 配l e d 设计出一个可以用于显示高动态范围图像的显示面板【1 2 】。 但是目前绝大多数常规显示设备都只能支持相对较低动态范围的显示输出： 传统的每通道8 b i t 的显示设备一般只具有两个数量级的动态范围，这些设备包括 阴极射线管( c r t ) 、液晶显示器( l c d ) 和投影仪。直接在这些显示设备显示高动态 范围图像会使原本丰富的图像亮度信息丢失。这一状况受到硬件成本的制约，短 时期内难以得到改变。因此，如何使得高动态范围图像在低动态范围的显示设备 上得到最优化的显示效果，成为了一个越来越重要的课题。由此衍生出了高动态 范围图像的色阶重建( t o n er e p r o d u c t i o n ) ，也称为色调映射( t o n em a p p i n g ) 。 色阶重建主要研究如何将真实模拟场景的亮度映射到传统显示设备能显示 的范围上。主要工作是压缩高动态范围图像的对比度。其过程如图1 3 所示： 真实模拟成缘设备高动态缒 色阶霆建 照示成像 场景 闸图像 显示设备 图1 3 色阶重建示意图 色阶重建目前的工作有两个方面：一是改进和创造出更好的重建算法，使高 动态范围在重建后有更好的表现效果，减少图像在细节、颜色、对比度和明亮度 等信息的损失；另外一方面则是将色阶重建整合到硬件中，使之应用于了日常生 浙江大学硕士学位论文 第i 章绪论 活及产业环境下。g o o d n i g h t 和彭韬等人的论文中f 1 3 ，1 4 】在这方面已取得不错的发 展成果。 1 3 研究内容及论文结构 本文主要研究高动态范围图像的合成和可视化。在对现有工作及理论方法进 行介绍后，本文通过实现一个实验系统来进行高动态范围图像的合成和可视化工 作，对这其中的问题及解决方法进行了详细的介绍，并通过一个改进的色阶重建 方法获得了较好的可视化效果。本文工作创新点如下： 1 ) 在恢复相机光线响应曲线时，使用随机采样的方法减少图像合成过程中 的手动操作，提升算法的自动性( a u t o m a t i c i t y ) 。 2 ) 在对合成过程中的参数进行研究分析后，得出了对丢失曝光时间信息的 图像组进行合成的方法。 3 ) 通过对现有算法的实现并改进，得到一个快速有效的空域不变的色阶重 建方法，实验结果表明该方法能得到理想的效果。 根据需完成的研究内容，论文内容相应地分为五章，各章内容安排如下： 第一章介绍了在引出本文研究背景之后简单介绍了高动态范围图像的概念。 并从高动态范围图像研究涉及的生成、存储及可视化三个方面介绍了目前国内外 的研究现状。然后给介绍了本文的研究内容及整个论文的章节结构。 第二章介绍了高动态范围图像的获取生成。重点介绍了d e b c v c c 提出的高动 态范围图像合成方法。本章还说明了通过手动曝光来获得图像序列可以会遇到的 问题及其解决办法。最后对目前常用的高动态范围图像存储格式进行了介绍。 第三章对色阶重建算法到目前为止的工作进行了简单的综述。色阶重建算法 可分为空域不变和空域变化两类。本章对其中的一些典型算法进行了介绍。 第四章介绍我们实现的用于进行了高动态范围图像合成和可视化操作的实 验系统。对合成和可视化的具体流程进行了说明。对实验过程中的问题及解决办 法进行了重点介绍，并对实验结果进行了分析对比。 第五章进行总结与展望。总结了本论文的工作，并且讨论进一步的研究内容。 6 浙江大学堡士兰竺堡奎 一茎上兰! ! 生 _ l _ _ _ _ - i _ _ - - _ - _ _ i _ _ _ _ _ _ - _ _ _ _ - _ _ _ _ _ _ i - - - _ - _ - _ - _ _ 。- - 。一一一 1 4 本章小结 在本章中，我们首先介绍了课题的研究背景，对高动态范围图像的概念及应 用做了简单的介绍。接着介绍了国内外在高动态范围图像的生成、存储和可视化 三个领域的发展情况。最后列出了本文的主要研究内容文章的组织结构 7 浙江大学硕士学位论文第2 章高动态范围图像的获取生成 第2 章高动态范围图像的获取生成 正如绪论中介绍到的，自然真实场景的亮度( 1 u m i n a n c e ) 是具有高动态范围的， 而传统的数字图像受限于图像的获取方式( 如胶片或c c d ) 及其信息存储格式，只 能保存有限范围的亮度信息。场景中亮度很大( 如太阳光照) 或很小( 如昏暗的角落) 的区域的细节通常会很难捕获到。在实际应用中，我们可以通过过曝 ( 0 v e h 现p o s i n g ) 及曝光不足( 帅d e h x p o s i n g ) 手段获取这些感兴趣区域的细节信息。 当然，这样做的代价是会丢失掉其它亮度区域的信息。所以，为了覆盖一个真实 世界场景的完全的动态范围，我们需要该场景的一系列的不同曝光量的图像。但 这是一种不完备的手段，无法引入应用领域。能够包含高动态范围信息的高动态 范围图像就是在这种背景提出的。本章将探讨如何获得场景的不同曝光量的图 片，以及如何将使用这些图片合成一张高动态范围图片。 d e b e v e c 及m a l i k 提出了一种用多张不同曝光量图像来合成一张高动态范围 图像的算法 1 1 。该研究成果极大的推动了高动态范围图像的发展和应用。本文将 探讨用普通相机获取多张不同曝光量图片，然后通过算法进行合成来得到高动态 范围图像的方法。 2 1 同一场景的多幅不同曝光量图像的获取 依照d e b e v e c 的高动态范围图像的合成方法，其前提条件是我们需要获得一 个场景的多幅不同曝光量的图像。通过普通数码相机对统一场景定点拍摄的方法 可以完成这一任务。但是我们可能会遇到由于手动操作而引发的图像移动失准的 问题。 为了获得高动态范围图像，我们需要对同一场景拍摄一系列曝光不同的照片。 这里的图像的两个重点是： 必须是相同场景 具有不同曝光量 g 浙江大学硕士学位论文第2 章高动态范围图像的获取生成 相同场景表明了要求图像在场景上的一致性，这不仅仅是要求通过三角架等 固定设备带来的稳定性，还要求快速的获取这一系列图像。因为这可以保证这些 图像对应的场景具有相同的亮度值。 通过控制每张图像的曝光度可以使它们具有不同的曝光量。通常来说，控制 曝光量大致有设定快门速度、调整光圈大小及使用中性滤光镜三种方法。下面分 别介绍三种手段及其优缺点。 1 ) 快门速度 快门速度通常通过时间秒( s ) 来表示。它代表了曝光时间的长短，即光线进入 相机时间的长短。通常各个不同型号的数码相机的快门速度是完全不一样的。例 如，c a n o ns x l 0 0 的快门速度为1 5 1 2 5 0 0 秒，而s o n y t 2 0 的则为i 4 i 1 0 0 0 秒。 而且快门速度。快门速度的一个间隔为一级( s t o p ) ，通常每级问的曝光时问变化为 2 的倍数，例如：1 3 2 ，1 1 6 ，i 8 ，l ，2 ，4 秒。相邻两级间的光线进入量 相差一倍。比如说2 秒快门速度的光线量是1 秒的两倍。 快门速度这一参数直接对应了曝光时间，所以这一控制手段是精确且可重复 的。然而在长时间曝光的情况下，图像中会出现噪点，而且手抖动的话会使图像 模糊( 使用三脚架等固定设备可解决该问题) 。目前来说，中等价格以上的数码相 机都具备了手动设定快门速度的功能。因此，通过设定快门速度来控制曝光量是 最常用的方便可行的方法。 2 ) 光圈大小 光i 翻( a p e r t u r e ) 是一个用来控制光线透过镜头，进入机身内感光面的光量的装 置，它通常是在镜头内。我们使用f 值来表示光圈大小。光圈f 值表示的是镜头 的焦距与镜头口径的直径的比值。从这我们可以知道：要达到相同的光圈f 值， 长焦距镜头的口径要比短焦距镜头的口径大。 需要注意的是，f 值是光圈的系数，是相对光圈，并非光圈的物理孔径，与 光圈的物理孔径及镜头到感光器件( 胶片或c c d 或c m o s ) 的距离有关。当光圈物 理孔径不变时，镜头中心与感光器件距离越远，f 数愈小，反之，镜头中心与感 光器件距离越近，通过光孔到达感光器件的光密度愈高，f 数就愈大。完整的光 9 浙江大学硕士学位论文第2 章高动态范围图像的获取生成 圈值系列如下：l ，1 4 ，2 ，2 8 ，4 ，5 6 ，8 ，1 1 ，1 6 ，2 2 ，3 2 ，4 4 ，6 4 。f 值越 小表示光圈越大，则同一单位时间内的光线进入量愈多。同快门速度一样，每相 邻两级间的光线进入量相差一倍，例如f 2 8 的进光量为f 2 2 的“倍( 相差6 个 级别) 。 在实际应用中，我们可以通过快门速度和光圈大小相互配合来控制曝光量。 在超出快门速度设定范围时，改变光圈大小来得到相同的效果。但是改变光圈大 小时也会改变图像的景深( 景深是指实际焦点前后可以清晰对焦的区域) 且不具备 很强的可重复性。仅通过光圈大小的改变来控制曝光量时，得到的曝光量变化区 间有限。 3 ) 中性滤光镜 滤光镜是一种对光的不同波段具有选择性吸收( 或 通过的光学器件。由镜圈和 滤光片组成，装在照相机或摄影机镜头前面。中性滤光镜对各种波长的光线不加 选择地普遍吸收，能够降低被摄景物的亮度，达到适应曝光组合的需要，它不会 影响景物的颜色反差。它使得我们在调整光圈和曝光时间时获得更大的灵活性。 滤光镜使用其光学密度来进行分级。通常具有o 3 ，0 6 ，0 9 ，1 8 ，3 0 ，4 0 ，6 0 这些密度级别。密度越大，光线进入量就越少。 滤光镜可以叠加使用，这使得它可以得到很大范围的曝光量变化的图像。然 而，使用滤光镜会造成图像的偏移，而且中性滤光镜也不能做到真正意义上的中 性：即它对不同色彩的吸收会区别，这会造成图像的色调偏差。 综合上述，改变快门速度的方法易于操控，且不会对图像质量产生影响，而 光圈大小的改变会影响图像景深，滤光镜使用不够方便且会造成色调偏差。加上 市面上中等价格的数码相机基本都具有了快门速度和光圈大小的手动设定功能， 而滤光镜则需要单独购置。所以实际应用中，通常是以改变快门速度为主，调节 光圈大小和使用中性滤光镜为辅。 2 2 基于多幅不同曝光量的图像合成高动态范围图像 通过前面的工作，我们可以得到合成高动态范围图像所需的同一场景的不同 l o 浙江大学硕士学位论文 第2 章高动态范围图像的获取生成 曝光量的图像。d e b e v e c 给出了一种通过一系列不同曝光量的图像来合成一张高 动态范围图像的方法，其过程大致可分为如下两步： 1 恢复相机光照响应曲线。 2 合成高动态范围图像。 我们下面遵循这两个步骤来解决这一问题。 2 2 1 相机成像原理 当我们拍下一个场景时，得到是数码图像是一个明亮度( b d g h t n e s s ) 的- - 维矩 阵。这些值并不是场景亮度的真实值。举例来说，图像中两个点的像素值相差两 倍，但实际场景中观察到很可能并不是两倍。实际上，在场景的实际亮度值与图 像中的像素值间存在着某种未知的、非线性的映射关系。这些映射关系无法在相 机的说明书或其它地方预先查到，因为它实际上是图像成像过程中的几个非线性 映射的组合的结果。要了解这其中的过程，我们首先需要了解相机成像的原理。 传统胶片成像过程是基于光化学理论的。拍摄时，光线通过相机的镜头到达 胶片的感光晶体上，引起胶片的光学密度发生变化，曝光量越大则光学密度越小， 但并不是成线性关系。然后通过扫描操作将其数字化存储到存储介质上。这个扫 描的过程也存在非线性的映射过程。 而数码相机的成像过程则是基于光电子学理论，它一般利用c c d ( 电荷耦合器 件，一种半导体装置，能够把光学影像转化为数字信号) 来成像。虽然c c d 器件 收集到的电荷输出是正比于其照度( i r r a d i a n e e ) 的，但在这些输出被写到存储介质 上前，数码相机都会对其应用一个非线性的映射，其作用是为了模拟胶片成像中 的特征响应。c c d 通过模数转化将模拟信号转换成数字信号，这些1 2 位( b i t ) 的 信号会还需转换成8 位的值以便存储。这个过程也在图2 1 中体现了。 浙江大学硕士学位论文第2 章高动态范围图像的获取生成 一通过镜 接收到的 照度( e ) 按下快门 图2 i 数码相机的成像过程 一c c d 转换一 图2 1 中所示的成像过程中，曝光量( x ) 是正比于镜头接收到的照度值( e ) 与快 门时间& 的乘积的，即 x = e a t 公式( 2 1 ) 随后，一个非线性的函数被应用于曝光量( x ) 上，这个函数被称为“特征曲线”。 对于这个特征曲线来说，当曝光极小时响应接近于0 ，高曝光时则会产生饱和现 象。 2 2 2 恢复相机光线响应曲线 曝光量x 到最终像素值z 的非线性关系正是由整个过程中几个非线性的映射 组合而成。即我们要求得的光照响应曲线，它是后面合成高动态范围图像的关键。 m a n n 等人最早给出了如何求得相机的响应函数1 3 】，他们使用一个简单的，函数来 描述光照响应曲线；d e b e v e c 通过求解线性方程组来得到相机的响应函数【1 1 ，这 个函数用一个包含2 5 6 级灰度值及其对应的场景曝光值的表来描述。我们下面介 绍d e b e v e c 的方法。 将我们所求的函数用厂表示，则由上面章节的分析可得： z = f ( x ) 公式( 2 2 ) 算法的输入是一系列的图像点( 后面我们将谈到如何选取) ，这些点的曝光时间 缸，( 表示第j 幅图像的曝光时间) 是预先可知的。假设场景是静止的且取得一系列 图像的时间间隔很短，即在取得图像时场景中的光线没有发生变化，则可用e 表 1 2 浙江大学硕士学位论文第2 章高动态范围图像的获取生成 示像素点f 对应的场景点的照度( i r r a d i a n c e ) 。 由公式( 2 1 ) ，( 2 2 ) ： 乙= f ( e 冷t ) 公式( 2 3 ) 其中五，表示第_ ，张图像中第f 个像素点的像素值。 合理假设厂是单调递增的，则它是可逆的，则公式( 2 3 ) - - i 重新表示如下： 厂1 ( 乙) = e , a t j 公式( 2 4 ) 对方程两边取对数，且令f ( 乙) = l l l 厂1 ( 乙) ，则可以得到： f ( z u ) = l i i 互+ i n t 公式( 2 5 ) 这个方程组中，i 的取值范围是像素点的个数，j 的取值范围是不同曝光量的 图像的张数。其中的磊和，是已知的，而，与局是未知的。这两个参数都是我 们需要求解的。 注意到传统数字图像中的像素值的取值范围是有限的：为0 - - 2 5 5 。所以我们 并不需要求得，的具体表达式，只需求得2 5 6 个f ( z ) 的值即可。我们用整数z 曲 和z 二表示最大及最小的像素值，表示图像中的像素点个数，m 表示图像张数。 则问题可表示为求解晟d , - 乘目标函数： 。= 荟n 驴m ( z ) - h 互山。卜：笺。九z ) 2 2 旬 方程的前面部分用于求解曲线，而a 薹1f 。( z ) ：部分则用于平滑该曲线，其 = = z 曲+ i 中f ( z ) = ，乜一1 ) 一2 ，( 三) + f 0 + 1 ) 。变量a 用于控制平滑部分相对于数据求解部 分的权重，需要根据乙中噪点的情况来设定。d e b e v e c 使用单值分解( s v d ，s i n g u l a r v a l u ed e c 咖p o s i t i o n ) 方法来求解这个线性方程组。 1 3 浙江大学硕士学位论文第2 章高动态范围图像的获取生成 像素值z ( a ) 图2 2 响应曲线的拟合过程 像素值z ( ” 如图2 2 所示，横坐标是像素值乙，纵坐标表示曝光量的对数l i l 丘。( a ) 图中 相同形状的点表示不同图像中的同一组点，每一组点都对应一条特征曲线。由于 并不知道曝光量的绝对数值。这使得特征曲线可在曝光量即纵坐标上移动。( b ) 图表示了通过平移几条曲线拟合出的特征响应曲线。 在拟合光线响应曲线时，为了固定曲线在坐标轴上的位置，可引入附加条件 1 f ( z 厶) = 0 ，其中= 去( + z 雌) ，这些限制条件使得位于z m 和z 一间的 二 中值像素点具有单位曝光量。 另外，在前面我们介绍了光线响应曲线的某个特征：在像素值接近极限值( 即 z 二与z 嘛) 的区域，曲线会变得陡峭，不平滑。考虑到为了使求得的曲线满足尽 量这种特征，算法还引入权重函数6 0 z j ，它是如下的简单函数： 缈( z ) = z 一，z 三 z 眦1 z 互1 z 删 于是可将公式( 2 6 ) 改写为： 1 4 公式( 2 7 ) 浙江大学硕士学位论文第2 章高动态范围图像的获取生成 。= 兰i = l 缸j = l ( 驴h 互也钙卜：笺。 榔_ ( z ) 2 川2 求解该方程即可得到光线响应曲线。 2 2 3 合成高动态范围图像 在完成了光线响应曲线的拟合后，我们就可以完成由图像像素值到场景亮度 值的转换，并由此得到一幅高动态范围图像。需要注意的是，在得到拟合的光照 响应曲线后，那些用来恢复函数的图像以及其它所有使用该图像获取系统得到的 图像都可以使用该函数来确定场景照度值。 根据公式( 2 5 ) ，公式两边取对数得到： l i i 互= f ( z u ) 一l | l 厶， 公式( 2 1 0 ) 使用该公式可以求得像素点对应的照度值，使用恢复函数的m 幅图像来计算 像素的照度值： 新f ( 乙) 岫钙 1 1 1 互= 卫百一 我们可以进一步利用公式( 2 7 ) 的权重函数： 兰 缈( z ：f f ) ( ，( z ：f ) - l n 钙) l n 磊= 坐1 广一 国( 乙) 公式( 2 1 1 ) 公式( 2 1 2 ) 通过权重函数，让像素值接近响应函数中部的曝光量得到更高的权重。这样， 饱和像素值就被忽略掉了，使得合成结果更好。使用多张图像来计算生成最终的 照度值可减少噪点，减低图像质量问题带来的影响。 合成高动态范围图像的流程如图2 3 所示。 注意到，我们最终得到的是照度值的相对值，由前面的内容可知，它与亮度 值是成正比的，即我们得到的是亮度值的相对值。可以利用某已知亮度来标定 获得亮度绝对值，正如我们所使用的方法：引入f ( ) = o ，其中，使位于z 曲与 1 5 浙江大学硕士学位论文第2 章高动态范围图像的获取生成 z 一间的中值像素点具有单位曝光量。 在前面的光线响应曲线恢复部分，算法中提到的是用取图像点的像素值来完 成操作，对于灰度图来说，可以直接使用灰度值来计算。而对于彩色图像来说， 它具有红、绿、蓝三个颜色通道，我们可以需要独立的恢复三种颜色值的响应曲 线，再分别得到场景中对应的三种颜色的照度值。参照灰度图的做法，合成彩色 高动态范围图像时，每个颜色通道都用值对应单位曝光量。这样具有r g b 值( ，乙，乙) 的像素点的r 、g 、b 三通道具有相同的亮度值。 c 卫 毒 盎 图2 3 合成高动态范围图像流程图 2 2 4 手动曝光时存在的问题及解决方法 在利用普通数码相机手动获取不同曝光量的图像时容易产生如下的两个问题 【1 5 】： 1 如果在定点拍摄过程中相机存在微小的移动，会使用合成得到的高动态 范围图像会变得模糊( b l u r r y ) 。即使使用三脚架进行固定，也可能因为地 面不平或按快门时用力不等造成轻微的移动或旋转。 2 在拍摄图像组时，如果场景中的物体发生了移动，则会使最终合成的高 动态范围图像中出现幻影( g h o s t ) 。这种情况在室外拍摄时经常发生，例如 移动的人物、云朵和被风吹动的树木等。 1 6 浙江大学硕士学位论文第2 章高动态范围图像的获取生成 一 图2 4 存在相机移动及物体移动问题的图像序列 上面的图像组就在拍摄过程遇到了相机移动及场景物体移动两方面的问题 1 5 1 。如果直接使用这些图像来进行高动态范围图像的合成，就会在图像中产生模 糊和幻影，如图2 5 所示： ”7 套蠹芬每躜j f 鬻j 。篱乏一i 嚣。 。 - 0 i ：譬+ 积 一。0 9 i 爹爹篆鎏 。鬻攀寥终 图2 5 图像中的模糊及幻影 因此，在使用这些图像进行拟合生成高动态范围图像前，为了得到令人满意 的合成效果，需要进行两部分的处理工作： 通过图像配准( i m a g er e g i s t r a t i o n ) 来校准图像序列 消除幻影( g h o s t ) 图像配准是数字图像处理的一项重要内容。目前在各个应用领域都有较多的 算法 1 6 , 1 7 1 。李晓明在其文章中提出了在全景图拼接中应用f o u r i e r - m e l l i n 变换，通 过计算图像间的相对旋转角度和比例缩放因子来配准图像序y t j t l 8 】。w a r d 提出了 一种解决针对相机平行移动的问题的方法【1 9 】。该方法首先将图像序列转化为中位 阈值位图( m e d i a nt h r e s h o l db i t m a p ，m t b ) 。对于同样的响应曲线得到的图像序列， 1 7 浙江大学硕士学位论文第2 章高动态范围图像的获取生成 其中位阈值位图是与曝光时间无关的，即可以得到一张统一的图像来进行配准