基于分段色域颜色模型的高动态范围图像获取与合成能

1、光学技术OPTICAL TECHNIQUE第37 卷第4 期2 0 1 1 年 7 月Vol 37 No 4July 2011文章编号:1002 1582( 2011) 04 0496 06基于分段色域颜色模型的高动态*范围图像获取与能，放，( 北京理工大学 光电成像技术与系统教育部，北京 100081)摘 要:普通彩色相机采用多次获取高动态范围图像的技术，提出了一种基于相机分段色域颜色模型的高动态范围图像获取及颜色的理论模型和实现方法。介绍了相机分段色域颜色模型的基本结构和建立方法。用NikonD70s 彩色相机和修正的 sRGB 标准颜色转换模型对所提出的理论和方法进行了实验验证。结果表明

2、，所提出的方法可以在普通彩色相机上实现高动态范围彩色图像获取与图像，并可同时实现高动态范围图像的颜色标准化。: 高动态范围成像; 颜色特性化; 颜色转换; 相机颜色特性化号:TH744 1; TP393 09文献标识码:ANew color characterization mfor high dynamicrange color imaging based on multiple exposuresTAN Boneng，LIAO Ningfang，LIAN Yusheng，TIAN Lixun，WU Wenming( Key Laboratory of Photoelectonic Imag

3、ing Technology and System of Ministry of Education，Institute of Technology，100081，China)Abstract: A new piecewise color characterization mis proposed with a camera for the high dynamic range imaging basedon multiple exposures The principle and the construction of the piecewise color characterization

4、 m，and the images captu ring，the color tone mapping and the images combination are introduced By using an RGB color camera NikonD70s，the new method can obtain high dynamic range images with standard and desired color informationKey words: high dynamic range imaging; color characterization; color con

5、version; camera color不了 100000: 1 动态范围光照环境下的测光要求。为了有效地提高焦平面成像系统的动态范围，近年 来世界各国科技工作者尝试了多种技术途径，并取 得了一系列进展。途径之一是对焦平面探测器硬件0引言在日光或人工照明环境下，物体细节从阴影到 白场的照度变化范围通常可以从 10 105lx，其对应的动态范围大约为 100000 1。普通成像器件CCD 的有效动态范围受到器件噪声以及电荷势阱进行改造，例如FUJIFILM 公司的 S3Pro 彩色相机在一个焦平面探测器上采用两种不同灵敏度的 探测单元实现了高动态范围成像，该方法保留了相机快速成像的优点; 另一

6、种有效途径是利用普通容量的限制，通常小于 60dB，大约相当于 1000 1，因此普通 CCD 相机的量化精度一般都小于 12bit，而普用相机的量化精度大多是 8bit，远远满足CCD 相机的多次获取高动态范围图像，该方法收稿日期: 2011 03 08; 收到修改稿日期: 2011 04 20: tck999 bit edu cn部重点研究基金资助项目( 2010ZDYJBJLG006)*基金项目:作者简介:自然科学基金资助项目( 61078048) ;能( 1982 ) ，男，博士，主要从事高动态范围彩色图像获取及颜色复现方面的研究。496能，等:基于分段色域颜色模型的高动态范围图像获取

7、与第 4 期虽然存在拍摄速度慢的缺点，但是可以根据用户要求获取目标场景中特定光度区间的高动态范围图像，因此受到了人们的广泛重视。虽然基于多次曝光获取高动态范围图像的技术目前国际上已有很多现高动态范围彩色图像的获取、色度标定等。多次高动态范围成像原理1图 1 为采用普通相机多次实现高动态范围报导17，但是现有研究成果大都集中在解决多次成像的过程。以 8bit 相机为例，在不同速度下图像的像素融合问题，而较少关注图像的获取相同目标场景的8bit 图像序列。由于量的颜色特性化问题。事实上，在多次图像的差异，这些图像序列中代表目标相同位置的灰度值也存在差异; 当目标场景存在空间的位置变化时，需要对 8

8、bit 图像序列进行像素级的配准; 经过像素配准的8bit 图像序列的灰度值需要进行一定倍率的缩放才能相互匹配; 最后将经过灰度值缩放的图像序过程中，不同图像之间的颜色转换问题还有待人们进一步解决。为此本文提出一种基于彩色相机分段色域颜色模型的高动态范围成像方法。该方法 基于现行的CIE 国际颜色标准对普通彩色相机进行不同色域范围的颜色特性化; 在此基础上对获取的多次 图像的色度进行转换和像素匹配，进而实列为一幅高动态范围图像。图 1 多次高动态范围成像过程示意图上述高动态范围图像的量化位数由相机的时，分别选择第三次图像的全部非饱和像素、第量化位数次数、图像方式等决定。以三次二次图像的 1 /

9、3 2 /3 光度范围的像素、第一次为例，如图 2 所示: 第一次的时间最短，此图像的 2 /3 以上光度范围的像素进行匹配，得到一幅完整的高动态范围图像。该图像的灰度量化时 8bit 相机的 256 个量化级与目标场景的整个光度范围匹配，输出的目标图像无饱和现象; 第二次的时间稍长，此时 8bit 相机的 256 个量化级与目标场景的 2 /3 光度范围匹配，输出的目标图像存在部级数N 大约为: N= 256 + ( 256 /2) + ( 256 /3) = 256= 469。注意到该 469 个量化级在整个目+ 128 + 85标光度区间是非均匀分布的，其中在光度较低的 1 / 3 区域

10、内的量化精度最高，这将更有利于区分目标的较暗区域的图像细节。分饱和现象; 第三次的时间最长，此时8bit 相机的 256 个量化级与目标场景的 1 /3 光度范围匹配，输出的目标图像存在的饱和现象。在图像图 2 多次成像的相机动态范围与目标光度范围的匹配关系对于采用 RGB 三基色相机的场合，每一个数据择与彩色相机的白场色度相近的目标，并参照单色通道仍为 8bit，因此在进行多次成像时，需要选相机的多次模式调整彩色相机的 RGB 动态范497光学技术第 37 卷围与目标光度范围之间的匹配关系。色特性化模型的概念。在数字颜色管理系统中，图像设备的颜色特性 化( Color Characteriz

11、ation) 是一个关键环节。所谓图像设备的颜色特性化就是建立图像设备的颜色空间，例如彩色相机的 RGB 空间与标准化的颜色空分段色域颜色特性化模型2在多次的高动态范围图像过程中，不同图像之间的量值缩放( Tone Mapping) 是一个关键环节，它将关系到最终间，CIEXYZ 空间的的高动态范围图像关系。该关系的表达的清晰度和颜色保真度，为此人们开展了大量研究方式根据图像设备的不同而具有多样性。例如对于彩色相机而言，可以根据需要采用线性转换模型、非 线性转换模型、三维查找表模型、人工神经网络模型 等。基于颜色转换模型，可以由 RGB 计算 XYZ，即正向模型; 也可以由 XYZ 计算 RG

12、B，即逆向模型。并取得了很多进展。在已经公布的Tone Mapping方法中，对于不同图像之间的 RGB 量值的调整一般采用简单的线性或非线性的缩放模型，目的是保证一幅图像的颜色均匀性和标准化。但是如果每图像的颜色特性没有按照标准化颜色空间现有的图像设备颜色特性化模型大都是某进行描述，则通过 RGB 量值之间的缩放一个设备的全色域空间建立的。例如，8bit 的 RGB彩色相机的全色域空间可以用一个三维 RGB 直角坐标空间来表示，其中每一个坐标轴的刻度数量为256( 8bit) ，因此总共有 16 77 × 106 个颜色。的图像也没有颜色标准可循。为此本文将目前国际上流行的数字颜色

13、管理系统( CMS) 的图像设备颜色特性化的概念和方法到多次的高动态范围图像过程中，并首次提出分段色域颜的与颜色图 3 分段色域颜色空间示意图A 为全色域空间变换; B 为分段色域空间变换。图 4 基于分段色域颜色模型的多次高动态范围成像流程在本文采用的多次成像模式中，由于各幅分光度动态范围，因此在各幅图像中，具有相同颜色 的目标像素所对应的 RGB 值是不同的。因此有必图像的 RGB 动态范围分别匹配目标场景的某一部498能，等:基于分段色域颜色模型的高动态范围图像获取与第 4 期要分别建立不同状态下的颜色特性模型，即分关系。当相机输出的 RGB 与 XYX 不满足线性关系时，则式( 1)

14、的颜色转换精度难以保证，因此在本文实验中有必要对式( 1) 的颜色模型进行校正。为此选择标准色卡 Macbeth ColorChecker 的灰度色块对相机的色度响应特性进行验证。被测色样 由 6 个等明度间隔的色块组成，用分光光度仪 color- eye 7000A 测量其光谱反射率，并计算它们在 D65 照明下的CIE 标准色度值，其结果如图 5 所示; 然后在 D65 照明灯箱下由相机拍照色卡，得到相机的段色域空间颜色模型。分段色域空间是全色域空间的一部分，以 8bit 的 RGB 彩色相机的两次成像模式为例，并参照图 3，需要分别建立全色域空间和分段色域空间的 RGB 与 CIEXYZ

15、 的 关系，其中分段色域空间的 RGB 取值范围为 0 127，参考白保持为 D65。以三次成像模式为例，基于分段色域空间颜色模型的高动态范围成像流程如图 4 所示。其中成;1 的 RGB 像素直接参与高动态范围图像合2 和3 的 RGB 像素都分别需要经过一RGB 响应曲线分别如图 6 和图 7 所示别为( 1 /125) s 和( 1 /30) s。时间分到 CIEXYZ 空间，次全色域颜色模型的变换后然后根据融合需要，再将数据通过分段色域颜色模型变换才能参与图像。最终的高动态范围图像的颜色特性可以用其中的全色域空间的颜色模 型来描述。试验采用的是简化模型，使用的是两次的成像方式。实验3图

16、 5 标准色卡 6 个灰阶色块在 D65照明下的 CIEXYZ 三刺激值3 1实验装置彩色相机: NikonD70s 三基色相机，内置 Bayer滤色片 CCD; 输出图像数据为标准 BMP 文件格式; 图像数据符合 8bit 的 sRGB 颜色标准; 相机白场色度为 D65。标准色卡: Macbeth ColorChecker 的 24 色标准色卡，用于标定和验证实验相机的色度特性。照明灯箱: 型号为 colorcheckDC 的为标准色卡提供 D65 标准照明条件。测色 仪 器: 分 光 光 度 仪，型 号 为箱，可图 6 相机 Nikon D70s 对 6 个灰阶色块的测量color-e

17、ye结果时间为( 1 /125) s，D65 照明7000A，用于测量标准色卡的光谱反射率，并换算为CIE 色度值。3 2颜色特性模型的建立采用两次的成像方式，其中第 2 次的相机动态范围大约与被测目标的 1 /2 亮度范围匹配。为此需要分别建立相机的一个全色域空间颜色模型和另一个分段色域空间的颜色模型。数码相机的特性化即建立数码相机 RGB 色空间到 CIEXYZ 色空间的对应关系。假设相机符合国际电工委员会 IEC 推荐的 sRGB 颜色标准图 7 相机 Nikon D70s 对 6 个灰阶色块的测量结果 时间为( 1 /30) s，D65 照明根据对色卡的测量和拍摄结果，对式( 1) 所

18、示的相机的颜色特性化模型进行分析。由图 5 可以看出，6 个标准灰度色块的三刺激值变化规律相同，且基本符合 3 次方的函数分布，这与人眼视觉特性吻合。但是在另一方面，综合图 6 和图 7 可以看出，相到由 RGB 到 XYZ 的变换表逆变换矩阵也很容易查到。，如式( 1 ) 所示，其0 1805 ù é RsRGB ùé Xùé 0 41240 35760 71520 1192êúG( 1)ê Yú =ê 0 21260 07220 9505úû ê

19、50;sRGBë ûëë BûZ0 0193sRGB由式( 1) 可知，RGB 与 XYX 之间是一种简单的线性499光学技术第 37 卷5 的比值确定。当对颜色转换精度要求不太高时， 可以参照 sRGB 颜色标准中对显示器驱动值的校正方法，即选择 Gamma 值大约为2 的函数形式对RGB 进行非线性校正。机对相同色卡的响应曲线与图 5 曲线有较大差异。其中，当相机的 RGB 值小于 80 时，响应曲线与图 5 曲线基本吻合，即 RGB 与 XYZ 基本保持线性关系; 当相机的 RGB 值大于 80 时，响应值曲线的形状逐渐偏离图 5 曲线的

20、规律，即 RGB 与 XYZ 为非线性关系。因此对于分段色域空间颜色模型的建立，由于RGB 值取值范围较小，可以采用式( 1 ) 的形式。但是对于全色域空间颜色特性模型，需要对式( 1 ) 的RGB 值进行校正，具体的校正系数可以由图 7 与图图像摄取与图像摄取: 采用本实验设计的二次3 3成像方式，选取固定的外景图像进行拍摄，分别获取时间为( 1 /125) s 和( 1 /30) s 的两幅图像，如图 8( a) 和图 8( b) 所示。( a)( b)图 8图像时间分别为( 1 /125) s 和( 1 /30) s; ( c)( c)( a) ( b) 由实验相机 Nikon D70s

21、 获取的二次的高动态范围图像。图像: 根据图 4 的流程对获得的两幅图像所以图 8 显示的效果是将高动态范围图像进行简单的色调压缩后的效果图。必要时可以在普通媒介上 对高动态动范围图像的局部区域进行显示。进行。其中对于正向的全色域颜色转换模型采用了根据 RGB 值变区间的 Gamma 校正的 sRGB 颜色模型。逆向的分段色域空间颜色模型则由于RGB 值取值范围较小，直接采用式( 1 ) 的形式。图像 结果如图 8( c) 所示。结论4理论分析和实验结果表明，本文提出的基于分在高动态范围图像的颜色转换、显示过程段色域颜色模型的多次高动态范围成像方法可中，采用了自定义的图像数据格式和自编的图像存

22、以在普通彩色相机上实现高动态范围彩色图像获取与图像 ，并同时实现图像颜色的标准化，从而为进一步研究高动态范围成像技术奠定了基础。进一 步的研究工作将在颜色转换环节中采用精度更高的储3 4显示程序。结果分析( 1) 第一次时间为( 1 /125) s，此时相机的动态范围与目标的全部亮度范围相匹配，因此图 8 ( a) 中没有饱和像素，但是降低了图像较暗区域的某些细节。模型，如非线性模型、三维查找表模型等，这将有利于进一步提高果。参考文献:图像的空间和色度融合效( 2)第二次时间为( 1 /30 ) s，此时相机的动态范围与目标的较低亮度范围相匹配，因此图 8 ( b) 存在部分饱和像素，但是在非

23、饱和区域可以获得 的图像细节。( 3) 经过色度变换，用图 8 ( b) 的较暗区域替换图 8( a) 的对应区域，得到了一幅高动态范围图像( 图 8( c) ) ，其中较暗区域的图像细节得到了明显，色度也保持了一致性，证明了本文方法的有效性。1 Greg Ward Larson The LogLuv Encoding for Full Gamut，High Dy namic Range ImagesJ Journal of Graphics Tools，1998，3 ( 1 ) : 15 312 Greg Ward Larson，Holly Rushmeier，Christine Piatk

24、o A Visibility Matching Tone Reproduction Operator for High Dynamic Range ScenesJ IEEE Transactions on Visualization and Computer Graphics，1997，3( 4) 3 Ahmet Oguz Akyüz Color appearance in high dynamic range imagingJ Journal of Electronic Imaging，2006，15( 3) 4 Annamária R Várkonyi Kóczy High D