表观灰阶：一种简单快速的符合视觉感知的图像和视频褪色方法.doc

表观灰阶：一种简单而快速的符合视觉感知的图像和视频去色方法Kaleigh Smith Pierre-Edouard Landes Jolle Thollot Karol Myszkowski德国, 萨尔布吕肯, 馬克斯-普朗克信息學研究所 法国, 法国国家信息与自动化研究所, 格勒诺布尔大学摘要：本文提出了一种快速简便的将复杂图像和视频转换成视觉上合理的灰度版本的方法。它包含两个步骤：首先在全局范围内分配灰度值，确定颜色排序，然后在局部加强灰阶重现原始对比度。我们的全局映射与影像无关，并采用赫姆霍兹-科尼劳修效应来预测两种同亮度色彩所表现出来的差异。我们的多尺度局部对比度增强方法，将所丢失的不连续性恢复到不能充分表征原始色彩对比度的区域。所有的操作都被加以限制以使他们保持外观的整体形象，亮度范围和差异，色彩序列，以及空间的细节，从而生成原始彩色图像的在视觉感之上准确的灰度版本。分类和主题描述（根据ACM CCS）：I.3.3 计算机图形学: 显示算法1. 引言灰度变换的基本问题是要重现原始彩色图像所要表征的信息，如它的对比度和显著性特征，同时保留感知幅度及其梯度方向。灰度变换包括两个相互依存的任务：一是将灰度值分配给每个像素或颜色的映射过程，而是差异性约束，使得灰度的差异匹配其所对应的原始颜色差异。最近的研究在确定灰度值的时候注重解决差异性约束，似的生成的灰度图像能很好的体现原始图像颜色比对度的差异。然而，所生成的灰度图像有可能会程序被夸大的动态范围，或与彩色图像色板不同的灰度序列，以及细节的模糊和遮掩。这些修改都能导致所生成的灰度版本图像看起来与原始彩色图不同，同时会造成图像序列和食品真的不连续性。这项工作的目标是创建彩色图像的一个感知上的灰度版本，这个版本能符合观测者的心理物理感知。无论是印刷课本、手册，还是视频的风格化，或是单色的因学习那是设备都需要这样的灰度图像版本。一幅感知精准的图像能够模拟无论全局还是局部效果：能够匹配其原始值的范围和平均亮度，其局部对比既不会被夸大也不会被估少，它的灰度值高低是根据颜色进行排列，并且空间细节差异无法令人察觉。要保持动画不同帧的调色板的一致性和时间相关性，具有明显的感知相似形式非常重要的。我们提出了一种新的灰度图像转换算法，将基于感知亮度的全局映射和局部色彩对比度增强两个步骤结合起来。我们的简单算法能生成可与复杂算法相比拟的图像效果，其线性运行效率使它适用于视频处理和图形硬件加速实现。第一，灰度值逐像素的映射到每种颜色的表面亮度，再现原来的对比度和梯度。第二，梯度幅度是用知觉差异E来衡量，同时被调整以保持或改善我们的多尺度色彩对比增强滤波器的辨识效果。这种双重方式模拟了人类视觉系统在处理全局特征的同时也兼顾边缘和周边等局部对比信息。我们选择光亮度作为灰度值的（同样包括他们的排序关系），因为它是对颜色刺激的消色反应，测量与同等亮度的白色比较某种颜色看上去会有多么明亮。色彩研究表示，光亮度主要取决于亮度，但是亥姆霍兹科尔劳施效应（H-K)所表示的色彩度也对其有影响；一个色彩缤纷的刺激看上去比颜色不够鲜艳的样本更加明亮。H-K效应已经被证实是灰度映射的重要影响因素，虽然它已被用于剪贴画灰度映射BB04, 但目前已有的针对复杂图像的灰度转换算法然没有考虑这种效应。我们的全局表面明亮度映射独立于原始的彩色图像调色板，结合了H-K效应后使我们的算法即使是两种等亮度的颜色间的微小差异也十分敏感，并可以生成感知准确的梯度方向和合适的动态范围。从3D色彩到1D灰度颜色空间映射去除了颜色之间的差异，会危及到图像的辨识度。我们并不会对空间上有距离的彩色像素在发生变化时产生的差异损失感到敏感，但对于相邻时候的彩色像素颜色差异的丢失便会感到非常明显，特别是当原来的差别变的不明显的时候。为了解决这个问题，我们增强局部的对比度直到能达到原图像的差异程度。这种增强在保留了颜色差异值的同时又通过自适应地增加弱对比度避免了对灰度差异的过分强调。此外，这一过程的限制保持了边缘的极性，整体亮度和颜色排序关系，从而保持视觉差异。我们首先介绍其他灰度转换技术，并着重说明这些技术在实现知觉准确性的效果。然后，在第3节，我们对色彩表观模型做了背景介绍，与H-K效应做比较后并得到最适合灰度转换的算法。在第4和第5节，介绍我们的用来解决整体-局部灰度转换的技术。在第6节，将我们的技术与其他标准结果做对比来强调在保持感知准确性方面的优势，以及对于各种输入类型的处理能力。最后，讨论我们的研究成果，并总结在今后的工作和其他领域可能应用到的经验。2. 相关工作用来解决在印刷和显示中将彩色图像转化为灰度图像方案有很多。其中最直接的转换方式为通过减饱和作用或通过色彩过滤器选定一个颜色通道将彩色图像转换到具有同亮度的灰度图像。BalaBE04以及其他人在他们的论文中研究了灰度转换的色彩对比。他们中通过将高通滤波色度通道增加到亮度通道进行了空间处理，并在CIELAB LCH（光亮度、浓度、色彩角）引入了色彩对比。为了防止明亮的地方过亮，其矫正信号将被局部调整并且自亮度对比中获取。这种算法容易产生色度和亮度失调的问题。通过局部自适应处理，Bala等人提出了一种用于处理商用图像的方法。图像的不同颜色根据使用H-K效应进行简单的色彩度预测。为了最大限度的提高分辨率，相邻的亮度通过它们的颜色差异进行重新区分。这种特殊的映射算法只能处理10种颜色，而且不适用复杂的图像。GoochGOTG05等人通过目标函数最小化进程找到了最匹配原来图像色彩差异的灰度值。每个像素与原本的颜色对比由一个有符号的距离衡量。其大小表示亮度和色彩差异，其符号表示从用户角度看到的色调便宜。它的复杂度从O(N2)到O（N4），但最近被Mantiuk等人延伸至多分辨框架，提高了算法的性能MMS06。Rasche等人RGW05提出来一个类似的方法，通过线性变换匹配灰度差异来表示相应的颜色差异。最好的转换通过一个能评估减轻计算成本的误差函数建立。Grundland GD07等人在最近的研究中，找到一种通过在相亮度通道中补充色彩来进行全局连续绘制的方法。他们的算法实现了线性时间的设计性，经过高斯配对抽样减少了不同颜色的处理量。在Y PQ色彩空间中，颜色的差异投射到两个主要色轴，然后映射到亮度图像。饱和度输出的动态范围是在原来的范围和所需数量间进行自适应平衡进行调节控制调节。最近，Neumann等人 NCN07设计了一种无需用户干预的线性复杂度技术。它强调通过在色彩空间测量颜色差异的图像梯度场来强调知觉准确性。抛弃了所有的梯度场的不一致，快速的整理完成最后的灰度图像。在CF03中，卡拉布里亚和费尔福克斯发现图像光亮度对感知对比有强烈的影响，也就是说比如像拉希和格伦德兰的可以任意修改光亮度的技术，可能会使图片以一种相反的方式显示出来。否定亮度的灰度排序也对图像的显示有强烈的影响，排序是主观和武断的：古奇的Color2Gray色相角可以改变所有的梯度方向，在拉希的方法中，用户定义的值是颜色是绘制为更暗还是更亮的关键（见第7节），并且在格伦德兰的方法中，排序取决于图像和参数的颜色取样方法。最后，图像细节和要点可能会因为古奇的Color2Gray算法中邻近的大小选择而丢失，或者由在纽曼的算法中梯度场的不同区域内不可预知的行为而产生细节和要点丢失（见第9节）。由于以上讨论的彩色灰度转换的算法都非常依靠局部的图像内容，调色板和用户数据，它们受知觉准确性的阻塞，并且不能直接应用卡通制作，因为卡通制作中调色板会经常被修改而且像素的相关也会因为闭塞和无咬合而经常变化。以此为动力，我们尝试一种强调知觉准确性和一致性的方法。3. 视亮度为了研究色彩，我们必须涉及颜色存在的领域，也就是说，以观察者的视觉所看到的，物理刺激让人们产生“颜色”的感知回应。或者换个说法，我们称为的“明亮”或者“感知亮度”的一种消色差反应。色彩表观模型承担之了预测人们对于颜色刺激的知觉感应的复杂任务-从而定义颜色的亮度标准。通过这篇论文，我们研究了CIELAB和CIELUV色彩空间，他们的三个轴为光亮度L*，色度C*，色彩角H*。第一个要素，L*，量化了人们对亮度的知觉反应，这是由亨特定义的”物体的亮度等同于类似的白色照明”。在数学上，它被定义为其中Y为亮度，Y0为参考白亮度。除亮度外，色度分量也是决定光亮度的主要因素之一。并且这些因素同样根据色调和亮度而变化。例如，矢车菊蓝似乎比同等亮度的淡金黄色明亮。这种现象可用由亥姆霍兹科尔劳施效应来表示的， 当有两种同亮度的色彩时，更具鲜艳程度的会显得比较明亮。亥姆霍兹科尔劳施效应 一个与白色同等亮度的颜色看上去会比实际上更加明亮Nay97。有两种证明H-K效应的方法：可变消色差色算法（VAC），其中消色差样本的亮度被调整以符合颜色刺激；可变色色彩算法（VCC），其内容为调整颜色刺激的色内容直至其亮度符合给定的灰色刺激Nay98。两种算法中VAC更常被使用，早在1954年Sanders-Wyszecki就已经开始对VAC进行研究。1964年和1967年后又由Wyszecki进行研究Wys67.。3.1 黑尔穆耳茨-科尔劳施亮度预测因素H-K效应通过纠正基于颜色的色组成L*的彩色亮度区间进行预测。我们仔细检查三个由Fairchild 和Nayatani公布的用于适配灰度问题的预测。现有的模型，比如CIECAM02，它的外观为复合色，比如邻近的颜色，相比之下因为不适用于H-K效应而不适合进行灰度转换（读者可参考表17.1 Fai05）。费尔柴尔德的CIELAB色彩亮度度量 L*适于Wyszecki 1967年的数据并且被定义为FP91：色度C* 测量多彩度和H-K效应的正弦曲线预测，在黄色色度影响最低而蓝色最高。Nayatani 定义基于CIELUVNay97的每个实验中的色彩亮度指标L*NVAC和L*NVCC。它们之间的区别在于L*NVAC的强度是L*NVCC的两倍（在日志空间）。对于每种方法， 色对象的亮度是有下列公式预测（详情请参见附件）：Suv是u的色彩饱和度方面,v为根据色彩的预计效果。象限度量x预测了对H-K效应关于不同色调和变化。常量X表达了H-K效应对亮度La的适应。这些色彩亮度标准解决了一个灰度转换的关键挑战，因为它们预测了不同光亮的颜色知觉的差异。图1通过每个单位的邻近的同亮度颜色对表示对亮度的测量。可以看出，产生了比H-K效应预测的更多的变化，与以亮度为基础的L*预测了几乎所有同等亮度的颜色。需要注意的是，其他颜色对将映射到相同的灰度值，但这些在预测上比同等亮度的颜色更加的相似。图1：各种H-K效应预测的亮度值应用到相同亮度的颜色频谱,然后与CIE L*作比较。我们现在来看哪一个算法更适用于灰度转换。我们推荐L*和L*NVAC,因为在模型上对VAC数据的收集，因为能更好的为颜色匹配灰度，它们更接近目标。此外，在测试L*NVAC时，我们发现，它很容易就会把明亮的彩色绘制为白色。因此无法分辨非常明亮的两种同亮度颜色Nay98.鉴于这个原因，采取了Nayatani的意见后，L*NVAC代替了L*NVcC在预测同亮度色彩之间的差异预测的应用Nay98。图2：从各种H-K效应的亮度值进行较全光谱应用预测。L*呈现出小德范围，蓝色色调则取决了L*的不同。因为它们都适用VAC数据，L*和L*NVAC的行为非常相似，它们间的不同因为它们采用的数据不同，以及模型的灵活性差异，LNVAC基于是Wyszecki 1964年和1967年的数据，理论支持位H-K，和亮度的适应效果。而L *模型只是基于Wyszecki 1967年数据和对如下数据的简单处理：在L*中蓝色色调远远高于在L*中，因为他降低了范围，使标准与L*NVAC和L*都有很大不同，如图2。尽管这个模型符合H-K效应感指数据。但它却是有问题的灰度转换，因为不同L*的颜色不再具有相同的光亮度，由balaBBO4共享。因此，我们认为L*NVAC是在我们所用的全局灰度转换之中最合适的预测H-K效应的算法。4. 全局视亮度绘制我们现在根据使用上一节中的Nayatani模型LN* = L*NVAC得出的亮度来形容全局映射，映射过程如下：我们首先通过伽马的逆映射将彩色图像转换为线性RGB，然后变换到CIELUV色彩空间。其色对象亮度通道LN*根据计算公式2获取。我们绘制LN*到灰度值为Y，色织为u*he v*。最后，使用伽玛映射来摆脱线性辎空间回到一个伽马校正图片G。如图3所示的几个颜色坡道，映射是连续的，没有彩色重排，不会有差异丢失且动态范围能得以保留。图3: 在一个颜色实验中(左)，G（右）保持整体和光亮度标准图4：用我们的算法绘制同亮度的色彩到独特有序的灰度图片由于从3D域压缩到1D域，LN*可能会将两种不同的颜色绘制为相同的光亮度，然后映射到相同的灰度值。这种情况只在颜色不同而色调相同的情况下发生，这在自然图像和精心设计的图像中是非常罕见的。即使是从neumann等人NCN07的研究中抽取的亮度相同的非常具有挑战性的图片，我们的全局映射区分得当，根据H-K效应让更具有亮蓝色的图片比淡黄色的图片更明亮，如图4(校准屏幕查看原色)。回想一下，我们的目标是知觉准确性：由此产生的低对比度能很好的表示低对比度的彩色图像，每个独特的色彩都会映射到一个独特的灰度值。通过H-K效应的预测，我们的全局映射部分解决了灰度值分配和正常同亮度的颜色不能区分的色彩标准问题。5. 局部色彩对比度调节 在上一节所描述的制图方法中，在灰度图像G中根据H-K效应捕捉色彩。但是，由于降维和不能理解的色调差异，色彩反差可能会减少。在明显不连续的局部对比中，人们是最敏感的。为了应对减少，我们使灰度图像G的局部对比度增加以更好的表示原始图像的对比度。该技术是根据颜色之间的对比度和灰度来调整的，因此增加便会在未被描述的色彩边缘被加强时发生。我们迎合一般的适应-加权多尺度锐化掩模技术NB98达到重复多彩对比的目标。最近，这个通用工具已被用于调整色调对比映射良好的图像 KMS07，以及从深度知觉恢复的对比LCD06，还原深度知觉的对比LCD06。 通过下列调整，用拉普拉斯金字塔将一幅图像分解成n带通图像hi和一个单通图像lBA83。拉普拉斯金字塔是采用4阶二项式系数滤波器专门为CIELAB中的I和G建立的 。每个通道的hi测量它的局部对比度，但G不含有色彩信息，它的局部对比完全包含在L*通道。在拉普拉斯金字塔的每个取值范围，我们通过一个感性的数量i自适应增加局部对比度hi（GL*）,用来测量需要匹配的颜色的对比hi(I)。增强的灰度图像G是通过一下方式修改GL*：存在参数k1,kn-1,ki1,使空间效应可以被所需要的量和预期的条件（图像大小和观看距离）控制。目标的增益因子i是再提高期间衡量需要恢复的其余色彩对比。我们将它定义为：E(hi (I)是像素之间的色彩对比，它的邻近为E(hi (I) =1(hi (IL )2 + hi (Ia )2 + hi (Ib )2 )1/2。由于G的色通道不包含任何相反的信息，|hi (GL )| E(hi (G)。E色差以感性亮度单位来表示颜色和灰度对比。参数0P1，用来重绘制值到非线性比例一弱化对比。比如同亮度的颜色可以通过避免加强对比来增强。参数介绍提供了灵活性，允许用户根据自己的所需选择所需要的分辨率，我们认为其他人的做法是临时的，所以必须确保可以提供不允许控制图像变化的灵活性的参数。图片的整体亮度不会变化，因为我们限制了可能会增加的分段的数量，这些可以防止有太大的变化（在实践中 n4级）。最重要的是，由于的定义，边极性不会翻转，这意味着邻近区域的光亮度状况不会发生变化。图5：相对于基本锐化（中），我们的色彩增强（右）的差异对比，在G低而I高，在获得的图像中，绿色代表负增益; p = 0.25 k = 2, 1, 1, 0.6.在图5中说明了本地色彩对比调整的影响。同亮度区域间的对比几乎低于阈值，特别是在图像的最底一行。所有对比的基本锐化（中），这对底部一行的分辨几乎无用，因为带通几乎不包含任何信号。而我们的色调整（右）则能通过避免过度强调现有的对比来取消上述这些阈值对比，所以得到的图像能更好地表现原始得对比度。6. 结果和讨论结果致力于知觉准确性，并且不增加或夸大分辨率。因此，效果是显而易见的，精细的。相比之下，我们提出的无论CIE Y通道还是Gimp灰度都有基本的锐化增强，所以，读者可以比较图像之间的匹配锐度。此外，这里的图像是在校准彩色屏幕（sPGB）上观看的；对于印刷方面，我们生成的灰度图像会映射到相应的打印机色域。我们通过对Gooch等人GOTG05提供的2张图像用我们的方法进行区分开始，如图6所示。在这两个图像中，邻近的同亮度区域是可辨识的（参数P和K，因此n,来自于每个图像）。我们通过现在与以前的结果比较来更好的展示知觉准确性。图7举例说明了局部自适应问题，在同亮度不同颜色的图像（第二行）上使用默认参数的Rasche的结果（第一行）。图6：我们的在相似亮度的图片上哦色彩辨别 Car p=0.5 k=0.5,0.5,0.5;Island p=0.8k=0.4,0. 我们考虑改变空间中的内容，如图9，莫奈的日出印象的灰度版本。GoochsColor2Gray方法（左下方）使太阳膨胀，反射，具有强烈的模糊效果。Neumann等人，（底部中间）模糊了详细背景建筑物，改变了水的亮度，给了这幅图像另一个光源印象，我们的方法保持了局部的光亮度，太阳的亮度，所有的笔触都可见，并且与原来的相比修改最少（右下）。图7：一致性和颜色排序：Rasche局部转换（顶部），我们的转变（中间），原来的颜色（底部）来自于Rasche图8：风能视频中的一帧。来源：采用我们的倍频转化技术需要使用彩色工程工具箱和一个拉普拉斯金字塔Matlab的工具箱。转换运行的时间依赖于图像分辨率、颜色映射和金字塔构建的速度。指定金字塔的层数1和4倍，用Intel4 3 GHz CPU进行计算。日出印象图像(311223像素)需要1.8或者3.2秒；凤仙花图像(570593)需要6.7或10.8秒；蜂鸟视频(192144)单级转换需要136.3秒，每0.96秒可处理142帧中的一帧。在www08中，还提供了一个单一规模的GIMP插件。7. 结论和未来工作在本文中，我们提出了新的用于灰度转换的方法。我们的方法比标准亮度映射有更准确的外观感知。而且比其他方法得到的结果更加贴近原物。特别的是，我们忠实的再现了原始图像的灰度值即H-K效应。其步骤有2步，是在全自动技术（第一步）和用户控制（第二部）之间的一个很好的妥协，这个方法很好的适合于自然图像，照片，艺术复制品以及商用图形。最后有个主要好处是，我们通过避免在颜色的顺序发生变化确保一致性。这使这种方法很好的适应于影像的处理。我们所用方法最主要限制是第二步的局步性。它不能对双方的非邻近区域的色彩进行对比。这一步也有引入时间不一致的缺点，因为被局部常量参数所阻止。我们的算法可以提高不可靠的信息中的人工因素，这发生在低质量的压缩介质上。关于颜色的外观，由于背景的像素，我们没有考虑到的色彩对比的变动，特别是其周围的颜色的表现。在今后的工作中，我们计划通过颜色模式掩蔽效应和测量能见度就其颜色和外观空间进行描述，同多其周围原有的色彩对比，使用渠道，对比敏感度函数（CSF）的Mul85作为函数的空间频率。我们还计划调查随着时间推移修改增强参数的方法，同时保持时间的一致性。进一步的进入视频灰度转化问题或降低颜色设置问题对视频程式化，处理和有限的设备展示是非常重要的。图9:我们的转换更贴近原物，因为它保留了画面笔触，尤其是天空和背景。Gooch的图像非常模糊，有一个膨大的太阳，而Neumann则淡化了天空和水。图10：我们的灰度图像中帽子的极端亮度比Gimp的灰度转换更为明显，更能突出2个最远帽子之间的差异。来源：图11：我们的做法突出了红色的鱼和石头，恢复突出的橙色鱼（左边和右边）。来源：Getty Images致谢我们感谢Rafal Mantiuk, Hendrik Lensch, Andrei Lintu和提出宝贵意见的匿名审稿人。附录A：Nayatani ChromaticLightness模型 在CIELUV色彩空间中u ,v是CIE 1976年的色度测试刺激且Uc,Vc是参考白色的色度，La 调整亮度，按Nayatani所建议默认设置为20，下面是色彩亮度L*NVAC和L*NVcC的使用方程Nay97,Nay98。参考文献：BA83 URT P. J., ADELSON E. H.: The Laplacian Pyramid as acompactimagecode. IEEETrans.onComm.(1983),532540.BB04 ALA R., BRAUN K.: Color-to-grayscale conversion to maintain discriminability. Proc.SPIE5293 (2004), 196202.BE04 ALA R., ESCHBACH R.: Spatial color-to-grayscale transformation preserving chrominance edge information. Proc.IS&T/SIDs12thColorImaging Conference (2004), 8286.CF03 ALABRIA A., FAIRCHILD M.: Perceivedimagecontrast and observer preference i & ii: The effects of lightness, chroma,and sharpness manipulations on contrast perception. Journal of ImagingScience& Technology,47 (2003),479493.Fai05 AIRCHILD M.: Color Appearance Models, 2nd Ed.Wiley-IS andT,Chichester,UK, 2005.FP91 IRCHILD M., PIRROTTA E.: Predicting the lightness of chromatic object colors using CIELAB. Color Research and Application16,6(1991),385393.GD07 UNDLAND M., DODGSON N. A.: Decolorize: Fast,contrast enhancing, color to grayscale conversion. Pattern Recogn. 40,11 (2007),28912896.GOTG05 OOCH A. A., OLSEN S. C., TUMBLIN J., GOOCH B.: Color2gray: salience-preserving color removal. ACM Trans.Graph.24,3(2005),634639.KMS07 AWCZYK G., MYSZKOWSKI K., SEIDEL H.-P.:Contrast restoration by adaptive countershading. In Computer GraphicsForum (Proc.Eurographics2007) (2007), vol. 26.LCD06 UFT T., COLDITZ C., DEUSSEN O.: Image enhance-ment by unsharp masking the depth buffer. ACM Trans. Graph.25,3(2006),12061213.MMS06 ANTIUK R., MYSZKOWSKI K., SEIDEL H.-P.: A perceptual framework for contrast processing of high dynamic range images. ACM Transactions on Applied Perception 3, 3 (July2006),286308.Mul85 ULLEN K. T.: The contrast sensitivity