HDR及一些非均匀性校正算法.doc

HDR High Dynamic Range ，即高动态范围，比如所谓的高动态范围图象（HDRI）或者高动态范围渲染（HDRR）。动态范围是指信号最高和最低值的相对比值。目前的16位整型格式使用从“0”（黑）到“1”（白）的颜色值，但是不允许所谓的“过范围”值，比如说金属表面比白色还要白的高光处的颜色值。在HDR的帮助下，我们可以使用超出普通范围的颜色值，因而能渲染出更加真实的3D场景。也许我们都有过这样的体验：开车经过一条黑暗的隧道，而出口是耀眼的阳光，由于亮度的巨大反差，我们可能会突然眼前一片白光看不清周围的东西了，HDR在这样的场景就能大展身手了。HDR可以用3句话来概括：亮的地方可以非常亮 暗的地方可以非常暗 亮暗部的细节都很明显。HDR的处理在显卡中可以分为3个步骤：将画面用高光照动态范围渲染，并储存每个象素的亮度特性； 将HDRI画面转成低动态范围的画面（RGBA或是sRGB）；色彩和Gamma校正后传送到显示设备输出。计算机在表示图像的时候是用8bit(256)级或16bit(65536)级来区分图像的亮度的，但这区区几百或几万无法再现真实自然的光照情况。HDR文件是一种特殊图形文件格式，它的每一个像素除了普通的RGB信息，还有该点的实际亮度信息。普通的图形文件每个象素只有0 255的灰度范围，这实际上是不够的。想象一下太阳的发光强度和一个纯黑的物体之间的灰度范围或者说亮度范围的差别，远远超过了256个级别。因此，一张普通的白天风景图片，看上去白云和太阳可能都呈现是同样的灰度/亮度，都是纯白色，但实际上白云和太阳之间实际的亮度不可能一样，他们之间的亮度差别是巨大的。因此，普通的图形文件格式是很不精确的，远远没有纪录到现实世界的实际状况。所以，现在我们就要介绍一下高动态范围图像（简称HDRI）。HDR高动态范围渲染目前是一种逐渐开始流行的显示技术，其技术出发点就是让计算机能够显示更接近于现实照片的画面质量。目前在民用领域看到最多HDR技术应用的必然是游戏了。在现实中，当人从黑暗的地方走到阳光下时，我们的眼睛会不由自主的迷起来，那是因为在黑暗的地方，人为了更好的分辨物体，瞳孔张开很大，以便吸收光线;而突然到了光亮处瞳孔来不及收缩，视网膜上的视神经无法承受如此多的光线，人自然会迷上眼睛阻止大量光线冲击视神经。而电脑是不具备这种功能的。所以，HDR的最终效果因该是亮处的效果是鲜亮的，而黑暗处你也可以清晰的分辨物体的轮廓，位置和深度，而不是以前的一团黑。动态、趋近真实的物理环境是HDR的特效表现原则。实际游戏中会发现井底水面反射的阳光在墙壁上动态的明亮反光，洞口的明亮天空也会稍微变弱些。这样就能更清晰的表现出水面的反光。如果此时低头看水面会发现水面直接将阳光反射到人眼中很刺眼，但仅仅1秒钟时间光线就会减弱，因为人眼适应了直接反射的阳光。这就是游戏的曝光控制功能，模拟人眼自动适应光线变化的能力，而不是照相机。HDR并不仅仅是反射的光强度要高。在游戏中，如果你盯着一个面向阳光直射的物体，物体表面会出现丰富的光反射;如果盯着不放，物体表面的泛光会渐渐淡出，还原出更多的细节。HDR特效是变化的，因此称作高动态光照。热成像的非均匀性校正算法有很多种，红外焦平面非均匀性校正算法主要分为基于定标的非均匀校正算法(如一点温度定标算法、二点温度定标算法、多点温度定标算法)和基于场景的自适应非均匀校正算法(如时域高通滤波(THPFC)算法、人工神经网络(ANNC)算法、恒定统计平均(Cs)校正算法等)。目前二点温度定标算法和多点温度定标算法是最为成熟的实用性算法，但是它需要周期性的对它维护，这给红外成像设备维护工作带来很多困难。而基于场景的非均匀校正算法不需要对其周期性的维护，所以人们对它产生了很大的兴趣，目前该算法以神经网络自适应算法为代表。一点校正法仅能在一个定标点处把单元的输出信号校正一致，随着相对于这个定标点的偏移越大，由于探测器各探测元响应度的非一致性，校正误差也越大。两点校正法计算量小，可以实现实时校正，除了进行定标外，对目标图像无任何要求，在体积、重量、功耗、成本等方面也最为理想，但当温度变化范围较宽时，由于探测器响应并非严格线性，两点校正系数aij和bij会依赖于所取的温度T1和T2。在成像或测温过程中，当目标温度偏离T1和T2较大时，依据原有aij和bij得到的校正结果会有很大的误差。所以，原有的aij和bij系数将不能适应，需要在当前环境温度下重新对校正系数进行更新，给应用带来不便。两点校正算法是基于响应基本线性的情况下进行的，但实际上每个探测元的响应通常情况下呈非线性，尤其在辐照度变化范围较大时，其线性度更差。多点定标分段线性校正与两点校正法相比，计算量大，并且由于存储多组校正系数，需要大容量存储器，在校正过程中还需根据背景温度的变化选择合适的校正系数，这增加了编程的困难。但它原理简单，且有成熟的理论，不存在稳定性问题，比较容易实现。综合考虑校正效果与实际条件，在目前情况这也是一种比较实用的算法。时域高通滤波算法的优点是:1.算法简单快速，可以实现实时校正，校正过程不需要定标，不影响系统正常的测量工作。对低频的非均匀性效果显著。2.在目标跟踪上，该算法很好地抑制了背景和噪声，突出了移动目标，具有很好的效果。缺点是:1.只进行了偏移的校正，要求系统具有很好的增益均匀性。2.该算法要求场景作随机运动，否则图像就会退化，出现伪像。3.抑制固定图案噪声同时也抑制了图像的低频分量，影响图像质量。传统人工神经网络算法的优点是:不需要定标校准，可以连续更新增益与偏移的校正系数，而且不受探测单元噪声漂移的影响。其缺点是:1，算法计算量较大，很难实现实时校正，且由于结构复杂，在硬件上实现也有困难，采用了迭代运算，要保证算法的收敛性。2，与时域高通滤波算法类似，该算法也要求场景作随机运动，否则会引起图像退化，出现伪像。由于传统人工神经网络算法具有自适应的优点，该算法被广泛应用到各个领域。排序均值垂直滤波算法能够有效地消除非均匀性带来的水平条纹，并且能够有效地保护边缘。另外该算法计算简单，容易在硬件上实现。但是该算法对非均匀噪声比较大的红外图像不能起很大的校正作用。改进的均值滤波算法不仅能降低图像的噪声，对水平条纹和垂直条纹都可以进行滤波，同时也保留了图像的部分细节，另外，还可以较为有效地减少黑点和白点对滤波的影响，更重要的是简化了算法，更利于在硬件上实现。另外也为下一步进行神经网络校正提供了一个期望值。1. HDR动态范围定义 HDR 是英文 High-Dynamic Range 的缩写，中文译名为高动态光照渲染。比如所谓的高动态范围图象（HDRI）或者高动态范围渲染（HDRR）。动态范围是指信号最高和最低值的相对比值。目前的16位整型格式使用从“0”（黑）到“1”（白）的颜色值，但是不允许所谓的“过范围”值，在HDR的帮助下，我们可以使用超出普通范围的颜色值，因而能渲染出更加真实的3D场景。总之简单来说，HDR可以用3句话来概括： 1.亮的地方可以非常亮。 2.暗的地方可以非常暗 。3.亮暗部的细节都很明显HDR技术原理 我们已经知道，HDR渲染包含两个步骤，一是曝光控制，即将高动态范围的图像映射到一个固定的低范围中，即屏幕能够显示的(0,1)的范围内。二是对于特别亮的部分实现光晕的效果。其中曝光控制是HDR渲染的核心环节，光晕效果对表现高亮的像素起了重要的作用。这里先分别介绍两个步骤的原理和方法，再介绍如何实现一个完整的HDR渲染器。 在所有步骤开始之前，你必须已经通过某种方法得到了一个高动态范围的图像。高动态范围的图像每一个像素都由浮点型的R,G,B分量表示，这样每个分量都可以任意大。对于渲染器而言，这意味着一个浮点纹理。那么，如何将一个场景渲染到一个高动态范围的浮点纹理中呢？你可以为场景中的每个表面创建一张浮点格式的光照贴图，这张光照贴图的每个象素代表了表面上相应位置的光强。然后使用OpenGL的FBO（帧缓冲对象）将绑定了浮点光照贴图的场景渲染到一个同屏幕大小一致的浮点纹理中。 好的，先来看看所谓的曝光控制。这个步骤在HDR渲染中被称为Tone Mapping。翻译成中文即“调和映射”。Tone Mapping有很多具体的方法，每个方法都是一个从高动态范围到低范围的一个映射，我们把这些方法统称为 Tone Mapping Operator(TMO)，可见，TMO的好坏直接决定了图像的最终质量。计算当前要渲染的高动态范围图像的平均亮度，然后根据平均亮度确定一个曝光参数，然后使用这个曝光参数将图像正确地映射到屏幕能显示的颜色区域内。2. 非均匀矫正算法红外焦平面非均匀性校正算法主要分为基于定标的非均匀校正算法(如一点温度定标算法、二点温度定标算法、多点温度定标算法)和基于场景的自适应非均匀校正算法(如时域高通滤波(THPFC)算法、人工神经网络(ANNC)算法、恒定统计平均(Cs)校正算法等)。目前二点温度定标算法和多点温度定标算法是最为成熟的实用性算法，但是它需要周期性的对它维护，这给红外成像设备维护工作带来很多困难。而基于场景的非均匀校正算法不需要对其周期性的维护，所以人们对它产生了很大的兴趣，目前该算法以神经网络自适应算法为代表。1). 一点校正当热成像探测元的响应度为线性关系时，可以采用一点校正法来校正其响应的非均匀性。一点校正法就是在同一辐射条件下把各个热成像探测元的输出信号凡校正为一致，即在某一入射辐射下，把不同的热成像探测元输出信号凡校正为其平均信号。校正过程分为标定和补偿两步，具体方法是先用温度为几的均匀辐射黑体辐照探测器，得到此时每个探测元的响应输出可，求其平均值: 式中N为探测器面阵中探测元总的个数。然后用下式求出各单的校正因子a，。把各校正因子气存入相应的存储单元，这样就完成了不均匀性的标定。再对探测元的每个响应输出凡进行实时校正，即: 。将实际的探测元响应信号与各自的校正因子相乘，即完成非均匀性补偿。一点校正法仅能在一个定标点处把单元的输出信号校正一致，随着相对于这个定标点的偏移越大，由于探测器各探测元响应度的非一致性，校正误差也越大。2). 两点校正不仅对器件的增益系数做补偿，还对偏置系数进行了校正。3）. 多点定标分段线性校正这种算法与两点校正法相比，计算量大，并且由于存储多组校正系数，需要大容量存储器，在校正过程中还需根据背景温度的变化选择合适的校正系数，这增加了编程的困难。但它原理简单，且有成熟的理论，不存在稳定性问题，比较容易实现。综合考虑校正效果与实际条件，在目前情况这也是一种比较实用的算法。4). 时域高通滤波法该算法由Honeywen公司P.M.Narendra等人提出，要求探测元的增益是均匀的，而实际上这是不可能的。因此一般先对增益进行定标校正，再通过时域高通滤波来校正系统的偏置噪声。在获取的序列图像帧中，场景的信息是高频的，而固定图案噪声是低频的，通过低通滤波器估算出图像中的低频噪声，然后把含有噪声的图像帧减去估计出的低频噪声，从而获得高频的场景信息，达到非均匀矫正的目的。时域高通滤波算法的优点是:1.算法简单快速，可以实现实时校正，校正过程不需要定标，不影响系统正常的测量工作。对低频的非均匀性效果显著。2.在目标跟踪上，该算法很好地抑制了背景和噪声，突出了移动目标，具有很好的效果。缺点是:1.只进行了偏移的校正，要求系统具有很好的增益均匀性。2.该算法要求场景作随机运动，否则图像就会退化，出现伪像。3.抑制固定图案噪声同时也抑制了图像的低频分量，影响图像质量。5）.传统人工神经网络算法人工神经网络法是由美海军武器装备研究中心的D.A.Scribne:等人提出，能够完全不对FPA进行定标，其校正的原理是利用当前视场中的景象对每一个光敏元的增益和偏置系数进行连续修正。包含两个过程：隐含层计算某像素的邻域输出的平均值，并作为给定像素期望的理想输出，其作用是对增益和偏置系数进行自适应修正;校正层(NUC)用修正过的系数对像元的输出进行校正。其中隐含层采取何种自适应算法对神经网络的收敛速度和校正精度起着决定性的作用。可见，传统人工神经网络算法的优点是:不需要定标校准，可以连续更新增益与偏移的校正系数，而且不受探测单元噪声漂移的影响。其缺点是:1，算法计算量较大，很难实现实时校正，且由于结构复杂，在硬件上实现也有困难，采用了迭代运算，要保证算法的收敛性。2，与时域高通滤波算法类似，该算法也要求场景作随机运动，否则会引起图像退化，出现伪像。6）. 排序均值垂直滤波算法排序均值垂直滤波算法是一种即不需要定标而且能达到实时的校正算法。该算法能够有效地消除非均匀性带来的水平条纹，并且能够有效地保护边缘。另外该算法计算简单，容易在硬件上实现。但是该算法对非均匀噪声比较大的红外图像不能起很大的校正作用。3. 红外显示的优化技术从运算的范畴或“域”上进行分类，图像处理可分为空间域处理、时间域处理和频率域处理三大类。空间域处理是在原图像上直接进行数据运算。它又可分为在与像点邻域有关的空间域进行的局部运算和对图像作逐点运算的点运算，下面将要讨论的虚拟微扫描技术就是典型的空间域图像处理。时间域处理是根据图像在时间上相关性进行的处理，本文采用的自适应ZD一TDI算法即为典型的时间域处理的算法。频域处理是在图像的傅立叶变换域上进行修改，增强感兴趣的频率分量，然后将修改后的傅立叶变换值再作反傅立叶变换，得到增强的图像。从图像处理结构特点分类，图像增强处理的算法可分为逐点灰度处理、邻域处理(窗口处理)和统计处理