基于Retinex理论的彩色眼底图像增强方法研究 通信工程专业

第二章主要眼底图像增强方法彩色眼底图像增强对医学诊断具有重要的作用，目前主要的彩色眼底图像增强方法有：直方图均衡化、对比度受限自适应直方图均衡化以及Hessian矩阵增强方法。2.1直方图均衡化方法一般来说，图像对比度的可用较为常见的两种方法进行增强处理，分别为间接对比度增强方法是直方图拉伸方法和直方图均衡化(HistogramEqualization，简称HE)方法。对于直方图均衡化而言，图像灰度改变的是通过累积函数来实现的，以此达到增强对比度的效果。其基本的操作步骤的核心思路即，对原始图像的非均质化拉伸处理，使其像素值间距扩张，均匀化各灰度范围的像素量。这种方法也存在一些缺点：(1)增强后图像的灰度级会变少，部分细节会消失；(2)当输入图像的直方图有非常密集的部分时，增强后的图像的对比度会增强过度。通过直方图均衡化，图像的亮度可以更好地分布在直方图上，让图像更易于观察。用这种方法来增强图像局部的对比度就不会使图像整体的对比度产生影响，直方图均衡化通过有均衡亮度密集的区域来实现这种功能。直方图均衡化对增强背景太亮或者前景太暗的图像有很好的效果，尤其是增强X光图像中清晰度较差的骨骼结构以及曝光过度和曝光不足的图像中的细节信息。这种方法具有一个特殊优势是它的直观性和可逆操作性，若均衡化的函数是已知的，则可以构造出初始的直方图。但该方法的缺点也很明显，即必须对所有的数据进行分析，这就可能会增加背景的对比度并且降低有用信息的对比度。图像的直方图可以表现出图像像素值的分布规律。由于图像是由大量像素组建而成，因而可以将像素分布的直方图进行列表统计来对其特征进行分析研究。直方图对图像特征的提取和确定其相似度上都具有巨大的贡献，它能通过对不同区间的像素值分布特征进行整体上的调整，优化其灰度分度，进而达到增强图像的视觉感。直方图与图像清晰度的有如下关系：(1)亮度不足，即代表其在直方图中主要位于像素值较小区间；(2)亮度高，即表示其在直方图中主要位于像素较大区间；(3)灰度级随对比度的降低而降低，且中间水平的灰度级是主要信息的储存区；(4)灰度级随对比度的升高而升高，且主要信息呈均匀化分布。直方图均衡化的基本思想是使输入图像的直方图分布变的均匀，这样就会使图像的灰度级增加，从而可达到图像对比度整体增强的效果。假设未处理前的图像在二维坐标系当中，令其灰度值在(x,y)处为f，处理后其灰度值为g，则可认为当f转变为g时，就实现了对图像效果的增强。综上，可将其转换函数表示为：g=EQ(f)，这个映射函数EQ(f)必须满足两个条件(其中L为图像的灰度级数)：(1)为使输入图像的灰度排列不被打乱，在区间0≤f≤L-1内，EQ(f)必为单调递增函数。(2)为使转换前后灰度不发生动态变化，当0≤f≤L-1时，必有0≤g≤L-1。HE方法如下：(1)设f、g分别为输入图像和增强处理后的图像。HE方法第一步如图2-1所示。计算输入图像f的灰度直方图，设为h。h为一个256维的向量。图2-1HE方法第一步(2)HE方法第二步如图2-2所示。求出输入图像f的像素总数：(2-1)式(2-1)(m，n分别为图像的长和宽)不同灰度级范围内的像素量占整个图像的比例可表示为：(2-2)图2-2HE方法第二步(3)HE方法第三步如图2-3所示。计算图像的灰度级的累计分布hp：(2-3)图2-3HE方法第三步(4)HE方法第四步如图2-4所示。求出增强图像g的灰度值：(2-4)图2-4HE方法第四步图2-5展示了直方图均衡化的结果图，上述方法处理前后的直方图对比。从图中可以发现，前后的直方图有很大的变化，增强效果非常明显，清晰程度与对比度增强。直方图均衡化方法是一种十分有效的增强方法，它对于景物中轮廓背景鲜明，即亮度或暗度明显的图像非常有效果。但是这种方法对所处理的图像的信息不做区分，这会导致增加复杂背景的信息，并且对需要增强的部分也有影响，会降低其对比度。将直方图均衡化方法应用于图像去雾问题，虽然可以取得一定的增强效果，但是去雾后的整体视觉效果并不算理想。(a)(b)(c)(d)图2-5直方图均衡化前后及直方图彩色眼底图像及其直方图均衡化处理结果示例如图2-6所示。(a)(b)图2-6HE增强(a)输入图像；(b)HE方法增强结果2.2对比度受限自适应直方图均衡化方法图像增强技术可具体为时域和频域。时域增强往往被应用于提高图像的对比度且改进其灰度级，其原理是在灰度映射转化的基础上，对像素进行直接性地处理；频域增强的作用是以强化图像的低、高频来达到改善图像的平滑性和边缘为主，其原理是通过傅里叶转换的方式提升兴趣区的频率分量。图像灰度分布不均的问题对于图像处理技术而言是一个影响较大的问题，为了能解决这个问题，基于时域增强理论，采用映射函数当中的非线性函数，通过转化后使其像素分布均匀。直方图均衡化方法通过不同的灰度分布方案使转变为灰度值均匀化分布的图像，以眼底图为例，利用直方图提取灰度映射曲线，再对其进行转换，从而提升亮度。但该方法仍有瑕疵，即无法增强其对比度，且在此过程当中，一并将噪声信号也同时放大了。以AHE(AdaptiveHistogtamEqualization)为例，该方法将图像利用网格线切割为数量众多的小格子区域，并对每一个格子进行均衡化处理。但该方法会导致图像失真，且其微噪也会因此而放大。因此，这里提出了对比度受限制自适应直方图(ContrastlimitedAdaptiveHistogtamEqualization，CLAHE)，即对每一个划分单元进行对比度的限制处理，这也是该方法与传统的AHE的不同之处[22]。CLAHE通过限制局部直方图的高度来限制噪声放大和局部对比度增强。该方法将图像划分为多个子区域；然后对每个子区域的直方图进行分类。再对每个子区域分别进行直方图均衡化，最后通过对每个像素进行插值运算来获得变换后的灰度值，以此实现对比度受限自适应直方图均衡化图像增强。CLAHE方法原理：CLAHE与AHE不同的地方是增加对比度限幅，这就可以克服AHE的过度放大噪声的问题；(1)设置M×M大小的正方形滑动窗口，局部映射函数可表示为：(2-5)(2)滑动窗口局部直方图的累积分布函数(cumulativedistributionfunction)：(2-6)从上式可看出，控制器直方图高度，就能直接对映射函数的斜率进行限制，以此控制对比度强度；(3)令限定的最大斜率为Smax，可得到直方图最大高度为：(2-7)(2-8)(4)对高度大于Hmax的直方图应截去多余的部分：(2-9)实际处理中，设定阈值T对直方图进行截断划分，该阈值不等于Hmax，将其截掉的部分在整体的灰阶范围内分布均匀，达到总面积不变的情况下提升高度。(5)最后改进的直方图为：(2-10)综上所述，改变最大的映射函数斜率Smax及相应的最大直方图高度Hmax，可获得不同增强效果的图像。CLAHE方法处理结果如图2-7所示。(a)(b)图2-7CLAHE方法(a)CLAHE处理前的直方图；(b)CLAHE处理后的直方图如上所述的处理方法，据综合分析对比后，发现无论是否有无对比度的限制处理，都必须要对任一像素去进行计算其直方图和变换函数，这就导致该方法极其耗时。而插值方法大大降低了上述方法的运算速度，并且增强的图像的质量并不会下降。插值方法如图2-8所示。首先，将图像均匀分成多分相同大小的矩形，如下图的右侧部分所示。然后计算一个矩形的直方图和对应的变换函数。对于其他像素而言，可通过其周围矩形中的变换函数进行插值处理得到。其中，采用双线性插值区域为蓝色矩形部分，采用线性插值区域为浅绿色矩形部分，而对于浅红色的矩形，可直接利用其变换函数。图2-8插值方法按照这种过程就可以大大地降低变换函数所需的计算次数，这种方法只增加了部分双线性插值的计算。采用CLAHE方法对彩色眼底图像进行增强，结果示例如图2-9所示，彩色眼底图像的饱和度更好，血管纹路更清晰。(a)(b)图2-9CLAHE方法增强(a)输入图像；(b)对比度受限制自适应直方图处理2.3Hessian矩阵增强方法Hessian矩阵增强的核心是采用求解高阶微分的方式来对图像特征进行提取。它认为，最大模量的特征向量和图像特征在方向性上具有垂直关系。此外，它可由具有线正交的较大学对峙的二阶导和沿线的具有小绝对值的二阶导表示出由高斯函数构造的线性函数，这即是二维Hessian的几何意义。Hessian矩阵已经被应用于多种检测和分析，并且还被用于分割和重建医学图像中的曲线结构。关于判断图像中出现的点是否为角点，即像素密集程度激烈变化的点，可利用Hessian矩阵的特征值来进行判断。Hessian矩阵可表示为：(2-11)X方向上的二阶偏微分：(2-12)Y方向上的二阶偏微分：(2-13)X，Y方向上的混合偏微分：(2-14)对于一幅图像I而言，它只有x，y两个方向，所以其Hessian矩阵是一个二元矩阵，对应的有：(2-15)分别对图像卷积运算，然后构成图像Hessian矩阵：(2-16)(2-17)2.4本章小结为弥补直方图均衡化会使灰度级降低，丢失部分图像细节等缺陷，可利用CLAHE方法进行处理。该方法极大程度上提高了对比度，但仍然有着缺点，即同时放大了噪声，且无法精准识别病灶区域。图像中亮、暗及其余细节部分的提取，可利用数学形态学滤波，但该方法处理对象仅为灰度图，对彩色眼底图像增强有限。然而，想要实现对视网膜图像的全方位增强，利用Hessian矩阵显示是不适用的。首先，传统的眼底图增强仅仅是对血管信息的强化，鲜有能够同时对诸如视觉神经、病灶等全方位的信息进行全面强化；此外，传统的增强方法绝大多数的增强原理是对彩色图像对灰度图的转化，极其难以使得处理后的图像在视觉上的保真性。因此，必须考虑多因素的影响条件，以达到突出图像细节的基础上，还能对其动态范围及相关色彩性质加以完善。

第三章基于Retinex理论的方法彩色眼底图像增强在医学领域具有重要的作用，研究发现可以采用基于Retinex理论的方法来对彩色眼底图像进行增强，例如单尺度Retinex方法、多尺度Retinex方法、带色彩恢复的多尺度Retinex方法以及基于迭代计算的Retinex方法。3.1单尺度Retinex方法(SSR)单尺度Retinex方法和多尺度Retinex方法会造成颜色细节丢失；带色彩恢复的多尺度Retinex方法与MSR相比引入色彩恢复因子，这虽然起到了抑制光晕的作用，但是会导致图像颜色失真。而且这种方法虽然处理彩色眼底图像效果较好，但是计算量却非常大，在处理上需要耗费较多时间，不能达到医学上的实时性需求。SSR和MSR方法虽然效率高，但往往由于图像本身或者处理时对尺度的把控不合理，使得图像增强后对比度低。为了克服以上的各种问题，众多学者不断进行深入的研究。如今，Retinex方法己经越来越丰富，越来越完善。如图3-1所示，其Retinex理论可认为是入射光经物体反射后形成反射光。图3-1Retinex理论示意图光线经物体反射后形成的反射光被人眼所接收，经大脑处理后形成图像，用公式可表示为：(3-1)式(3-1)中，L(x,y)表示入射光，决定像素的动态范围；R(x,y)表示物体的反射光，表示为图像的本性，即内在属性；S(x,y)为人眼所能接收到的经反射后的图像。Retinex最核心的思想即消除或降低源于入射光所造成的影响，以此来保留物体本质的反射光图像。其公式为：(3-2)式(3-2)中：i=1，2，3分别代表彩色图像的三原色R，G，B；*表示卷积运算；G(x,y)是高斯环绕函数，可表示为：(3-3)式(3-3)中：c表示高斯环绕函数的尺度参数；K为归一化因子。高斯环绕函数需满足下式的成立：(3-4)Retinex方法的基本流程如图3-2所示。图3-2Retinex方法的基本流程SSR方法的具体实现步骤：(1)读取输入图像数据S(x,y)，对其数据进行类型变换，将整型变换为double型；(2)确定尺度c的大小，并根据式(3-4)确定归一化因子K的取值；(3)根据式(3-2)来获得图像R(x,y)；(4)对R(x,y)进行线性校正处理(因为R(x,y)的范围不在0-255内)，校正后的图像即为方法增强图像。彩色眼底图像的SSR处理示例图像如图3-3所示。(b)图3-3彩色眼底图像的SSR处理图像(a)输入图像；(b)SSR处理后图像3.2多尺度Retinex方法(MSR)MSR是在SSR的基础上发展而来的。在SSR图像增强中，由于单尺度对图像增强影响太大，经其处理后的动态压缩性、保真性和细节均无法达到最优化。为了消除这种增强方式带来的负面影响，可结合不同尺度下经SSR处理所得结果，即采用MSR方法，这样就能使图像在颜色和细节信息方面达到平衡。MSR方法是经SSR进行加权处理后的结果，其可表示为：(3-5)式(3-5)中，为MSR在第i个颜色通道的输出；Wn为不同尺度的加权求和系数；N为选择的尺度个数。在选择尺度时，需要选择一个小尺度、一个中尺度和一个大尺度，用来保证实验结果能有较好的增强效果。而选择尺度有如下规律：(1)选择图像大小的1%~5%，使实验结果能够得到很好的边缘细节，作为小尺度；(2)选择图像大小的10%~15%，使实验结果能够得到边缘细节和色彩，作为中尺度；(3)选择图像大小的30%~50%，使实验结果能够得到比较均衡的色彩，作为大尺度。多尺度Retinex的基本步骤如下：(1)初始化处理。将S(x,y)分解为R、G、B，转化其数据类型；(2)将输入的数据转换至对数域，由于对数的特殊性，即无法取0作为其变量，则可在原有数据基础上加上一个修正值，一般可取为1；(3)选择不同尺寸的参数，根据式3-4来确定c值；再根据式3-3计算高斯环绕函数，并对原始对象进行卷积计算，得到滤波处理后的图像I(x,y)；(4)进行加权求和计算，然后经过对数处理；(5)计算步骤(4)与原始图像之间的相对关系，可理解为是二者对数域当中的数值相减；(6)将图像从对数域转换到实数域；(7)通过gain/offset对图像进一步调整并作线性拉伸，将R、G、B三色图像重叠后再进行输出。彩色眼底图像的MSR处理示例如图3-4所示。(a)(b)图3-4彩色眼底图像的MSR处理图像(a)输入图像；(b)MSR处理后图像3.3带色彩恢复的多尺度Retinex方法(MSRCR)尽管对于灰度图像的处理，MSR方法表现出了较好的效果，但对于彩色图像而言却不尽人意，往往会出现失真、发灰和泛白等现象。在之前的增强过程中，图像可能在处理时增加了噪声，使图像的局部细节颜色失真，失去了彩色眼底图像真正的颜色，整体增强效果较差。为了克服MSR对彩色图像增强的不足，MSRCR应运而生。MSRCR方法利用色彩恢复因子c，调整输入的彩色眼底图像中三个颜色通道之间的比例关系，把较暗区域的信息增强，达到了消除图像颜色失真的缺陷。处理后的图像局部对比度提高，亮度与真实场景相似，在人们视觉感知下，图像显得更加逼真。但是MSRCR方法处理图像后，彩色眼底图像像素值一般会出现负值。Jobson等提出了一个利用色彩恢复函数与多尺度MSR的输出结果相乘的方法，其可表示为：(3-6)式(3-6)中Ci(x,y)称为彩色恢复函数，可以表示为：(3-7)式(3-7)中，β为增益常数；α为非线性强度控制因子。彩色眼底图像的MSRCR处理示例如图3-5所示。(a)(b)图3-5彩色眼底图像的MSRCR处理图像(a)输入图像；(b)MSRCR处理图像3.4基于迭代计算的Retinex方法基于迭代计算的Retinex方法有Frankle-McCannRetinex方法和McCann99Retinex方法。1983年A.Frankle和J.McCann发明了Frankle-McCannRetinex方法，简称McCannRetinex方法，这种方法在采样上精度更高，选择的是一条螺旋形结构的迭代路径，这种路径选择包含了整个图像的全局明暗关系，Frankle-McCannRetinex方法路径选择图如图3-6所示。由图3-6可知，坐标零点附近的选取点数较多，这是由于零点附近的点与中心点的相关性较远处相比，更容易获得精确的光照估计。图3-6Frankle-McCannRetinex方法路径选择图McCannRetinex方法首先利用预先规定的距离D分离首先处理的像素，然后顺时针旋转比较方向90度，则D为初始的一半，如此反复直至到单位像素的距离。其迭代步数是人为规定的。在对彩色眼底图像处理时的具体步骤如下：将R、G、B三个通道进行对数化处理，将数据类型转化为double；(2)确定shift变量，进行路径比较；(3)重新对shift赋值，即shift=1/2shift；(4)重复(2)、(3)步骤，直到shift<1；(5)设定迭代次数n，重复(2)、(3)和(4)步骤n次；(6)将输入图像有对数域转化到实数域，显示图像。Funt等人提出McCann99Retinex方法，这种方法是多分辨率的，它利用金字塔模型来对图像进行描述，通过从顶部向下逐渐迭代，以此来达到效果强化，但这种方式对