（电路与系统专业论文）基于bayer格式的去马赛克算法研究及硬件实现.pdf

浙江大学硕士学位论文 摘要 摘要 去马赛克操作是图像信号处理流水线中的重要环节，广泛应用于图像采集装 置中。随着半导体工艺的不断进步，芯片内部所能实现的算法功能日益复杂，以 往低硬件开销、低性能的去马赛克操作已不能满足消费者要求，高性能算法因开 销过大不适于硬件化。本文提出一种低开销、高性能的去马赛克算法，并设计了 硬件架构。 提出一种使用边缘方向图的去马赛克算法，其核心在于为插值重建产生准确 的初始方向图。首先，由改进的边缘检测算子产生初始的边缘方向图，并使用十 字形中值滤波器对初始的边缘方向图进行滤波，最大程度地去除初始方向图中孤 立的错误插值方向。其次，基于滤波后的边缘方向图，运用统计分析以确定细致 纹理及边界交界处的插值方向。最终，对在准确的边缘方向图的指导下完成重建 插值的图像进行细化以消除插值人工痕迹。实验证明，本算法不仅颜色峰值信噪 比( c o l o rp e a ks i g n a l t o n o i s er a t i o ，c p s n r ) 高于其他几种经典及近期算 法，在边缘细致区域依然保持了很高的恢复质量，而且保持了较低的计算量，在 性能和开销之间取得了很好的平衡。 设计了上述算法的硬件架构，引入绿色缓存机制解决三色通道的数据依赖问 题。通过时分复用计算模块，复用先前计算结果，将绿色插值引擎部分的硬件开 销减少了7 0 ，同时保证了每个时钟周期1 个全彩色像素点的吞吐率。 关键词：b a y e r ，去马赛克，颜色峰值信噪比，f p g a 浙江大学硕士学位论文 a b t r a c t a b s t r a c t d e m o s a i c k i n g ，o n eo f t h em o s ti r n p o n a n tp a r t si nt l l ei m a g es i g n a lp r o c e s s i n gp i p e l i l l e ， i s w i d e l yu s e d i n i m a g ea c q u i s i t i o ns y s t e m s w i t l l t 1 1 e d e v e l o p m e n t o ft h e s e m i c o n d u c t o r m a i l u f a c t l _ l r i n gt e c h n o l o g y ，k g h e rc o n l p l e x 时a l g o r i t l 蚰s c a i lb e i m p l e m e n t e do nc 1 1 i p t h ep a s tl o wc o m p l e x i 够a n d1 0 wp e r f o m a n c ed e m o s a i c b n g a l g o r i m mc a nn o tm e e tc o n s u i n e r s r e q u i r e m e n t o nt 1 1 eo t h e rh a n d ，k g hp e r f o n l l a n c e a l g o r i t l l i i l sc o s tt o om u c hr e s o u r s et oi m p l e m e n t i n gi i lh a r d w a r e i nn l i sp a p e r ，al o w c o s ta n dh i g hp e r f o r 】：1 1 a n c ed e m o s a i c k i i l ga l g o r i t l l m si sp r o p o s e d t h ec o n e s p o n d i n g h a r d w a r ei sd e s i g n e d i nt h ep r o p o s e dm e t l l o d ，i i n p r o v e dd i r e c t i o nd e t e c t o r sa r ef i r s t l yd e r i v e d 行o mt l l ec r ( c o l o rf i l t e ra r r a y ) i n f o m a t i o nt op r o d u c ea ni n i t i a le d g eo r i e n t a t i o nm 印t h e nt 1 1 e i i l i t i a le d g eo r i e m a t i o nm a pi sp a l s s e dt 1 i 。o u g hac r o s s - s h a p em e d i a i lf i l t e rt or e m o v e m o s ti s o l a t e d 、r o n gd i r e c t i o l l s as t a t i s t i c a la n a l y s i si sa l s op e 墒n n e di nm ef i l t e r e d e d g eo r i e n t a t i o nm a pt od e c i d et h ei n t e 印o l a t i o nd i r e c t i o n sf o rp i x e l sl o c a t e si n t 1 1 e r e g i o n so ff i n et e x t u r e o ra tt h eb o r d e r so fa 由a c e n te d g e s f u r 吐l e r ，ar e f i n es t e pi s i n c l u d e dt or e d u c et l l ei n t e 印o l a t i o nc o l o ra r t i f a c t s e 1 叩e r i m e n t a lr e s u l t sc o 州 i n l lt h a t t h ep r o p o s e da l g o r i t l l mp e r f o n n sb e t t e rc o m p a r e dt os e v e r a lc l a s s i ca n dc o n c u r r e n t t e c h l l i q u e s ，b o t l ls u b j e c t i v e l ya n do b j e c t i v e l y t h ep r o p o s e dm e t h o dp r o v i d e sag o o d c o m p r o i l l i s eb e t w e e ni m a g eq u a l i 够a n dc o m p u t a t i o n a lc o s t h a r d w a r ef o rt h ep r o p o s e da l g o r i t l u l li sd e s i g n e d g r e e nb u f ! f 研i su s e dt os o l v et l l e i n t e r c 0 1 0 rd a t ad e p e n d e n tp r o b l e m t h eh 鲫m 唧ec o s to fg r e e ni n t e 印o l a t i o ne n g i n e i sr e d u c e db y7 0 t h r o u g hr e u s i n gc o m p u t i n gc o r e sa n df o m e rc o m p u t i n gr e s u l t s t h et 1 1 r o u g h p u tc a i la c l l i e v e1f u l l - r e s 0 1 u t i o np i x e l c y c l e k e yw o r d s ：b a y e r ，d 锄o s a i c 姑n g ，c p s n r ，f p g a 浙江大学硕士学位论文 致谢 致谢 浙江大学硕士学习即将结束，两年多的工作生活带给了自己太多太多的收获， 理论的充实，技能的提升以及对工作、对生活更加深刻的思考。藉此论文完成之 际，衷心的向在硕士研究生阶段指导和培养我的老师、关心爱护我的家人、朋友 们致以最诚挚的谢意。 首先，我想对我的导师竺红卫老师说一声感谢。竺老师学识广博，思维严谨、 待人随和、工作忘我。在学习上谆谆引导，生活上给予帮助，使得我能够在两年 多的时间里安心扎根于学习和工作。 其次，特别感谢我的合作导师潘赞副教授。两年多来，关于学习问题，与潘 老师进行了无数次的交流，每一次都收获良多。他以丰富的经验和负责的态度悉 心地指导我的科研工作，从选题、设计到论文完成，潘老师给予了我无数的宝贵 建议。在求职期间，潘老师的观点和建议帮助我增强信心，明确方向。 再次，要衷心感谢丁勇老师在学习和生活中给予的指导。在学习上，丁老师 总是耐心阐述，循循善诱。在生活中，传述以宝贵经验，让我受益匪浅。 两年多的硕士生涯，培养了与超大所五楼同学们的深深情意。感谢王一木师 兄、刘钧石、胡婧瑾、张稳稳、张东、欧阳冬生和项群良同学，在一起学习、生 活、娱乐的点点滴滴是我研究生阶段美好的回忆。 最后，感谢我的父母，你们给了我太多的爱与关怀，希望与你们分享我的成 功与喜悦。 丁文 2 0 1 3 年1 月于杭州 浙江大学硕士学位论文 绪论 1 绪论 在科技曰新月异的今天，人们对于高质量视频和图像的强大需求促进了图像 采集技术和图像处理技术的发展。相机作为最广泛而普遍使用的图像采集装置系 统，其中涉及的光学、机械和电子等技术一直是学术界和工业界研究的热点。从 二十世纪九十年代数码相机被发明开始，到最近几年c m o s ( c o m p l e m e n t 哪 m e t a lo x i d es e m i c o n d u c t o r ) 、c c d ( c h a r g e c o u p l e dd e v i c e ) 摄像头在平板、手 机、笔记本等消费类电子产品中的爆炸式增长应用，数码相机和摄像头中的图像 处理流水线技术成为了近几年的研究热点，图像采集系统中高性能的图像处理技 术成为了市场上各大公司的宝贵技术优势。 1 1 课题背景与意义 如今，大部分数码相机和消费电子产品均使用c m o s 或c c d 摄像头进行图 像的采集，c m o s 和c c d 感光阵列输出的光学影像信号为模拟信号，经过a d 转换为数字信号保存下来，并对保存下来的原始图像数据进行大量的后处理操作， 例如黑色补偿、光照补偿、坏点修复和去除、白平衡、伽玛矫正、去马赛克颜色 插值、颜色空间转换、滤波降噪、图像增强和压缩等等操作。各种后处理操作的 先后顺序可以进行调整，去马赛克颜色插值作为后处理流水线前段的重要操作， 其插值效果的好坏将影响后续的一系列操作。 在c m o s 感光阵列中，每一个c m o s 感光单元包含一个光电探测器和一个 放大器，可以测量出该点处的光的强度，而c c d 感光单元则依靠光线照射硅片 时产生的电子空穴对来检测光的强度。在彩色数码相机中，为了捕捉到一幅全彩 色的图像，需要3 块感光阵列，每块感光阵列用来捕获红、绿和蓝中的一种颜色。 放置3 块感光阵列的方式有几种，例如可将3 块感光阵列放置在同一平面上，并 将摄入的光线通过分光棱镜进行基色分离，然后将分离得到的各个基色光投射到 不同的感光阵列上，从而捕捉全彩色图像。这种获得彩色图像的方式需要较大存 储空间，成本较高，装置调配难度较高，捕捉到的不同波长的光分量之间存在相 位误差。另一种方法将3 块感光阵列在垂直方向堆叠起来，但是由于光线需要穿 浙江大学硕士学位论文绪论 越3 层阵列，曝光时间会大大增强【l j 。数字摄像头中最广泛使用的技巧是将一块 彩色滤波阵列c f a ( c o l o rf i l t e r 黜r a y ) 覆盖在单层感光阵列之上进行基色分离， 使得感光阵列上相邻的感光单元捕获不同颜色的光( 红、绿、蓝中的一种) ，从 而获得特定格式的图像。每个像素点丢失的其他两种颜色分量需要通过后期插值 来重建以获得完整的全彩色图像，该插值重建的过程就叫做去马赛克 ( d e m o s a i c l ( i n g ) 。b a y e r 阵列是最广泛使用的一种常见彩色滤波阵列【2 1 ，其捕获 的图像格式如图1 1 所示，绿色像素点的数量是红色和蓝色像素点的两倍。 1 2 国内外研究现状 图1 1b a y e r 彩色滤波阵列 国内外对于去马赛克的研究已经走过了二十余年，大量的方法已经被提出， 大致可被分为边缘方向性插值算法、基于频域的算法、基于小波理论的算法和非 启发式算法等等 34 1 。 边缘方向性插值算法是去马赛克方法中最广泛使用的一类，由早期古典的双 线性插值逐步发展而来。早期古典的双线性插值算法通过使用临近的像素点进行 平均的方法重建缺失的颜色分量，其插值算法虽然简单，但其无方向性的平均特 性使得重建图像的边缘模糊，由于仅仅在每个颜色通道内独立恢复丢失颜色，没 有使用颜色通道间的相关性，输出的图像质量较低。1 9 8 7 年c o k 基于双线性插 值，探索了不同颜色通道之间的相关性，提出了色比色差定律，即在图像的平滑 部分，不同像素点处的刚g ( b g ) 是连续的，相等的【5 1 。c o k 提出的基于色比 色差定律的插值方法虽然结合了不同颜色通道的相关性，但仍然没有考虑边缘信 息。亚当斯和汉密尔顿在文献 6 1 中提出了一种沿水平或垂直方向插值重建图像 2 浙江大学硕士学位论文绪论 的方法，利用亮度的梯度和色度信息的二阶微分来检测边缘的方向，并进而沿边 缘的方向使用基于色差定律的插值公式，得到了良好的重建图片，相似的方向性 的插值思想在大量的方法中都得到了应用 刀。方向性插值的另一种思路是通过对 相邻相似像素点进行加权平均来重建图像，基于梯度等边缘算子的计算给予不同 位置的待加权点不同的系数以保留图像的边缘信息【8 - l0 1 。简单的边缘方向性插值 相对于早期的古典算法更好地保留了边缘信息，改善了图像质量，但其在边缘密 集、纹理细致的区域的恢复质量较差，边缘方向算子容易判断错误，产生错误的 插值颜色。近期的加权平均算法【1 1 j 3 】通过极其复杂的权重计算，能够在边缘密集 和纹理细致区域恢复高质量图片，但其计算复杂度也大大提高，需要大量的平方 根和乘法运算。 上述边缘方向性插值首先通过边缘算子判断插值方向，进而沿确定的方向进 行插值，是一种“先验”的方法，即首先校验方向，然后再插值。基于相似的方向 性插值思想，一种有趣的“后验”方法被大量提出和运用。其方法框架为首先从水 平和垂直两个方向进行插值，得到两幅全彩色图片i h 和i v 。其绿色分量的重建 通过水平和垂直插值计算分别得到g h ，g v ；对于图片i h ，红色和蓝色的重建 基于r g h 、b g h 色差空间的双线性插值；对于图片i v ，红色和蓝色的重建基 于r g v ，b g v 色差空间的双线性插值。其次，对于每个像素点，根据某种自 定义标准，选出更好的候选值。文献 1 4 通过在c i e l a b 颜色空间探索图像的局 部同质性来选择候选值，体现更好局部同质性的插值结果被选出。文献 1 5 根据 自然图像中存在的颜色梯度的相关性来选择后选值，具有更好颜色梯度相关性的 候选值被选出。与文献 1 4 - 1 5 不同，文献 1 6 提出一种更为简便的“后验”算法， 无需得到两幅全彩色图像，仅需从两个方向计算绿色分量的候选值，并根据自然 图像中，色差空间沿边缘方向更加平滑，即色差的梯度沿边缘方向更小这一标准 来选择绿色分量的插值结果，红色和蓝色的重建基于选择出的绿色分量，取得了 较好的恢复质量。 基于对b a v e r 图像的频域分析，学术界提出了很多去马赛克方法。经过c f a 滤波后得到的b a v e r 图像可以看成由原始全彩色图像中的红色、绿色和蓝色通道 分别经过相应的采样模板采样后得到的阵列之和，即b a v e r 图像中的红、绿和蓝 分量的频谱由原始全彩色图像中的红、绿和蓝分量的频普调制得到。所以可通过 浙江大学硕士学位论文绪论 分析b a y e r 图像中红、绿和蓝三分量在频域的分布情况，反向滤波出原始的红、 绿和蓝色分量。文献【1 7 1 9 针对频域的分析，提出了高性能的滤波器，得到了较 好的重建质量。 基于小波框架，学术界提出了许多方法探寻不同颜色分量细节之间的联系。 文献 2 0 】首先进行一次简单的去马赛克操作，重建出初始的绿色分量，随后使用 绿色分量的小波系数修正其他颜色分量的系数。文献 2 1 同样进行一次简单的去 马赛克操作，随后进行小波分解，使用该点的采样颜色的高频分量替换重建出的 其他两种颜色的高频分量。文献 2 2 则基于离散小波域的层间相关性，对插值重 建颜色分量的高频部分进行细化。 与上述的启发式的算法不同，文献 2 3 作为一种非启发式的算法，将b a y e r 图像的插值过程数学化，并将该重建过程定义为数学上的求解最优解问题，通过 在颜色空间中的交替投影来解决问题。该算法重建的图像质量较好，经常被作为 基准与其他算法进行比较，但其重建过程需要几百次的迭代操作，计算的开销非 常大。 1 3 本文的研究内容及创新点 在上述的各类算法中，最为广泛应用的为边缘方向性插值算法。加权系数算 法，“后验”算法、基于频域的算法以及交替投影等算法可以达到较好的性能，但 其代价为较大的计算开销，特别是上述算法中会设计硬件开销较大的乘法操作、 平方操作等，并不适合硬件化实现。简单的先验的边缘方向性插值算法虽然具有 较低的计算开销，但是其重建的图像质量不高，特别是在边缘密集或纹理细致的 区域容易产生错误颜色。在早期，由于硬件开销问题，复杂的高性能去马赛克算 法无法硬件化在芯片之中。随着半导体工艺的不断进步，现有芯片逻辑电路所包 含的功能将越来越强大，消费者对图像质量要求在逐步提高，过去简单的去马赛 克方法已经不能满足需求。针对上述现状及问题，本文提出一种低开销高性能的 去马赛克方法，具体工作包括以下几个方面： ( 1 ) 基于边缘方向性算法，分析现存边缘算子在b a v e r 图像的边缘密集和 纹理细致区域出错的原因，提出了改进的边缘检测算子，充分利用5 x 5 邻域内的 b a v e r 数据，探索三种颜色分量之间的相关性，提高边缘检测算子的准确性。根 4 浙江大学硕士学位论文 绪论 据改进的边缘检测算子为去马赛克图像产生水平边缘方向图h 和垂直边缘方向 图v ，使用十字形中值滤波器对初始的边缘方向图进行滤波，更好的保存水平和 垂直方向的边缘信息，最大程度的去除初始方向图中孤立的错误插值方向。其次， 基于滤波后的边缘方向图，运用统计分析以确定细致纹理及边缘交界处的插值方 向，产生最终的水平和垂直边缘方向图。绿色插值重建基于最终的方向图先行进 行，红色和蓝色分量的重建利用已重建好的绿色分量，利用了不同颜色通道的相 关性，产生更好的重建效果。提出一种针对去马赛克后图像的细化方法，基于不 同颜色通道之间高频分量的相关性，细化去马赛克后图像的像素值。 ( 2 ) 针对上述提出的去马赛克算法，设计与之相对应的硬件系统。与经典 的双线性插值等红、绿和蓝三通道独立插值的算法不同，本文提出的算法在重建 红色和蓝色的过程中需要依赖已经重建的绿色分量，在时序上有依赖关系。前者 类型的算法可通过硬件并行化执行，控制简单。本文的算法硬件架构设计支持时 间上的前后数据依赖，包括的主要部分如下：基于洲的b a y e r 行缓存及其 1 1 x 1 2 抓取窗口，3 x 4 窗口f i f 0 、绿色插值引擎、基于r a m 的绿色行缓存及其 3 x 2 抓取窗口、蓝色红色插值引擎。其中绿色插值引擎和蓝色红色插值引擎采用 流水线结构，在时域上复用加法器等逻辑阵列，降低硬件开销。本文所设计的去 马赛克模块支持来自c m o s 或c c d 阵列的光栅化b a v e r 数据流，由于本模块包 含行缓存阵列，可作为独立的i p ，在不使用其他存储的情况下进行流水线化去 马赛克操作。倘若将本模块嵌入图像信号处理器i s p ( i m a g es i g n a lp r o c e s s o r ) 内 部，作为i s p 处理流水线一部分，则行缓存存储可去掉，使用i s p 模块的存储即 可，从而减少开销，灵活应用。 1 4 本文的内容及组织 本文总共包含五个章节。除本章外，后续章节的内容组织如下： 第二章概述了去马赛克算法的基本理论，详细介绍几种常见的边缘方向性去 马赛克算法及优越点。进而结合插值重建后的图片介绍去马赛克过程中容易出现 的各种插值问题。 第三章详细深入的介绍了本文所提出的低开销高性能的去马赛克算法，以及 本算法在2 4 张柯达图片上的恢复效果。从客观指标和主观视觉效果上，将本算 浙江大学硕士学位论文 绪论 法与其他几种经典算法、当前算法进行比较。最后分析了本文算法的计算开销， 并与其他算法进行了比较。 第四章详细介绍了针对上一章算法所提出的硬件架构设计，涉及模块划分、 不同模块之间的时序约束关系，模块内部的逻辑复用等内容。 第五章对全文的内容进行了总结，并对下一步的研究方向进行了展望。 浙江大学硕士学位论文 去马赛克算法与原理 2 去马赛克算法与原理 外界的景物经过光棱镜照射在表面上覆盖了一层彩色滤波阵列c f a 的单层 c m o s 或c c d 感光阵列上，经过a d 转换后输出的图像为对应的c f a 模式的 图像，即马赛克化的图像。该图像的每个像素仅仅包含一种颜色分量，丢失的其 他两种颜色需要通过去马赛克操作恢复，以得到全彩色图像。去马赛克操作的实 质即为数字图像的插值过程，整个过程如图2 1 所示。 峙 赛 宪 阁 跨 恢复图片 图2 1 去马赛克过程 除了广泛使用的b a y e r 模式的彩色滤波阵列之外，仍存在着大量的其他种类 的彩色滤波阵列，如图2 2 所示。根据人类视觉系统理论，人眼对于特定波长的 可见光较为敏感( 大约5 5 0 姗左右) ，在各种c f a 中，对于相对应波长的颜色 分量的采样频率较高，通常为绿色分量，并称此高采样频率分量为亮度信号。采 样频率较低的颜色分量被称为色度信号，通常为红色和蓝色、青色和黄色。 i 一一一一一一一一一。l 一。一 i 一一一。一i 一一：一一j 一一i l 一一一一一一一一一a 睡主一盖薹舅一。i 一j j l _ j j 一。一 l - 一一一童曼一。* 一一i 一一j 阻主- ：立一：j l 。一一；薯一j 一鲷瑟叫 塞笪笪蔓童笪- ：曼舞一一圈一。i 一蓊| d 图2 2r g b c f a s ( a ) b a y e rc f a 【2 ( b ) y a m a n a k ac f a 【2 4 ( c ) l u k a ca n dp l a t a n i o t i sc f a 吼( d ) m o d m e db a y e rc f a 【2 6 】 7 浙江大学硕士学位论文 去马赛克算法与原理 上图展示了4 种截然不同的彩色滤波阵列，虽然不同的c f a 阵列的去马赛 克算法的细节有所不同，但其基本思想和机制都是相同的。为了更好的阐述本文 第三章描述的新型的去马赛克算法及其灵感的来源，本章将有选择地介绍几种常 见的边缘方向性插值算法，并对这些算法的优缺点进行对比，最后介绍去马赛克 算法可能带来的各种常见问题。 2 1 常见的插值算法 2 1 1 双线性插值算法 除了最临近插值算法以外，双线性插值算法作为最经典、最基本的算法在早 期硬件中得到应用，是理解其他算法的基础。由于恢复每个采样处丢失的其他两 种颜色需要使用该点周围的像素点，图2 3 给出了分别以红色、蓝色和绿色为中 心点的4 种5 x 5 窗口的b a y e r 模块。 一2 i - l i 1 2i - 2 一1 ；1i 屯j 一2j l p lp 2i - 2j 1ji 七lp 2 i 2 i 1 ， i + ； i + 2 f 鑫)b )e )l a j 图2 3 分别以( a ) 红色，( b ) 蓝色，( c ) ( d ) 绿色为中心截取的5 x 5 大小b a y e r 模块 为了方便描述，下文中r “，g u 和召u 表示原始b a y e r 图像中像素点( t 力处采 样的红色、绿色和蓝色信息；，踟和6 u 表示算法在像素点( f ，力处重建出红色、 绿色和蓝色分量；双线性插值算法的计算过程如下： ( 1 ) 对于图2 3 ( a ) 中的情形，其中心采样点为红色，需要恢复绿色和蓝色。绿 色分量由中心点上下左右的四个绿色采样点平均得出，蓝色分量由中心点斜四十 五度方向的四个蓝色采样点平均得出。 g ( f ，舻亟上竖盟卫譬盟丑塑塑塑 ( 2 1 ) 6 ( f ，) ：丝生型_ 塑堑业# 堕垃坐型丛趔 ( 2 2 ) 浙江大学硕士学位论文 去马赛克算法与原理 ( 2 ) 对于图2 3 ( b ) 中的情形，其中心采样点为蓝色，需要恢复绿色和红色。绿 色和红色分量的恢复过程与2 3 ( a ) 类似，公式如下。 g ( f ，) ：亟型坚坠型学坚业型 ( 2 3 ) | ，( f ，) ：堕生型型坠卫盟芒堕塑坐墅幽( 2 4 ) + ( 3 ) 对于图2 3 ( c ) 中的情形，其中心采样点为绿色，需要恢复红色和蓝色。蓝 色分量由中心点左右两个蓝色采样点平均得出，红色分量有中心点上下两个红色 采样点平均得出。 6 ( f ，舻丝上娑幽 ( 2 5 ) 二 r ( f ，舻堕生娑必 ( 2 6 ) ( 4 ) 对于图2 3 ( d ) 中的情形，其中心采样点亦为绿色，与2 3 ( c ) 的不同仅在于红 色和蓝色的位置交换，其恢复过程与2 3 ( c ) 相似。 从上述双线性插值的过程可以看出，红色、绿色和蓝色分量的恢复重建基于 3 x 3 模板内的平均，容易造成边缘信息的丢失和模糊。此外，双线性插值恢复每 种颜色分量时仅仅使用了各自独立的颜色通道来进行，没有考虑不同颜色通道之 间的相关性。这种做法从硬件实现角度来说具有一定好处，可提高硬件的吞吐率 和并行化，但算法恢复的图片的主观视觉效果较差，容易产生锯齿效应。 2 1 2 基于色比色差定律的插值算法 为了获得更好的插值效果，避免锯齿效应，需要探索颜色空间的相关性。根 据蒙德里安( m o n 嘶a a n ) 彩色图像的成像模型，每个颜色通道可以被看作真实 三维世界的表面法向量磊( x ) 在光源方向了的投影与反射率p ( x ，少) 的乘积【8 1 。反 射率p ( x ，y ) 表征了三维物体的材料特性，并且不同颜色的反射率是互不相同的。 根据该模型，红、绿和蓝三色通道可由下列公式表示： j 。( x ) = p 月( x ) ( ”( x ) ，z ) ，g ( x ) = ( x ) ( 聆( x ) ，) ，口( x ) = p b ( x ) ( 聆( x ) ，)( 2 7 ) 浙江大学硕士学位论文 去马赛克算法与原理 根据上述公式，假设图片中的一个给定物体的材料是相同的，即材料对于红 色、蓝色和绿色的反射率在给定物体范围内固定不变，即n ( x ) = c ，f ，表示r 、 g 和b 中的一种。可以推导以下比值关系： 篙2 怒器2 篇2 号制 亿8 ， 一= = 一= 一= 吊管v i l 。( x ) p ，( x ) ( 刀( x ) ，)p ，( x )c ， 。 、7 由上可知，在给定的物体内的任一位置，颜色比值为常量。虽然上述比值关 系基于简单的假设条件，但在图像的小块局部邻域内，且该局部邻域没有横越图 像边缘的情况下，仍是有效的，符合自然图像色彩亮度均匀过度这一特性。上述 比值定律被称为色比定律。 色比定律是在线性曝光空间中讨论的得出的，将线性曝光空间的色比定律转 换到对数曝光空间即可得到色差定律。色差定律可表达为，在图像的小范围局部 邻域内，2 ( 印一( 朋= 常数。 1 9 8 7 年，c o k 提出的基于色比定律的去马赛克算法，解决双线性插值过程 中出现的不自然的色调变化情况【5 1 。b a y e rc f a 可看作由亮度信号( 高采样率的 绿色像素点) 和色度信号( 低采样率的红色和蓝色像素点) 组成。亮度信号可通 过简单的双线性插值进行估算，色度信号通过应用邻域内的色调的平缓性来插值 恢复。色调( h u e ) 被定义为色度信号与亮度信号的比值，即蓝色采样点处的色 调为b g ，红色采样点处的色调为刚b 。其重建过程如下： ( 1 ) 使用双线性插值算法恢复出红色和蓝色采样点处的绿色分量，以图2 3 ( a ) 和2 3 ( b ) 为例，绿色分量的恢复如公式如下。 g ( f ，护壁上业盟止芝盟生监蚴 ( 2 9 ) 斗 ( 2 ) 使用已经重建好的绿色分量，基于色比定律恢复红色和蓝色分量。以图2 3 r a l 所示，介绍红色采样点处的蓝色分量恢复，图2 3 ( b ) 中心蓝色采样点处的红色 分量的恢复与之类似。 在3 x 3 中心邻域内，根据色比定律可知。 6 ( f ，) 一 g ( f ，) 进一步可得。 世k 一1 ) 一乡( f l ，+ 1 ) 一b ( f + 1 ，一1 ) g ( i 一1 ，一1 )g ( f 一1 ，+ 1 ) g ( f + 1 ，一1 )2 筹揣亿聊g ( f + 1 ，+ 1 ) 、 浙江大学硕士学位论文 去马赛克算法与原理 6 ( f ，) = 去g ( t ) ( 揣+ 揣+ 丝! ：二! ! 。 g ( f + l ，一1 ) 图2 3 ( c ) 和图2 3 ( d ) 中心绿色米样点处红色和蓝色分量的恢复方法相同，下 面以图2 3 ( c ) 为例，说明该中心点色度信号使用色比定律的重建过程。 他舻扣m ( 黜+ 黜) ( 2 1 2 ) 坼棚= 扣加( 耥+ 渊) ( 2 1 3 ) 利用色比定律进行去马赛克操作需要涉及大量的乘法和除法操作，当某点的 绿色分量为0 时，还需要重新定义色调( 协p ) 的含义，相比较而言，运用如下的 色差定律使得去马赛克设计的操作更加简单方便，运用色差定律时，色调胁p ) 被定义为色度信号与亮度信号的差，即( b g 或r g ) ，过程如下。 ( 1 ) 使用双线性插值恢复红色和蓝色采样点处丢失的绿色分量。 ( 2 ) 使用已经恢复的绿色分量，基于色差定律，恢复图2 3 ( a ) 和图2 3 ( b ) 中的蓝 色或红色分量。 6 ( f ，) ：盟当型堂坚业芒坐也型业幽 + 兰量! ! ! ! 二星! ! 二! ! 二1 2 二星! ! 二! ! 1 2 二星! ! ! ：二1 2 二墨! ! ! ：! ! 、 t f 2 1 4 1 4 ，( i ，护坐土型堂坚堕兰坐丛型型刿 + 兰星! ! ：! 二曼! ! 二! ! 二! ! 二星! ! 三! ! ! ! 二星! ! ! ：二! ! 二墨! ! ! ：! ! ( 2 1 5 ) 4 ( 3 ) 使用已经恢复的绿色分量，基于色差定律，恢复图2 3 ( c ) 和图2 3 ( d ) 中的蓝 色和红色分量，以图2 3 ( c ) 为例。 州) ：坐型掣坠掣+ 塑边型导止盟业 ( 2 1 6 ) 6 ( “) ：盟型掣型业+ 塑盟型娑尘趔( 2 1 7 ) 从公式2 1 4 到2 1 7 可以看出，利用色差定律的插值算法仅仅通过加减法和 移位操作即可完成，计算开销非常小，易于硬件化。基于色差色比定律的去马赛 克算法虽然利用了颜色空间的相关性进行插值，其本质还是3 x 3 邻域内的双线性 插值。因为绿色分量的插值运算仍然基于双线性。当该3 x 3 邻域内的乍。彩值较为 浙江大学硕士学位论文 去马赛克算法与原理 接近，即为图像平滑区域，无边缘相交时，可取的较好的插值效果。当处于边缘 地带时，由于绿色分量的插值不包含边缘信息，且错误的绿色分量会进而影响红 色蓝色分量的插值重建，图像会产生很多错误颜色。 2 1 3 边缘自适应的插值算法 亚当斯和汉密尔顿在1 9 9 7 年提出了一种边缘自适应的插值算法【6 】。在b a y e r c f a 中，由于绿色像素点的数量是红色和蓝色像素数量的两倍，故其包含更多 的原始图像的边缘信息。亚当斯和汉密尔顿首先提出从水平和垂直两个方向对绿 色分量进行插值重建，设计了由亮度信号的梯度和色度信号的二阶微分构成的边 缘检测算子，由边缘检测算子指示沿正确的方向进行绿色分量的插值。红色和蓝 色分量的重建使用已经重建好的绿色分量，采用红绿色差空间或蓝色色差空间的 线性插值来完成。参考图2 3 种的四种情况，其重建过程如下。 ( 1 ) 绿色分量重建 首先恢复红色和蓝色采样点处的绿色分量，即图2 3 ( a ) 和图2 3 ( b ) 中心采样 点处的绿色分量，由于图2 3 ( b ) 的绿色分量的重建过程与图2 3 ( a ) 相似，故以图 2 3 ( a ) 为例，说明如下。 中心红色采样点r “，移处的水平方向和垂直方向检测算子计算如下： 崛，= lg _ ，一g + ，i + i2 r ，一足- ：一足+ ：i ( 2 1 8 ) ，= ig 一，一g + 1 ，i + 2 足，一墨一：，一墨+ ：，i ( 2 1 9 ) 当水平算子小于垂直算子时，中心点r 似存在水平边缘的概率较大，中心 绿色分量的计算沿水平方向进行，公式如下： ：坠! 盟+ 塾型进 ( 2 2 0 ) 6 f ， ， 一 、一， 当水平算子大于垂直算子时，中心点r 仨处存在垂直边缘的概率较大，中 心绿色分量的计算沿垂直方向进行，公式如下： 2 = 垒坐立+ 堡_ 选 ( 2 2 1 ) 6 j ， 一， 倘若水平和垂直的算子相等，则中心点处的绿色分量的计算为水平和垂直方 浙江大学硕士学位论文 去马赛克算法与原理 向的平均值，公式如下： 9 1 j 2堡二! ：! 堡! ：! 堡：! 二! 里：! ：! j 4 鱼尘正孥苎 生( 2 2 2 ) 8 、7 ( 2 ) 绿色采样点处的红色和蓝色分量的重建 其次需要恢复图2 3 ( c ) 和图2 3 ( d ) 中心绿色采样点处丢失的蓝色和红色分量， 由于图2 3 ( d ) 的蓝色和红色分量的重建过程与图2 3 ( c ) 相似，故以图2 3 ( c ) 为例， 说明如下。中心点处的蓝色分量的重建使用左右两点的b g 空间的线性插值， 红色分量的重建使用上下两点的r g 空间的线性插值。 i ，= 去( r - 1 ，+ r + 1 ，) + 丢( 2 g u g ，一g 川，) ( 2 2 3 ) 6 j ，= 去( e - 。+ e 。) + ( 2 g ，一吕，一g u + 。) ( 2 2 4 ) ( 3 ) 红色( 蓝色) 采样点处的蓝色( 红色) 分量的重建 最后进行图2 3 ( a ) 中心点蓝色的恢复和和图2 3 ( b ) 中心点红色的恢复，由于 图2 3 ( b ) 的重建过程与图2 3 ( a ) 相似，故以图2 3 ( a ) 为例，说明如下。观察r 周围 最近的蓝色像素点，处于r 像素点左上，左下、右上、右下四个位置。为了更 好的选择插值方向，保存边缘信息，与绿色分量的恢复类似，需要首先沿两个斜 四十五度方向计算像素的梯度，再沿梯度较小的方向插值。 左下右上和左上右下的梯度计算如下： d 4 5 ( f ，) = le - l 川一尽+ l ，一i + i2 吕，j 一吕一，一，一吕+ l ，广。i ( 2 2 5 ) q 3 5 ( i ，) 爿卑1 ，广l 一毋。，p ，i + i2 ，一g - l ，广l g j + l ，p l ( 2 2 6 ) 根据梯度的比较结果，选择合适的插值防线，计算如下： 监安生+ 堡羔乎，当皿， q ， 1 j 监妥盟+ 鱼兰乎，当 玩 川川坞广，+ 。 2 刀 + 鱼d 独立警 堕出，当见，：日， 4 。 ” 亚当斯和汉密尔顿提出的边缘自适应的算法相对于前人的方法具有很大的 改进，主要体现在如下几个方面：( 1 ) 绿色分量的插值引入了边缘检测，更好的 浙江大学硕士学位论文 去马赛克算法与原理 保留边缘信息，使用了亮度的梯度和色度的二阶微分，良好的检测了边缘，提高 了绿色分量的准确度；( 2 ) 利用了颜色空间之间的相关性，首先进行绿色通道的 恢复，得到完整的绿色图像，红色和蓝色通道的恢复分别基于红色和绿色的色差 空间、蓝色和绿色的色差空间的方向性插值完成。边缘自适应算法的先绿色后红 蓝的思想被广大插值算法所沿用，正如先前所述，绿色采样点的数量较多，包含 的边缘信息丰富，首先重建出高准确性的绿色分量，并为随后进行的红色和蓝色 重建提供参考，是一种很好的做法。然而，亚当斯和汉密尔顿提出的边缘自适应 算法也存在问题，其边缘检测算子在边缘紧密或纹理细致的区域检测的准确性较 差，从而产生了错误的绿色插值，并随后传播到红色和蓝色插值中，并在最终的 输出图像中产生错误颜色。 2 2 常见的插值问题 去马赛克算法的插值重建过程不可避免的会引入各种人工的插值痕迹和插 值错误，从而出现和原始图像不相符合的失真现象，造成了恢复图片主观视觉质 量的下降，去马赛克插值主要会出现的问题包括锯齿效应、伪彩色和摩尔纹的问 题 27 1 。 2 2 1 锯齿效应 锯齿效应又被称为拉链效应( z i p p e r e f 梵c t ) ，是指在图像的边缘交界或颜色 突变区域，去马赛克的插值没有沿边缘方向进行，而沿横跨边缘的方向插值所产 生的像素点模糊和颜色溢出现象。双线性插值算法的恢复图片包含了大量的锯齿 效应，如图2 4 所示。 1 4 浙江大学硕士学位论文去马赛克算法与原理 图2 4 ( a ) 墙壁砖块边缘的锯齿效应( b ) 花瓣边缘的锯齿效应 2 2 2 伪彩色 伪彩色又被称为虚假颜色，是指原始图像中没有出现过的错误颜色或彩色条 纹现象。其出现的原因为图像重合错位或不恰当的邻域插值平均所致，经常出现 在色彩的外边缘处。可通过中值滤波来解决，中值滤波是一种非线性滤波技术， 通过窗口中的处于中间大小的值来替换滤波窗口中心点的值。通过中值滤波可以 可以克服线性滤波所造成的图像模糊问题，但对于包含较多点、线等细节的图像 不适合使用中值滤波，容易造成细节丢失。双线性插值所产生的伪彩色条纹和错 误颜色如图2 5 所示。 2 2 3 摩尔纹问题 图2 5 房屋墙壁上出现的伪彩色条纹 摩尔纹是数码照相机等设备上的感光阵列出现的高频干扰，使得图片出现彩 色的高频率不规则的条纹，如果感光元件c m o s ( c c d ) 像素的空间频率与影 像中条纹的空间频率接近时，就极易产生摩尔纹。根据奈奎斯特采样定理，图像 传感器能够分辨的最高空间频率等于其空间采样频率的一半，当影像中的条纹空 间频率超传感器阵列的空间采样频率的一半时，影像频谱在频域坐标系上的周期 性重复就会造成频域的混叠。混叠的信号经过电路低通滤波后是无法去除的，并 浙江大学硕士学位论文 去马赛克算法与原理 一一 伴随有用信号一起输出，影响了图像的的主观视觉效果，甚至出现条纹干扰。 在去马赛克过程中，容易出现一些彩色的摩尔纹，特别是在图像的高频区域。 通过观察b a y e r c f a 可知，在每一行、每一列中，相邻绿色、相邻红色、相邻蓝 色像素点的间距均为2 个像素宽度，如果待重建物体的维度仅为1 个像素点宽度， 则由于b a y e r c f a 的亚采样特性，去马赛克算法极易恢复出错误颜色，产生细密 的彩色摩尔纹【2 8 1 。双线性插值算法产生的彩色摩尔纹如图2 6 所示，出现在图像 的边缘密集或纹理细致区域。 为了减少摩尔纹的发生，大多数数码相机会在彩色滤波阵列之前增加一个低 通滤波器，滤除部分高频信号，通过降低图像锐度的方法来减少摩尔纹的发生概 率。或者可以通过提高感光阵列的像素密度来提高空问采样频率。 图2 6 ( a ) 密集栅栏处的摩尔纹 ( b ) 纹理细致的发带上的摩尔纹 2 3 本章小结 本章介绍了去马赛克的基本原理和过程，介绍了彩色滤波阵列的几种不同模 式。在此基础上，介绍了适用于b a y e rc f a 的双线性插值、使用色比色差定律的 插值和边缘自适应的插值算法。使用色比色差定律的插值方法基于双线性插值方 法，同时利用了颜色空间的相关性。边缘自适应的插值算法基于前两者的优点， 通过边缘检测更好的保存边缘信息。最后介绍了去马赛克插值过程中常见的锯齿 效应、伪彩色以及摩尔纹现象，并阐述了各自的产生原因。 浙江大学硕士学位论文 基于边缘方向图的去马赛克算法 3 基于边缘方向图的去马赛克算法 本章介绍一种改进的边缘方向性插值算法，在边缘密集或细致区域亦能产生 很好效果，同时保持了较低的计算开销。 3 1 算法介绍 在大多数当前的去马赛克算法中，绿色分量都是首先被插值重建，红色和蓝 色分量的重建基于重建好的绿色分量。这是因为在b a y e r 格式图像中，绿色分量 的采样率是红色或蓝色分量采样率的2 倍，绿色分量包含了原始图像中更多的边 缘信息。因而，基于已经重建好的较为准确的绿色分量来重建红色以及蓝色分量 是一种较好的做法。在正确插值方向的指导下，文献 6 中提出的插值公式能够 计算出足够准确的重建值【2 9 ，1 6 】。因此