基于TMS320DM642 BAYER格式图像色彩复原的实现.docx

基于TMS320DM642 BAYER格式图像色彩复原的实现(1中国科学院长春光学精密机械与物理研究所；2中国科学院研究生院)陈春宁1,2 王延杰摘要： 针对CMOS图像传感器输出的Bayer格式的图像数据，利用TI公司的TMS320DM642数字信号处理器的专用视频端口，可以实现图像捕获、数据传输的无缝连接的特点，构建了以DM642为核心的图像实时处理系统。在DM642中采用两种通用方法（双线性插值、边缘检测）和文中提出的信号相关的方法，将从Bayer公司的CMOS图像传感器所捕获的8位Bayer格式图像数据，转换为24位RGB格式彩色图像数据，并通过PSNR（信噪比）和NCD（归一化彩色差异规范）两种评估方法进行检测。从实验结果可以看出文中提出的方法相对于通用方法提高了图像的信噪比，锐化图像的边缘，减少了图像高频信息的错误像素的数量，提高视觉质量。 关键词：BAYER格式，彩色滤波阵列(CFA)，双线性插值，边缘检测 1引言：三CMOS数字相机是由三个单色CMOS分别获得彩色图像的R、G、B分量，每个CMOS只对应获得所采集图像的一种颜色，但这样相机成本较高，为了降低成本，相机设计者设计了单CMOS数字相机，结构如图1。这种单CMOS相机通过彩色滤波阵列（CFA）获得图像的彩色信息。而这样采集的图像在每个像素的位置上只有一种颜色分量可以获得，所以要复原另外两种缺少的颜色分量，就必需通过相邻像素来估算，这个过程叫CFA插值。文中使用的BAYER CFA格式（如图2：每一个方格代表一个像素，格中的R、G、B表示相应像素只含有相应的彩色分量）是现在普遍采用的CFA图像格式中的一种。在这种格式的图像中，图像一半的像素分配给G分量，而R和B分量占图像的另一半像素。因为G分量是R、B分量的两倍，所以如果G分量采用好的插值方法，不仅可以提高G分量的质量，还可以提高R和B分量的质量。具体的方法（包括两种通用的插值方法和本文所提出的利用信号相关对BAYER格式图像彩色复原的方法）分别在本文的第2、3部分进行讲解。然后在第4部分简要介绍以TI公司的TMS320DM642为核心彩色复原系统工作原理,最后通过PSNR（信噪比）和NCD（归一化彩色差异规范）两种评估方法对两种通用方法和文中提出方法进行彩色复原后的图像进行比较，并给出实验结论。由于DM642采用TMS320C64xDSP内核，工作频率720MHz，能够在每个时钟周期进行一次16位乘加运算，每秒进行2880百万次乘加运算，或8位5760百万次乘加运算。并且DM642有三个可配置视频口，在其内部有5120字节捕获和显示缓存。视频输出频率可达110MHz。提供与通用视频编码器、解码器的无缝连接。因此对图像的彩色复原都在DM642中完成。2两种通用的插值方法：在这一部分介绍已经广泛应用的两种插值方法：A、一种是双线性插值法1，2，3：每个像素位置上缺少的彩色分量由3x3邻域内具有相同颜色分量的像素平均值获得。参考图3，公式如（16）所示：G7、R7、B7、R3、G3、B3表示经过插值后B7、G3位置处像素的R、G、B分量值这种方法的优点是运算简单，易于实现；缺点是a没有利用不同彩色分量之间的关系；忽略了图像的边缘。这样在图像的边缘就会引进大量的错误数据造成图像边缘模糊以及复原成错误颜色。下面参考图来说明双线性插值方法在图像边缘进行插值产生错误的原因。在图4（a）（c）中假设3x3邻域的原始图像只有垂直方向的边缘，并且只有两个值，高表示像素值高于图像的平均值，低表示像素值低于图像的平均值。图4（b）是图像BAYER CFA格式，计算中心的R值为R=（高+高+低+低）/4，而实际的R值应该为低，这样就可以看出真实值和计算值之间的差值R=（高-低）/2，插值后的图像如图4（d）。为了解决双线性插值中的边缘问题，边缘检测必须在插值之前进行。这就是接着要介绍的第二种通用的方法：边缘检测方法。3信号相关插值法：在前面介绍了两种通用的插值方法，它们都是用邻域内存在的G分量来计算缺少的G分量，而没有利用R、G、B三个分量高度相关的特性。也就是说，如果考虑RGB的相关性，在计算缺少的G分量的时候可以利用R、B分量的信息。即在相邻的小区域内设DR=GR，DB=GB，可以认为DR和DB为常数。这样就可以对G分量进行插值计算完成后，用得到的G分量再来得出R、B分量。下面以计算图3中B7位置缺少的G、R分量为例来说明信号相关插值法。操作步骤如下：（a）利用公式（10）（13）计算B7周围G3、G6、G8、G11处的区域常数因子KB3、KB6、KB8、KB11的值；（b）按公式（14）计算B7处的G分量G7;（c）按公式(15)利用插值后的G分量G7得到B7位置的R分量;（d）在R位置G、B分量插值方法与B位置G、R插值方法相同。信号相关插值方法虽然比双线性插值方法复杂，但计算量比边缘检测小，同时还考虑了图像R、G、B三个分量的关系，这样就不会因为某个分量变化过大而引起的色彩错误，减少图像中的奇点。4.图像处理系统硬件工作原理(1).此处理系统以DM642为核心，将从CMOS图像传感器采集的Bayer格式的图像数据和像素时钟以及有效像素控制信号送至DM642视频口，在DM642中对图像数据进行行、场裁减和彩色复原，并产生显示需用的行场同步信号，以达到要求的分辨率及场频。处理系统硬件原理框图如图7。(2).DM642工作在视频捕获模式时，其工作框图如图8。当控制信号CAPEN有效，DM642视频口对CMOS传感器输出的视频信号进行采样，采样数据的数量由DM642的视频捕获通道寄存器（VCxSTOP）来确定。因为在直接捕获图像的工作模式下，没有单独的行、场同步信号，这就需要通过配置DM642中的视频捕获通道寄存器（VCxSTRT1）的视频捕获场消隐位（VCVBLNKP）和同步开始使能位来产生。图 7 图像处理系统框图Fig7 Image Processing System Block Diagram(3).在DM642视频口中包含一个FIFO（先进先出）用来存储从视频口输入或输出的数据，视频口是通过DMA实现FIFO与内/外部存储器之间传送数据。可以通过编程来设置阈值，当FIFO内的数据数量达到阈值，产生空满标志来触发DMA进行数据传输。图 8 视频口工作框图Fig8 Video Port Block Diagram 5实验结论：前面分别介绍了两种通用方法和文中所提出的信号相关插值方法，并用这三种方法对图6（a）进行插值计算，得出图6（b）双线性插值图、6（c）边缘检测图和6（d）信号相关插值图。从三个结果图可以直观的看出信号相关方法较前两种方法，尤其较双线性插值方法锐化了图像边缘，提高视觉质量。文中的创新点是根据R、G、B三色相关的特点，在TMS320DM642上对BAYER格式图像进行彩色复原。文中用PSNR 和NCD两种方法按公式（16）（19）对三个结果图评估，结果见表1。从表1中PSNR可以看出信号相关方法插值得到的图像信噪比最好，比双线性插值方法高5dB，而NCD最小表示经过信号相关方法插值得到的图像色彩误差最小。 参考文献：1尹立敏。一种可控的直方图均衡算法。微计算机信息，2005,12-1，147-148。2T. Sakamoto, C. Nakanishi, T. Hase, “Software pixel interpolation for digital still cameras suitable for a 32-bit MCU”, IEEE Trans. on Cmsumer Electronics, Vol.44, P.1342-1352, 1998.3.H. Zen, T. Koizumi, en.al., “A new digital signal processor for progressive scan CCD,” IEEE Trans. on Consumer Elecfronia, Vol. 44, pp 289-296, 1998.4.R.H. Hibbard, “Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients,” OS. Patent5,382,976.5.C.A. Laroche, “Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients,” U.S. Palent