（通信与信息系统专业论文）视频预处理关键技术研究.pdf

摘要 为了获得良好的视频质量和较高的压缩率，视频预处理技术在视频处理与通 信应用中占据越来越重要的地位。本文深入研究了从视频传感器采集到采集设备 输出之间对视频数据进行的预处理。在此基础上对自动白平衡和闪烁减弱技术做 了详细的讨论，并分别提出了新的解决方法。 自动白平衡是对不同色温环境下的拍摄的图像进行修正，使白色的物体呈现 真正的白色。本文研究了不同色温下灰度颜色点的特性，提出一种新的自动白平 衡算法。实验结果表明该算法在不同的色温下能够快速地达到白平衡，提高了图 像的质量，并具有很好的鲁棒性。 闪烁是由于场景光源与采集设备频率不同步引起的，严重影响视频的质量和 压缩效率。本文提出了一种新的减弱闪烁的方法，该方法基于对影响闪烁的因素 的分析，采用跟踪参考块的亮度值来确定当前图像闪烁的相位值。实验结果表明 该算法能够有效抑制闪烁，提高图像质量。 关键词：视频预处理自动白平衡闪烁减弱 a b s t r a c t i no r d e rt oo b t a i nh i g hv i d e oq u a l i t ya n dh i g hc o m p r e s s i o n ，v i d e op r e p r o c e s s i n g p l a y sm o r ei m p o r t 趾tr o l e si nv i d e op r o c e s s i n ga l l dc o m m u 王1 i c a t i o n s i nt l l i sd i s s e 咖d o n ， t h ep r o c e s s e st 1 1 a ta r ep e r f b n n e d b e t w e e nt h ev i d e os e n s o ra i l dm e o u t p u to f 也ec a p t u r e d e v i c ea r es n l d i e di nd 印m w ep a ym o r ca n e n t i o no nm ea u t o m a t i cw h i t eb a l a i l c ea n d n i c k c rr e d u c t i o n a u t o m a t i cw h i t eb a l a n c ei so n eo ft 1 1 em o s ti m p o r t a n tf h n c t i o n si nv i d e o p r e p r o c e s s i n gw h i c hi si m r o d u c e dt oc o m p e n s a t et h ec o l o rd i 抒宅r e n c eo fv i d e oc a u s e d b yv a r i o u sl i g h ts o l l r c e s an e wa l g o r i m mi sp u tf o r w 盯di nt l l i sp a p e rw h j c hi sb a s e do n t h ea n a l y s i so ft h ep r o p e r t yo fg r a yc o l o rp o i n t su i l d e rd i 彘r e n tc o l o rt c m p e m t i 】r e s o u r c e s t h er e s u h ss h o wt h a t 也ep m p o s e da l g o r i m mc a np m v i d eag o o dp e r c c i v e e 商j c ta l l dh a s 协ea “a n t a g e so ff 缸tc o n v e 赡e n c ea n d s 缸d n gr o b u s t n e s s f l i c k e ri si n 们d u c e db e c a u s eo ft l l ea s ”c 1 1 r o n i z a t i o nb c t 、v e e nt l l e 雠q u c n c yo f m e l i g h 廿n gs y s t e m 蛐dt l l ec a p t u r e d 行锄er a t ew h i c hd e g m d e st l l ev i d e oq u a l 蚵e x t r c m e l y i nm i sp a p e r ，an i c k e rr e d u c t i o na l g o r i t h mi sp r o p o s e dw h i c hc a nd i r e c t l ye x m l c tl l l e n i c k e ri l l f b n l l a t i o n 丘o man i c k e 卜c x i s t i n gv i d e o r e f c r c n c eb l o c k sa r eu s e dt ot r a c et l l e v a r i a t i o no f 山en i c k 既i ft l l ec o n t e n to ft l l e s er e f e r e n c eb l o c k sc h a i l g e s ，m en i c k e rc a n b ep r c d i c t e da c c o r d i n gt ot h ep e r i o d i c i t yo fm en i c k e r - t h ee x p c r i m e n t ss h o wt l l 砒m e p r o p o s e da l g o 删mc a nr e d u c et h ef l i c k e re 蕊c i e n t l ya n di r n p r o v ei m a g eq 谳时 s i 印m c 蛐t l y k e yw o r d s ：d e op r e p r o c e s s i n g ，a u t o m a t i cw h i t eb a l a l l c e ，f l i c k e rr e d u c t i o n 独创性( 或创新性) 声明 y 8 5 8 9 0 1 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中小包含其他人已经发表或撰写过的研究成果：电不包含为获得西安电子科技大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：灌橇穆 b 觏型t 5 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在 年解密后适用本授权书。 本人签名 导师签名 霍後彦 缸 h 懿型6 | 6 h 期砂多乡 第一章绪论 第一章绪论 视觉是人类最高级的感知器官，因此早在模拟时代人们就开始进行图像和视 频方面的研究和开发。数字化技术以其以存储、易传输、无误码积累等特点大大 促进丁图像和视频的发展和应用。 视频处理和通信系统所要处理的信息是十分庞大的视频图像数据，对于速度 处理的和精度都有相当高的要求，系统的应用也是非常广泛。例如，在交互式通 信、个人移动通信、远程医疗诊断设备、联网交通监控以及国防建设等领域获得 了惊人的成果。视频作为熏要的信息载体，在通信中占据越来越重要的地位。随 着视频压缩和相关行业的发展，视频通信已经有了很大的发展。目前典型的数字 视频通信系统有数字电视、可视电话系统、会议电视系统等。随着3 g 网络和i p 技术的发展，基于i p 和无线视频通信技术成为通信领域研究的一大热点。 目前的视频处理和通信系统有各种各样的结构，但不论结构复杂还是简单， 一个基本视频处理和通信系统如图1 1 所示，主要包括采集、预处理、视频压缩编 码、通信、视频压缩解码、图像处理以及显示等几个方面l l l 。 图1 1 视频处理和通信系统 图像采集的功能由图像传感器实现，目前图像传感器主要有电荷耦合器件 ( c c dc h a r g ec o u p l e dd e v i c e s ) 和c m 0 s 传感器。前者技术发展成熟，具有高解 析度、低噪声、动态范围大等优点，广泛应用于高端产品中；后者则以其低成本、 高集成度、低功耗等特性占领了低端市场，且随着半导体技术的不断发展，c m 0 s 图像传感器的一些参数性能指标已经达到或超过c c d 。 传感器将实际景物转换成图像信号时总会引入各种噪声，因此一般需要对图 像传感器输出的图像进行预处理，包括采用伽玛校正、图像插值、图像校正、自 平衡、图像增强以及增益控制等技术，一方面改善图像的质量，另一方面，使得 图像有利于视频编码的处理。 由于视频信息的数据量很大，在通信之前需要进行压缩编码，接收端接收到 帚写 一 视频预处理关键技术研究 视频数据后进行相应的解码。采用先进的数字视频压缩技术来压缩数字化的视频 信息的数据量。既节省了存储空间，又提高了通信的传输效率，使得实时视频通 信业务成为可能。研究发现，数字视频数据中存在着大量的冗余。这些冗余包括 空间冗余、时间冗余、结构冗余、知识冗余、视觉冗余和纹理的统计冗余等等。 从原始视频数据中除去这些冗余可以大幅度降低数据量。因此通过减少视频数据 中大量的冗余数据即可极大地减少视频数据量，达到视频压缩的目的。 接收端在收到视频数据并成功进行解码，为了增强图像显示效果会进行图像 处理，然后送到显示设备进行显示。 本论文主要侧重于视频采集和预处理技术的研究，各章节内容安排如下： 第二章首先给出了视频采集的方法以及主流传感器的性能比较；然后详细分 析了预处理的处理框图，最后针对预处理中常用的模块给出简要的介绍。 第三章在研究不同色温下灰度颜色点固有特性的基础上，提出了一种新的自 动白平衡算法。实验结果表明该算法在不同的色温下能够快速地达到白平衡，提 高了图像的质量，并具有很好的鲁棒性。 第四章给出了一种新的减弱闪烁的方法。该方法基于对影响闪烁的因素的分 析，采用跟踪参考块的亮度值来确定当前图像闪烁的相位值。实验结果表明该算 法能够有效抑制闪烁，提高图像质量。 第二章视频信号的预处理 第二章视频信号的预处理 2 1 视频采集 目前所有的摄像机都是一帧一帧采集视频，帧与帧之间存在一定的时间间隔。 一些摄像机( 例如电视摄像机和消费类的便携式视频摄像机) 通过扫描具有一定 行间隔的相继的行来获得一帧。类似地，所有显示设备都以相继的一系列的帧显 示视频；对于电视监视器，扫描线相继地回扫形成分离的行。这种采集和显示机 制是根据人眼的特性设计的。因为人眼不能感知很高频率的时间和空间的变化。 一般摄像机有两种基本的类型：基于光电管的摄像机和基于固态传感器的摄 像机。对于基于光电管的摄像机，镜头把场景中的图像聚焦到摄像机析像管的光 敏表面，由它将光信号转化为电信号。析像管的光敏表面一般是用电子束或其他 的电子方法一行一行地扫描( 称为光栅扫描) ，然后每一帧中的扫描行被转换成不 同电压代表不同光强度的电子信号。因此不同的扫描行是以相继的方式在略微不 同的时间上摄取的。对于逐行扫描，电子束是相继地扫描每行；而对于隔行扫 描，电子束是在半帧( 一场) 的时间隔一行扫描一行，然后扫描其余的行。基于 固态传感器的摄像机因其独特的优势得到了广泛的应用。主流的固态传感器主要 有c c d 与c m o s 传感器。电荷藕合器件图像传感器c c d ( c h a r g ec o u p i e dd e v i o e ) 使用一种高感光度的半导体材料制成，能把光线转变成电荷，通过模数转换器芯 片转换成数字信号。c c d 由许多感光单位组成，通常以百万象素为单位。当c c d 表面受到光线照射时，每个感光单位会将电荷反映在组件上，所有的感光单位所 产生的信号加在一起，就构成了一幅完整的图像。对于c c d 摄像机，光敏表面有 二维传感器矩阵组成，每个传感器对应一个像素，到达每个传感器的光信号被转 换成一个电信号。在每帧时间内摄取的传感器值首先存储在缓冲器中，然后一次 一行地相继读出，以形成光栅信号。值得注意的是同一帧的所有读出的值是同时 被摄取的。互补性氧化金属半导体c m o s ( c o m p l e m e n t a r ym e t a l o x i d e s e m c o n “c t o r ) 和c c d 一样同为可记录光线变化的半导体。c m o s 的制造技术主 要是利用硅和锗这两种元素所做成的半导体，使其在c m o s 上共存着带n 极( 带 一电) 和p 极( 带+ 电) 的半导体，这两个互补效应所产生的电流即可被处理芯片 记录和解读成图像。c m o s 的读出方式同光电管摄像机相同，相邻像素间有个微 小的时间差。 根据生成原理不同，c c d 和c m o s 各有优缺点。c c d 具传感器有以下优点： 高解析度、低噪声，高敏感度、动态范围广、良好的线性特性曲线、大面积感光、 体积小、重量轻、低耗电力，不受强电磁场影响。而c m o s 传感器的优点有：电 4 视频预处理关键技术研究 源消耗量比c c d 低、与周边电路的整合性高，可将a d c 与信号处理器整合在一 起，使体积大幅缩小。c c d 传感器在灵敏度、分辨率、噪声控制等方面都优于c m o s 传感器，而c m o s 传感器则具有低成本、低功耗、以及高集成度的特点。不过， 随着c c d 与c m o s 传感器技术的不断发展，两者的差异逐渐缩小，例如，c c d 传感器一直在功耗上作改进，以应用于移动通信市场；c m o s 传感器则在改善分 辨率与灵敏度方面的不足，以应用于高端的图像产品。图2 1 给出了c c d 和c m o s 在视频采集应用中的分布图。 镜头 口口 像素数目 图2 。lc c d 传感器和c m o s 传感器应用分布图 2 2 视频预处理概述 图2 2 彩色视频摄像机功能框图 图2 2 给出了彩色视频摄像机的功能框图【2 1 0 镜头将场景中的图像聚焦到传 感器的光敏表面。为了摄取彩色，通常有三种类型的光敏表面或传感器，每个传 第二章视频信号的预处理 感器的频率响应决定于所选基色的彩色匹配函数，通常采用r g b 彩色空间。为了 节省成本，多数消费类摄像机采用单片传感器进行彩色成像。这是通过把每个像 素的传感器区域分成3 个( r g b ) 或4 个( c y m g y e g r ) 子区域，每个子区域感应 于不同的基色实现的。摄取的三个彩色信号可以转换成一个亮度信号和两个色差 信号，并作为分量彩色图像发送出去，或者复用成一个复合信号。 分离出r g b 信号后，分别经过相应的模拟处理后送入a d 转换器，变成数字 信号。一般摄像机提供模拟和数字两种输出模式，而模拟输出又可以包括分量 ( c o m p o n e n t d e o ) 和复合( c o m p o s i t ev i d e o ) 两种格式。为了提高图像质量， 对d 转换后的数字进行处理，主要包括图像预处理、色彩插值、色彩校正。非 线性处理、图像增强等。关于这些功能模块的详细说明见2 3 节。用于三个传感器 的每个山口和图像预处理都工作在c c d 的采集速率f c 上，图像增强和非线性滤 波工作为2 f c 。为了匹配标准摄像机的输出速率f o ( i t u - rb t 6 0 1 数字视频f o = 1 3 5 m h z ) ，需要进行2 f c 到f o 的速率转换。 2 3 视频预处理功能模块 在本小节，我们将详细讨论从，d 转换后的原始视频数据到摄像机输出之间 进行的一系列处理。 彩色 ：二二：芯片功能模块( 可定翩) 口芯片功能模块( 固定) c 二二) 用户功能横块 口 相关设备 图像数据流卜控制信号流 图2 - 3 图像预处理功能实现框图 视频预处理关键技术研究 摄像机详细功能框图如图2 _ 3 所示【3 j ，我们在此讨论基于c c d 的摄像机。镜 头可以将场景中的图像聚焦到c c d 上。同时，c c d 前端加入一个抗折叠噪声滤波 器来避免由于c c d 自身特性引起的折叠噪声。在本小节讨论的处理模块包括色彩 插值、色彩校正、自动白平衡、自动聚焦、自动曝光、伽马校正，闪烁减弱等。 由图2 3 可以看出，预处理功能的实现通常是通过d s p 和前端提供的控制接口联 合实现的。 2 3 1 色彩插值( c o l o ri n t e 印o l a t i o n ) 不论是c c d 还是c m o s 图像传感器，为了简化工艺和降低成本，一个像素点 往往只能记录单色的色调值，不能同时给出r g b 三组数据。因而，对于彩色图像 值的获取，这就需要借助于色彩滤镜阵列( c f a ，c o l o rf i l t e ra r r a y ) ，即在图像传感 器的像素表面覆盖一个多色的滤镜阵列。通过应用不同的色彩滤镜阵列，可以获 得不同的图像输出阵列。其中，最常见的一种滤镜阵列的图像传感器获得的一幅 如图2 4 所示的马赛克的图像阵列，即b a y e r 模型。其中图2 4 ( a ) 为主模式，r 代 表红色，g 代表绿色，b 代表蘸色。其中图2 4 为次模式，y e 代表黄色，是b 的补色，c y 代表青色，是r 的补色，g r 代表绿色，m g 代表洋红色，是g 的补色。 ( a ) 【b j 图2 4 彩色滤镜阵列 显然，在这种图像阵列中，每个像素只能一个颜色的值，另外两个颜色的值 利用相邻像素之间的相关性，通过数据计算获得，这些方法通常被称为色彩插僮 这里就以b a y e r 图像阵列为基础，描述色彩的插值算法，常用的插值方法有相邻像 素复制法、双线性插值算法以及双三次多项式插值等等。这里仅就双线性插值算 法为例做简单的介绍。显然，色彩的插值涉及r g b 三色的处理。具体如下： 第二章视频信号的预处理7 圈2 5 b a y e f 图像阵列 对于只有红色点处的像素：例如r 1 2 f r l 2 = r 1 2 g 1 2 = ( g 7 + g 1 l + g 1 3 + g 1 7 ) 4 i b l 2 = ( b 6 + b 8 + b 1 6 + b 1 8 ) 4 对于只有绿色点处的像素：例如g 7 i r 7 = ( i 也+ r 1 2 ) 2 g 7 = g 7 lb 7 = ( b 6 + b 8 ) 2 对于只有蓝色点处的像素：例如b 8 i r 8 = ( r 2 + r 4 + r 1 2 + r 1 4 ) 4 g 8 = ( g 3 + g 7 + g 9 + g 1 3 ) 4 i b 8 = b 8 对于次模式的颜色空间在处理之前加入一个转换器， 为r g b 格式，再做其他的处理。 2 _ 3 2 色彩校正( c o l o rc o r r e c t i o n ) ( 2 1 ) ( 2 - 2 ) ( 2 - 3 ) 将c y m g y e g r 格式转换 在第2 r 3 1 节通过色彩插值已经得到了r ( b 三原色齐全的图像，但传感器响 应的这个图像与真实场景之间仍存在差异。这其中存在多方面的原因，涉及图像 传感器中光学器件( 棱镜) 的光谱特性、场景的光源光照条件( 诸如白光、荧光或者 钨光) 以及色彩滤镜的光谱特性等。如图2 6 所示为配置r g b 色彩滤镜阵列的 c m o s 图像传感器和人眼的光谱响应曲线【4 】。为了符合人眼的视觉效果，由传感器 形成的图像需要进行色彩校正。 视频预处理关键技术研究 圈2 6 人眼和硅半导体的光谱响应函数 2 3 3 自动聚焦( a u t of o c u s i n g ) 自动聚焦分为主动和被动两种方式【”。主动方式主要指通过测距( 比如利用红 外测距) ，并使用一定的数学模型来计算出实际应取的焦距；被动方式是指利用所 获取图像的自有信息分析聚焦方向，经过焦距的反复调节获取最清晰的图像，通 常采用“爬山法”【6 l 。由于前者需要额外的设备，在有些场合下使用受到限制。 对于后者，问题主要集中在两个方面，一是用于判断图像是否清晰的清晰度判据 的获取。二是获取该判据后如何实现自动聚焦。要求判据对图像的变化敏感，并 且计算量不能太大，以保证系统能很快确定下一步聚焦的方向。由于镜头系统在 数学上等效于一个低通系统，散焦模糊图像可以认为是由于清晰图像的高频分董 受到了损失，所以研究的方向几乎都是基于这个假设来进行。对于图像高频分量 能量的分析和计算可以从空域和频域两部分来考虑。简单的可以用梯度能量作判 据，有入进一步提出了利用拉普拉斯模板卷积的方法获得判据。最简单的方法可 以根据图像相邻像素的差值的绝对值之和作为判据。 2 3 4 自动曝光( a u t oe x p o s u r e ) 自动曝光是依据硬件电路逻辑或软件算法将所采集图像序列的亮度均值维持 在一个主观感觉舒适的范围之内的调节过程。 对于一般的摄像环境而言，难免会出现光线太亮和太暗的情况，在此情况下， 就要求摄像机有自动曝光的功能，通过光圈和曝光时间的配合，使得最后获得的 光度适中，产生的图像比较柔和。 在光域，自动曝光主要通过对光圈和曝光时间分别控制或二者联合控制来实 现。利用光圈进行自动曝光，主要是根据所拍摄的场景来控制光圈的大小，使得 第二章视频信号的预处理9 进光量维持在一定范围内。通过光圈进行曝光控制的产品成本比较商。现阶段中 低端摄像头采用的主流技术通过调整曝光时间来实现自动曝光。曝光时间的调整 又可分为快门时间调整和增益调整两个步骤。当拍摄场景处于过亮或过暗时，可 以大步长调整快门时间；调整增益是用于在小范围内调整。 总之，在自动曝光处理前首先要确定是否需要自动曝光，即自动曝光处理准 则；当确定需要自动曝光时，如何调整光电转换后的模拟电信号增益或者怎样处 理光电转换后的数字信号来找出自动曝光能力补偿函数以及自动曝光调整到什么 程度是恰当的，这三个问题的解决是自动曝光模块研究的关键技术。 2 3 5 自动白平衡( a u t ow h i t eb a l a n c e ) 所谓白平衡就是指对白色物体颜色的还原。当我们用肉眼观看这大干世界时， 在不同的光线下，对相同的颜色的感觉基本是相同的，比如在早晨旭日初升时， 我们看个白色的物体时，感到它是白的；而我们在夜晚昏暗的灯光下，看到的 白色物体，感到它仍然是白的。这是由予人类从出生以后的成长过程中，人的大 脑已经对不同光线下的物体的彩色还原有了适应性。但是，图像传感器没有这种 适应性，在不同的光线下，由于图像传感器输出的不平衡性，造成其输出的彩色 失真，或者图像偏红，或者偏蓝。自动白平衡是去除不同光谱的光源对图像的影 响，使得在不同色温环境下采集的图像接近人眼的主观效果，提高图像质量。 二2 3 6 伽马校正( g 锄m ac o r r e c t i o n ) 在视频通信系统中，存在一些光，电转换( 如c m o s 、c c d 等) 和电光转换( 如 c r t 、l c d 等) 器件，这些器件的转换特性都是非线性的。这些非线性器件都存在 一个能反映各自特性的幂函数，例如以显示器件为例，它的一般形式是： 厶= 矿( 2 _ 4 ) 其中y l o ，l l 表示显示电子枪加载的电压值，厶为显示器呈现的亮度， y ( g 鼬m ) 是幂函数的指数。这种通过幂指数来衡量非线性部件的转换特性称为伽 玛特性。在视频通信中由于伽玛特性的存在，会导致伽玛非线性问题，造成图像 信号的亮度失真，降低了视频通信质量，影响了最终用户的主观感觉。 为了提高视频通信质量，在视频通信过程中必对这些伽玛特性引起的非线性 失真进行非线性补偿。即伽玛校正( g a m m ac o r r e c t i o n ) 。由于伽玛特性的一般形式 为( 2 4 ) 式所示，则对这种非线性的进行伽玛校正，伽玛校正可以表示为： y = ( 工。) 7 ， ( 2 - 5 ) l 1 0 视频预处理关键技术研究 其中工。为g 跗m a 校正模块的输入亮度，y 为g 锄m a 校正模块的输出电压。则经 过非线性补偿后，最终显示图像的亮度信息为： 厶2 ( ( 厶) ) 72 ，如 f 2 6 1 伽马校正的具体实现方法是多种多样的，比较简单的方法是采用查表的方法。 伽马校正的步骤分为两步：( 1 ) 建立伽马校正数据表；( 2 ) 根据输入的像素值进行查 表获取伽马校正后的数据。其中，伽马校正数据表可以通过各种公式的修正获得， 也可预先设定。 2 3 7 图像增强( i m a g ee n h a n c e m e n t ) 实际应用中图像传感器输出的图像经过上述的处理并不是完美的，图像质量 获得的改进也是有限的，加之噪声、光照等原因，需要进一步处理，丢弃无用的 信息，保留我们感兴趣的重要信息。图像增强作为一种重要的图像处理技术，其 目的无非就是两个：第一更适合于人眼的感觉效果；第二有利于后续的分析处理。 图像增强主要包括直方图均衡均衡、平衡滤波、中值滤波、锐化等内容。一 般情况下，图像增强既可以在空间域实现，也可以在频域内实现。在空间域内对 图像进行增强点运算是一种既简单又重要的图像处理技术，它能让用户改变图像 上像素点的灰度值，通过点运算处理后将产生一幅新图像。总之，采用图像增强 技术后，有利于视觉的效果和后续的处理，消除了其相关性和高频噪声，有利于 图像的压缩和处理，可节省带宽。 2 1 3 8 闪烁减弱( f l i c k e rr e d u c t i o n ) 在视频采集过程中，闪烁( n i c k e r ) 是由于照明电源的频率在固定频率附近漂移， 与传感器的采集频率不匹配造成的。由于频率漂移，采集设备每次采集的开始点 不同，感光器件获得不同的光通量，因此造成图像的明暗变化。我们分别对c m o s 和c c d 两种传感器观察后发现，由于c m 0 s 曝光时间比较长，对频率漂移不敏感： 而c c d 灵敏度高，曝光时间短，闪烁现象很盟显，所以该模块只需在c c d 摄像 机中考虑。 第三章视频自动自平衡方法研究 第三章视频自动白平衡方法研究 3 1 1 自平衡简介 3 1 引言 摄像头采集到的图像主要是由三个因素决定的，一是实际拍摄的场景，二是 摄像头本身的属性，三是场景中的照明环境。不同的照明光源下使用同一摄像头 拍摄同一场景得到的图像是不同的，主要是由于不同光源具有不同的光谱成分和 分布，在色度学上光源的这种属性称为色温。 色温【7 】的概念是为了衡量光源的光谱成分引入的，它既不是色的温度也不是光 的温度。色温是用来表明照明光源光谱成分的标志。光源的色温高低并不决定于 光源的物理温度，只表示该光源所含的光谱成分( 即色彩成分) 的不同。把某一 光源所发出的光和把绝对黑体( 指既不反射又不透射的理想物体) 加热到某一温 度时发出的光相比较，当两者光谱成分相同时，就把绝对黑体的温度定做该光源 的色温。由实验得知，当绝对黑体连续加热时，随着温度的升高，发出的光线的 颜色是按红一自一蓝的顺序交化的。因此光源色温越低越偏红色，色温越高越偏 蓝色。色温的计量单位用k 来表示( 砌! h v i n 开尔文字头) 。 图3 1 不同色温环境下拍摄的场景比较 日常生活中用到的光源，比如说目光灯含有较多的蓝、绿成分，所以色温相 对较高，钨丝灯则含有较多的红光成分，色温较低。一天之内的阳光早、中、晚 所含的光谱成分也不尽相同。阴天和晴天光线的光谱成分差别比较大。不过人眼 对光源的色温变化并不敏感。这是因为人的眼睛对色彩有较大的适应性，称为色 感一致性( c o l o rc o n s t a l l c y ) 。然而，对于摄像机本身没有这种功能，在低色温的 光源照射下拍摄到的图像会偏红，而在高色温的照射下会偏蓝，白平衡处理( w l l i t e b a l a i i c e ) 是对不同色温环境下的拍摄的图像进行修正，使白色的物体呈现真正的 白色。图3 1 给出了不同色温下拍摄的场景，其中中间的图像彩色还原是正常的， 而左侧的图像明显偏蓝，拍摄时光线色温偏高( 比如说阴天色温相对较高) ，右侧图 视频预处理关键技术研究 像则在色温偏低的情况下拍摄所以偏红，因此左侧及右侧的图像都为白平衡不正 常的图像。 3 1 2 已有白平衡处理方法 白平衡处理一般分为手动白平衡和自动白平衡。手动白平衡是指现场拍摄的 光线条件下，对准一个纯白色物体，分析所摄得的图像数据，对采集到的数据进 行求和取平均，得出整幅图像三基色的平均值，记为万，百，西。根据白色的定义， 有夏= 虿= 西。手动自平衡通过改变r 、b 通道的增益可以实现图像白平衡。这种 方法要求以标准白色参照物体进行白平衡校准，给用户带来不便。随后产生了一 些自动白平衡( a u t o m a t i c w h j t e b a l a n c e a w b ) 的方法，也是现在的主流方法。现 有的自动白平衡算法可以分为两类，全局白平衡算法和局部白平衡算法。在全局 白平衡算法中，图像中的每个像素都参与色温的估计。而在局部自动白平衡算法 中，只有符合特定条件的像素才能参与色温的估计。 灰度世界假设算法( g r a yw o d da s s 啪p t i o na l g o 硎m ( g w ) ) 是最简单的全 局白平衡算法。g w 算法认为所拍摄的图像r o b 三色分量的统计平均值始终相等。 算法直接将拍摄图像每个像素点的r ，qb 分量分别求和取平均，通过调整r 和b 的增益使得豆= 虿= 万。参考文献【8 】给出了一种改进的0 w 全局白平衡算法，它 预先定义了一个区域。如图3 2 所示。算法认为当夏一百和百一百落入到阴影区域 里，即达到白平衡。传统的g w 算法可以看作为改进g w 算法的一个特例，阴影 区域的范围缩小至原点，即( 矗一g ，占一g ) = ( o ，o ) 。 一u 、 b c 0 wp o i n t a谷 a 日： 诊 ， c - 6 图3 2 改进的全局白平衡算法预定义的区域 另外一种全局白平衡算法称为基于模糊规则的全局自动白平衡方法例，该算法 将图像分成8 个块，分别计算每个块的色度分量c b 和c r 的平均值，根据每个块 的内容赋不同权值，求得一个加权平均值用来判断整幅图像颜色的偏离程度。 第三章视频自动白平衡方法研究 1 3 典型的分块方法如图3 3 所示。权值的选取通过大量的实验得到的模糊规则给 出。参考文献【9 】中给出如下加权规则： 1 由于亮度高的点颜色分量容易饱和，而亮度低的点颜色分量不丰富。因此如 果该块的亮度很高或很低，其色度分量的加权值比较小，亮度值适中的块加权值 较大； 2 由于深颜色的色度分量受光源影响较小，而浅颜色比较容易受光源影响，所 以浅色的块色度分量加权值比较大，深色的块色度分量加权值比较小： 3 如果一个大物体或背景连续占据几个块，即这个块和相邻几个块的内容比较 接近，那么该块的色度分量加权值比较小；如果与相邻块的内容差别比较大，则 给赋以较大的权重。 局部白平衡算法侧重搜寻所拍摄的图像中满足一些条件的像素点，认为它们 在正常色温下是一些已知的信息，例如白色区域【l l 】或人脸区域1 1 2 】【1 3 1 。在 n a k a n o 【1 0 l 提出的算法中，认为满足公式( 3 1 ) 的像素点为白色点。 f】， z 骸篙 。1 参考文献 1 l 】引入了u 分量、v 分量和y 分量的相关性，并给出了一个判定 白色区域的修正条件，如( 3 2 ) 式所示： 】，一1 u i l y l ( 3 _ 2 ) 图3 4y u v 空间上修正的白色区域，y 1 8 0 其中，是一个固定值，设为1 8 0 。图3 4 给出了公式( 3 - 2 ) 所定义的白色区域。 刁萨一、寮 4 视频预处理关键技术研究 由于白平衡处理是对已经发生颜色失真的图像进行处理，属于无参考问题， 即只能通过分析、提取已发生失真图像中的一些信息来完成白平衡的处理。如何 从图像中提取信息是来判定拍摄图像偏红还是偏蓝，即判断拍摄场景中的光源的 色温，这个步骤称为色温估计。本节提到的白平衡处理方法都有一定的适用范围。 全局白平衡法在场景比较复杂的情况下有比较好的性能，且实现简单。而在采集 图像被一种或几种颜色所主导的情况中，全局白平衡失效，这是由于假设整幅图 像的鬲，百，詹是相等的。基于模糊规则的全局自动白平衡方法考虑到这一点，利用 赋较小的权值来减弱主导颜色对色温估计的影响。而局部白平衡算法虽然比较准 确，但场景中如果没有白色物体或人脸时，算法将失效。 3 2 基于灰度颜色点自动自平衡方法 白平衡的调整一般分两个步骤进行：( 1 ) 色温估计。通过手工调节或算法统计 的方法，估计出表达光源色温的特征量( 往往通过平均色差来表征) ；( 2 ) 白平衡 调整。调整红色和蓝色通道的增益因子，达到白平衡的效果。其中色温估计是最 为关键的一步，色温估计的准确性直接影响白平衡的效果。 3 2 1 基本思想 通过大量的统计发现，一个自然场景往往包含有大量的灰度颜色点，如物体 的影子。我们所称的灰色颜色点是指r g b 分量相等的点，其值记为r ，g ，b 。在标 准光源照射条件下，灰度颜色点呈现为很纯的灰色。在非标准色温照射下，这些 灰色点颜色会随着光源色温的不同发生不同的偏移，低色温下偏红，高色温下偏 蓝。灰度颜色点由于光源照射引起的微小的颜色代表了整幅图像的偏离程度，可 以用来准确估计色温。 本文提出一种新的a w b 算法，分析灰度颜色点在不同光源色温下的特性并将 其从图像中提取出来。灰度颜色点颜色的偏离代表了整幅图像的颜色偏离，可以 准确估计光源的色温。完成色温估计后，通过调整r 通道增益和b 通道增益，从 而使得灰度颜色点恢复纯灰色，整幅图像被调整到白平衡状态。该算法是一个局 部白平衡算法，但是它有更广泛的应用性，因为灰度颜色点是普遍存在的。实验 结果表明，该算法在拍摄自然场景中时有很好的性能。 3 2 2 灰度颜色点的特性 在本小节我们讨论灰度颜色点的特性。在图像处理中，一般采用y u v 彩色坐 标系，其与r g b 基色值的关系【16 】为： 第三章视频自动白平衡方法研究1 5 川卦膀懑珊 p s ， l ，= r = g = b ，u = 矿= 0( 3 5 ) 3 2 2 】不同色温环境下灰度颜色点的特性 我们首先分析灰度颜色点在低色温下的特性。在这种情况下，图像的r 分量， 记作掣，会有所增加，可表示为型= ( 1 + k 。) r ，其中r 是标准光源下灰度颜色点 的r 分最，足。是r 分量在低色温下的偏离因子。因此低色温环境下灰度颜色点的 y u v ，记为y ，u ，y ，可写为。 lj ，l o r 2 9 9o 5 8 7o 1 1 4 0 ( 1 + k r ) r l iu i - i _ o 2 9 9 一o 5 8 7 o 8 8 6 0 g l ( 3 6 ) l 矿li o 7 0 1一o 5 8 7一o 1 1 4ii 曰 j 将( 3 5 ) 代入( 3 - 6 ) 得到 阡膀撩 1 一；慧怒黑：却o 7 0 l 足月( 1 + o 2 9 9 b ) j ( 3 - 7 ) 陴f 怒怒黑可兰1 i u ”【_ j 一0 2 9 9 0 5 8 7 0 8 8 6l g i p jlo 7 0 1 - 0 5 8 7 _ o l1 4 k + 磁) b j ( 3 1 8 1 1 = lo 8 8 6 岛，( 1 + o 1 1 4 ) 眇】 l o 1 1 4 如( 1 + o 1 1 4 k 8 ) j 露 叭眦m 1 6 视频预处理关键技术研究 离因子，有= ( 1 + k 口) 雪，是高色温下灰度颜色点的b 分量，曰是标准光源下 灰度颜色点的b 分量。 3 2 2 | 2 灰度颜色点的判决准则 为了判定非标准色温下的灰度颜色点，我们给出一个偏移测度，( 】，u ，矿) ，定 义如下： 刑，叫h 刚玲华 i _ ：毫导矿 加f 。wc d f o rf p 挣秽m r “胛 ( 3 9 ) 1 1 + o 2 9 9 足。 1 。、 l 丁毒； 万协 秽h 龆嘲r 咖糟 il + o ，1 1 4 k 日 。1 根据( 3 - 9 ) ，任一给定的光源环境，其偏离因子世r 或者丘口是确定的，因此 ，( y ，u ，y ) 也是一个固定的值。表3 1 给出了给定j 靠或世口，f ( 】，u ，矿) 的值。从表 3 1 可以看出，灰度颜色点由于非标准光源引起的偏离f ( 】，u ，矿) 远远小于l 。因此 我们定义灰度颜色点提取准则如下： f ( y ，u ，矿) ：掣 陈h 瓦卜矿。卜。 碌 阮l v r e fh i 曲，得到的r g b 值为2 5 5 ， 】，= 2 5 5 ，u = 矿= o ，符合灰度颜色的条件。而日光灯附近的像素也满足灰度颜色条 件。当日光灯处于低色温下，日光灯附近的像素点色差分量p 值略大于色差分量 u 。根据算法，就会调整r 的增益，k r = k r 1 。而修正增益后，日光灯像素r g b 模拟电压值仍旧大于v r e fh i 曲，由于刖d 转换的非线性，得到的r o b 值仍旧为 2 5 5 。而日光灯附近的像素也满足灰度颜色条件，在较低色温下，矿值略大于， 所以继续调整k r = k r 。1 。当r 的增益小到一定程度，会出现u 略大于矿的情况， 于是开始调整b 的增益。直到r 和b 的增益都比较小。此时目光灯仍旧满足 r = g = b ，但其他区域g r ，g b ，致使整幅图像泛绿。 基于上面的讨论，我们在选取灰度颜色时对亮度要有所限制，对应的模拟电 压值在【v r e fl o w ，v r e fh i g h 之外的像素点即使满足灰度颜色的条件，也不选作为 灰度颜色。算法中限定亮度值y 【2 0 ，2 0 0 】。 3 - 3 2 门限值的选取 门限7 1 的值决定了一幅图像中灰度颜色点的数目。选用比较大的r 值意味着图 视频预处理关键技术研究 像中很多颜色信息丰富的点会被误判为灰度颜色的点。产生的主观感觉就是图像 本来是蓝色或红色的物体也会被修正为白色。面门限值7 比较小，很多灰度颜色的 点不能被有效的识别，而判定为灰度颜色的点在理想情况下是颜色比较浅的点，如 图3 8 所示。 v 广 。z i j 一 r ： 、， u 一 。 标准色温下为浅色点： 发生颜色失衡后被判为灰 度颜色点 标准色温下为灰度颜色 点：发生颜色失衡后仍需 判为灰度颜色点 图3 8 发生失衡灰度颜色色差偏移不意图 通过上面的讨论可以看出丁值的选取直接影响白平衡的效果。选择合适的r 值，使得标准色温下的灰度点在非标准色温光源照射下仍旧能够正确的找到。根 据表3 1 ，当r 设为0 0 9 7 ，红色分量增加1 0 的像素点或蓝色分量增加9 。6 的像 素点可以被选作为灰度颜色点。本文选取r 等于0 1 ，能够得到较好的平衡效果。 3 3 3 白适应增益调节参数的确定 3 3 3 1 调整步长的确定 调整步长是一个关键参数，它决定着自适应增益调节的稳定性和收敛速度。 当取比较大的值时，会引起振荡，稳定性差；而值比较小时，系统收敛速度 比较慢。由于芯片给出推荐的增益调整最小步长，我们将设为0 0 3 1 2 ，即最 小推荐调整步长。为了权衡收敛速度和稳定性的要求，本算法引入一个误差加权 函数来自适应增加或减少调整步长。 3 3 3 2 误差加权函数置( s ，) 的确定 误差加权函数k ( s ，) 定义如下： 第三章视频自动白平衡方法研究2 1 f2 s 瑶_ ( x ) 毅加 3 掣 = 三， j x l 口 6 h “ o s i x i 0 x ；o x 0 其中口，6 是误差门限值，在本算法中口设为o ，8 ，6 设为o 1 5 。 从( 3 - 1 5 ) 和( 3 _ 1 6 ) 可以看出，系统一开始时误差信号比较大，满足( h l 口) ，根 据公式( 3 1 6 ) ，调整步长为2 声。当自动白平衡接近收敛时，误差信号比较小，满 足( 6 s hj 口) ，调整步长缩小为。当误差信号满足驰f 6 ) ，则认为已经达到 自平衡，增益不再做任何调整。 3 4 实验结果 为了验证本文提出算法的有效性，本小节给出测得的一些实验数据。 实验条件：采用硬件开发板，k o n l ：a 电视机，测试卡。 实验方案：选取三种不同的色温场景，测试本文提出算法在不同色温下白平 衡效果。利用色温计典型的色温值分别为3 7 0 0 k 、4 8 0 0 k 、7 4 0 0 k 。另外为了检测白 平衡的动态范围，还使用了色温为1 9 9 0 k 的蜡烛。 ：3 4 1 不同色温下白平衡的状态参数 # 由于前端未加自动曝光功能，所以在4 8 0 0 k 下手动调节曝光时间和通道增益， 使得图像达到一定的亮度。 初始实验参数：曝光时间设为4 0 m s g 1 通道增益a d d r e s s o x 2 b ：o x 3 5 。g 2 通道 增益a d d r e s s o x 2 e ：o x 3 5 r 通道增益a d d r e s s0 x 2 d ：0 x 31 b 通道增益a d