（电路与系统专业论文）数码相机教学系统设计.pdf

摘要 随着科学技术的不断发展，人们对客观事物的认识不断深化，2 0 世纪中叶信息科学、信息技术迅速发展。语言、文字、图像等都可作 为信息的载体。图像信息是信息科学中的一个重要组成部分，现代成 像系统是图像信息技术的基础。现代成像系统指的是以c c d c m o s ( 电荷耦合器件互补型金属氧化物半导体) 等光电面阵器件作为成像 平面接收图像信息的数码成像系统。 数码相机作为数码成像系统的代表，包含了现代成像系统的所有 基本特征，具有高新技术集合的特点。本文根据实验教学任务的需要， 提出了一套数码相机教学系统，以满足数字图像处理、d s p 技术等电 子信息类课程的实验教学要求。本套教学系统的特点包括： 1 重点突出，内容完整：作为一套以电子信息类课程实验教学 为目的而非商用的数码相机系统，本系统对数码相机的机械和光 学部分不作要求，重点集中于电子和算法部分；性能不是很高， 但是可实现完整的图像显示和捕捉功能。 2 结构灵活：可根据不同的需要对系统内容进行添加或删减。 3 知识点丰富：除了涉及数字图像处理和d s p 技术，还包括 u s b 、l c d 等实用技术。 4 易于扩展：由于软件和硬件之间的相对独立性，本系统也可 作为一个图像处理平台，用于其它图像处理算法的开发。 关键词： 数码相机教学系统d s pj p e gu s b a b s t r a d a b s t r a c t w i 也t h cd e v e l o p m c n to fs c i e n c ea n dt e c h n o l o g y ，j n f b r n l a t i o ns c i e n c e a n di n f o m l a t i o nt e c t l i l o l o g yd e v e l o pr a p i d l y s p e e c h ，t e x ta n di m a g ec a n c a r r yi n f o 加a t i o n i m a g ei n f o 姗a t i o ni sa ni m p o r t a n tp a no fi n f o m a t j o n s c i e n c e ，锄dt h eb a s eo fi m a g ej n f o 瑚a t i o ni sm o d e mi m a 舀n gs y s t e m m o d e mi m a g i n gs y s t e mr e f e r st o d i 酹t a li m a g i n gs y s t e m i nw h i c h c c d ，c m o sj su s e da si m a 垂n gp l a n et or e c e i v ei m a g ej n f o 瑚a t i o n o nb e h a l fo fd i 沓t a li m a g i n gs y s t e m ，d j 百t a ls t i l lc a m e r ah a sa c h a r a c t e f i s t i co fc o l l e c t i n gm a n yt y p e so fn e wt e c h n o l o 百e s a c c o r d i n gt o t h er e q u i r e m e n to fe x p e r i m e n t a lt e a c h i n 岛t h et u t o t i n gs y s t e mo fd i g i t a l s t mc a m e r ai sp m v j d e di nt h i st h e s i s i tc 孤b eu s e di nt i l ec o u r s e ss u c ha s d s p t e c h l l o l o g y ，d i 垂t a li m a g ep r o c e s se t c 1 t sa d v a n t a g e sj n d u d e ： 1 e m p h a s i so ne l e c t r o n i ci m 呼n g t l l es y s t e mi sd e s i 印e df o r e x p e r i m e n t a lt e a c h i n 岛n o tf o fc o m m e 埘a 1p u 巾o s e t h em e c h 柚i c a 】 锄do p t i c a lp a r t s “d 酒t a ls 伽c 锄e r aa r ei 印o r e d i tf o c u s e so n e k d m l l i ci m a g i n ga n dc o r r e l a t i v e p r o c e s s i n g a n d c o n t r o l l i n g a l g o r i t h m ao o m p l e t ep i c t u r ec a nb ec a p t u r e da n dd i s p l a y e db yi t ， b u tt h eq u a l i t yo fp i c t u r ej sn o ts oe x c c l l e n t 2 f 1 e x j b l es t r u c t u r e s o m e p a r t so ft i i es y s t e mh a r d w a r e 如d s o f t w a i ec a nb ea d d e da n dc u ta c c o r d i n gt ot h er e q u i r e m e n t 3 m 孤yk n a w l e d g ep o i n t s t h et e c h n o l o g i e st h a ta r ea p p l i e dt ot h e s y s t 锄i n c l u d en o t0 1 l l yd i 舀t a li m a g ep r o c e s s i n ga n dd s p ，b u ta l s o u s b l c de t c 4 e x p 蛐s 主b j l i t y 1 1 1 es y s t e mi sa l s ou s e da sad e v e l o p m e n tp l a t f b 唧 f o ri m a g ep r o c e s s i n g ，o nw h i c ho i h e ri m a g ep r o c e s s i n ga l g o r i t l i i i l s c a nb ed e v e l o p e d ，f o rt h eh a r d w a r ea 1 1 ds o f t w a r eo fi ta r er e l a t i v e l y i n d e p e n d e t k e y w o r d ：d s c ，t u t o f i n gs y s t e m ，d s p ，j p e g iu s b 1 l 概论 第1 章概论 1 1 课题背景与研究目标 随着微电子技术、超大规模集成电路技术与图像处理技术的不断 发展，越来越多的数码成像产品被开发出来，并广泛使用于医学、航 空、国防、民用、通信等领域。数码相机作为数码成像产品之一，具 有高新技术集合的特点，包含了数码成像系统的基本特征。有鉴于此， 本文提出了一套数码相机教学系统用于数码成像系统教学，使得学生 可以初步掌握数码成像系统的基本内容。 1 1 1 课题背景 1 数码相机的发展概况 1 8 9 6 年人类历史上的第一架相机问世。1 9 8 1 年以前，消费者一 直以来使用的都是模拟相机。在1 9 8 1 年，s o v 发布了m a v i c a 系统， 使用磁盘作为存储体，这标志着数字成像系统的开始。在1 9 8 8 年的 p h o t o l 【i n a 影视器材展览会上，州i 推出了和t o s h j b a 共同研制的第一 款数码相机f u j i x d s 1 p 。随后，在9 0 年的p h o t o l 【i n a 展会上，f u i ip h o t o f j l m 和o l y m p u s 同时推出了当今数码相机的雏形，使用a s i c 完成图 像压缩算法j p e g 。目前数码相机在商业应用和家庭应用中发挥越来 越大的作用【2 5 】。 数码相机和传统模拟相机的主要的差异之处在于图像的记录过 程：传统相机采用“卤化银”胶片作为成像器件，而数码相机采用 图像光电敏感元件作为成像器件。 从技术角度来看，未来数年数码相机的六大发展趋势：第一， c m o s 成像器件将逐渐在高、中和低端数码相机市场占据主流地位； 第二，o l e d 将取代髓t - l c d 成为主流的平板显示技术；第三， 概论 u s b o t g 技术将取代u s b l 1 2 成为下一代数码相机的主流外部接 口；第四，微型麦克风和扬声器也将成为下一代数码相机的标准配备； 第五，下一代数码相机将集成m p 3 播放器、数字f m 收音机和简单的 图像编辑功能；第六，向数码摄像机功能靠拢。 2 数码相机教学系统的应用和需求 目前，数字图像处理技术的教学只能依靠课本，或是借助v c + + 和m a t l a b 在p c 机上进行仿真实验。同时，商用的成像系统大都是成 品，从外部并不能了解成像过程的具体实现，也没有一套完整的实验 系统可供教学使用。对于数字图像处理的很多基本概念和数字处理过 程，学生并不是很容易掌握和理解，也没有很好的直观概念。本系统 正是针对这种状况而提出的。学生借助数码相机基本结构可以了解现 代数码成像系统的组成。同时本系统提供了灵活的结构，学生可以此 为平台开发自己的图像处理算法。 本系统也可作为d s p 的实验教学系统。学生可以此了解和掌握 d s p 系统开发过程中的软硬件设计流程，特别是1 m s 3 2 0 c 6 0 0 0 系列 在图像处理方面的应用。 1 1 2 研究任务和目标 掌握数码相机的结构，以及所涉及到的主要图像处理算法： 数码相机作为数码成像产品之一，具有数码成像系统的基本特 征：感光成像器件、模数转换器( a d ) 、数字信号处理、以及各种控 制电路等。 需要做的工作： 1 收集具有代表性的关于数码相机结构，以及所涉及到的各种 图像处理算法和控制电路的论文： 2 掌握数码相机的基本结构，分析各种算法的优缺点和应用背 景： 了解数码相机的理论基础，掌握图像处理技术的基本理论： 数码相机是以图像处理技术作为理论基础的，全面了解图像处理 2 概论 技术有助于更好的掌握数码相机的原理和发展方向。 需要做的工作： 1 全面了解图像处理技术的内容，特别是低层图像处理技术的 内容； 2 总结数码相机所涉及到的主要图像处理技术，并熟练掌握这 些技术。 研究d s p 图像处理系统的开发： d s p 作为数字信号处理的专用芯片，在数字图像处理方面有着巨 大的优势。在数码相机的系统中，d s p 更是作为核心部件控制所有电 子元件工作。 需要做的工作： 1 了解r i m s 3 2 0 c 6 7 1 1 芯片的特点： 2 熟练掌握c c s 开发工具，进行软件的开发和调试； 3 掌握1 m s 3 2 0 c 6 7 1 1 的硬件开发，特别是e m i f 的接口电路； 4 熟悉t m s 3 2 0 c 6 7 1 1 在图像处理领域的应用。 根据教学系统的特点，完成数码相机教学系统的开发： 根据教学系统的特点，设计和开发出数码相机教学系统，用于完 成一定的教学任务。本系统要求可以实现一个简化的数码相机，实现 图像的显示、捕捉和压缩等功能，但是并不要求获得很高的图像质量 和图像分辨率。系统还提供了灵活的结构，学生可以通过改变系统的 某些参数了解各种技术对图像质量的影响，同学也可以本系统为平台 开发各种图像处理算法。 数码相机教学系统的设计目标： 1 实现一个简化的数码相机系统，可以实现图像的显示、捕捉、 压缩和传输等基本功能； 2 提供数码相机的某些控制参数，学生可以借助p c 机对这些参 数调试，了解数码相机的成像过程和数码成像系统的基本原 理： 3 提供灵活的结构。学生在了解d s p 的软件编程之后，就可以 本系统为基础，进一步开发各种相关的图像处理技术。 3 概论 本套数码相机教学系统主要是为电子系的学生进行数字图像处 理课程教学设计的，涉及到大部分的数字图像处理的内容【2 9 】。同 时，由于系统在实现的过程中涉及到许多实际的应用技术，如u s b 、 d s p 等，所以也可以用于d s p 等课程的实验环节。 1 2 本文工作及论文结构 1 2 1 本文工作 要设计数码相机教学系统，首先要了解数码相机的基本系统结构 和自动控制系统，以及所使用的关键技术，整理出数码相机教学系统 的框架。数码相机涉及到的数字图像处理的基本理论，是数码相机教 学系统的主要内容。d s p 作为数码相机教学系统的控制核心，提供了 图像处理的平台。 搭建整个数码相机教学系统，可以实现图像的捕捉。给出一些具 体的实例，证实系统可以达到设计目标。 1 2 2 论文结构 本论文分为六章，各章的内容安排如下： 第1 章概述，介绍了本文的课题背景与研究目标，面临的挑战和 本文的工作、安排。 第2 章数字图像处理的基本理论，介绍了图像处理的基本概念和 图像处理技术，特别是图像压缩技术。 第3 章数码相机结构分析，包含了数码相机的硬件结构分析和软 件结构分析。 第4 章基于d s p 的图像处理，介绍了d s p 芯片的特点，特别是 t m s 3 2 0 c 6 7 1 1 芯片的特点，以及c 6 7 1 1 芯片的软硬件设计和c 6 7 1 1 在图像处理方面的优势。 第5 章数码相机教学系统设计，基于教学系统的特点，提出数码 4 概论 相机教学系统的整体设计方案。 第6 章数码相机教学系统实例与分析，给出一些可完成特定教学 任务的实例，并对这些实例进行分析。最后，总结了教学系统的优势 和需要改进的地方。 5 数字图像处理的基本理论 第2 章数字图像处理的基本理论 数字图像处理的基本理论为数码相机提供了理论基础。同时，为 了提高捕捉到的图像质量，数码相机采用了许多低层图像处理技术。 图像压缩技术用来减小图像尺寸，便于图像数据的保存和传输。 2 1 图像处理的基本概念 在广义的图像处理领域内，图像处理技术包含三个层次：图像处 理、图像分析、图像理解。就数码相机而言，目的是为了捕捉到一幅 质量较高的图像，所采用的技术属于基础的低层图像处理，这些技术 包含图像的采样和量化、图像增强、图像还原、图像压缩等。 而在进行图像处理时，为了便于分析和描述，常借助数学模型概 念，将平面图像看成是一个二维线性空间不变系统，并将图像的坐标 系选定为以横轴( x 轴) 以右方向为正方向，纵轴( y 轴) 以下方向 为正方向。 对于数字图像而言，图像是一个二维的样本值序列 x 【，b ，玎2 】，o 咒l ，o s 玎2 乞( 2 1 ) 其中，1 和 分别是垂直和水平方向的宽度。第一个坐标n ，作 为行索引，第二个坐标月：作为列索引。样本值x 【n 。，n ：】表示图像在位 置【n 。，n ：】的强度( 亮度) 。样本值通常是b 位的有符号或无符号整数。 2 2 图像处理技术 图像技术是对视觉图像获取与加工处理技术的总称。图像技术可 分为三个层次：图像处理、图像分析、图像理解。这三个层次的有机 6 数字图像处理的基本理论 结合称为图像工程。图像处理是较低层的操作，主要在图像像素级上 进行处理。这些技术包含： 图像采样：对图像的采样要根据二维采样定理求解。如果不 能满足采样定理，在重现图像时就会产生失真。 图像量化：经过图像采样得到的图像数据只是在空间域上实 现了离散化，还需要将信号进行a d 转换实现灰度值的量化。 通常采样的a ，d 转换器是8 b j t 或1 0 b i t 。 图像还原：图像在捕捉过程中引入的噪声会使图像退化，图 像还原就是借助已知的图像退化的数学或概率模型对退化的 图像进行重建和恢复。在一般图像处理技术中常见的噪声可 分为：加性噪声、乘性噪声和量化噪声等。在数码相机中主 要是针对由于透镜的不完美而在图像捕捉过程中引入的噪声 进行图像还原。 图像增强：采用图像增强技术能够显现那些被模糊的细节， 或者是想要突出图像中感兴趣的特征，以达到某种特定的要 求。数码相机在预捕捉阶段采用了a w b 、a e 和a f 三个图 像增强技术，以期获得更好的图像质量。 图像压缩：获得一幅数字图像数据后，为了便于保存和传输， 利用图像存在的冗余性，可根据某种算法对图像数据进行压 缩。在目前的数码相机中，大多采用的是j p e g 压缩标准。 由于图像压缩算法是图像处理的核心，在2 4 节进行单独讨 论。 2 3 色彩空间 色彩是人的视觉系统对光谱中可见区域的感知效果。它仅存在于 人的眼睛和大脑中。为了准确地描述颜色，必须引入彩色空间的概念。 常见的3 个基本彩色模型是r g b ，c m y k 和y u v 。 r g b 是计算机中最常见的色彩空间。通过红、绿、蓝3 基色的相 加来产生其他的颜色，应用于计算机图形、成像系统和彩色电视之中。 7 数字图像处理的基本理论 而c m y k 色彩空间是通过颜色相减来产生其他的颜色，应用于印刷 工业。而y u v 或y i q 或y c b c r 彩色空间则描述灰度和色差的概念， 由于易于实现压缩，方便传输和处理，被广泛应用于计算机视频和图 像处理之中，如j p e g 和m p e g 。 y u v 是一种基本色彩空间，其中y 指颜色的亮度( l u m i n a n c e 、 b 五譬l l t n e s s ) ，其实y 就是图像的灰度值，而u 和v 则是指色调 ( c h m m i n 柚c e ) ，即描述图像色彩及饱和度的属性。 2 4 图像压缩概述 图像作为二维的样本值序列，在没有任何压缩的情况下，需要用 1 2 占位表示。但是图像本身存在的统计冗余性以及各种不相关性使 得图像数据存在了被压缩的前提。从信息论观点来看，图像作为一个 信源，描述信源的数据是信息量和信息冗余量之和。数据压缩本质上 是减少这些冗余量，从而减少数据量而不减少信源的信息量【5 】。 2 4 1 图像压缩的分类 图像压缩可以根据图像在压缩过程中是否发生了信息量损失分 为两类：无损压缩和有损压缩。 无损压缩的主要目的是在没有任何图像信息损失的条件下原图 像样本所需要的位数最小。也就是要求在解压过程中可理想的重建每 个样本的全部口位。所以，无损压缩通常很难达到很高的压缩要求。 因此，常应用于医学或是文本、图形等非自然图像上。 然而，人类视觉系统可以容忍很大的信息损失而不妨碍对图像场 景的感知。对于图像压缩而言，一定的信息损失一般来说是可以接收 的。而且，数字图像本身也不是对真实场景的完全描述。正是由于图 像的冗余性使得压缩过程中损失较小的信息量，就可以很大程度的降 低表示图像所需的位数。有损压缩的主要目的是在允许的失真水平上 8 数字图像处理的基本理论 使表示图像所需要的位数最小。对于有损压缩通常采用均方误差 ( m s e ) 进行失真度量，均方误差最常根据其等价的倒数峰值信 噪比( p s n r ) 来引用。 2 4 2 压缩度量 图像压缩的目的是用一串二进制数字或“位”来描述图像，被称 为压缩“位流”，常用c 表示。压缩的目标是保持位流长度1 | c | | 尽可能 的短。在没有任何压缩的情况下，描述图像样本值需要1 ，b 位，因 此，定义压缩比为 压缩比= l 2 曰州c 4 ( 2 2 ) 可以定义与压缩比等价的压缩比特率，用b p s ( 位每样本) 表示，为 比特率( b p s ) = | | c | | 2 ( 2 3 ) 对于有损压缩而言，位深度大的图像的最低有效位常常可以丢弃而不 会引入很大的视觉失真。这样不管样本原来以什么精度表示，表示每 一个图像样本所花费的平均位数常常是更有意义的压缩性能度量。 2 4 3 压缩系统的组成单元 图2 1 中把压缩系统以及随后的解压缩系统分别画成两个映射， m 和m 。对于无损压缩，要求m = m 。然而，对有损压缩，m 是不可逆的，记号m 。1 表示系统近似的逆。可以把压缩器看成包含 2 川2 。项的巨大查找表。 图2 1 编码方式结构 9 数字图像处理的基本理论 图2 2 给出了最常用的图像压解码系统的结构图，可以看出在一 个压缩系统中包含三个主要的单元：变换、量化、编码。 变换：变换的目的是将原图像的样本变换为另一个新的样本 集，新生成的变换样本集要具有易于压缩的特点，也就是使 其后的量化和编码运算相对简单。常用的变换有离散余弦变 换( d c t ) 和小波变化等。 量化：量化是使用量化系数序列近似表示变换样本的过程。 量化系数序列集一般要比变换样本集小的多。并且量化要对 编码器引入失真负全责。因此在解压器中采用的是近似的逆 q 。对于无损压缩而言是不存在量化的。常用的量化有标 量量化和矢量量化等。 编码：根据量化系数序列的统计特性，按着一定的码流组织 格式表示量化系统，使其熵达到最小。常见的有h u m n a n 编 码，算术编码等。 剖：釜，h 盏俐当旧 2 4 4j p e g 图2 1 2 图像压解码系统结构图 j p e g 一词是联合图片专家组( j o i n tp h o t o 掣a p h i ce x p e r t sg r o u p ) 的缩写，是c c h l 和l s o 联合努力的结果【4 1 。1 9 9 1 年产生了第一个 j p e g 草案。为了满足各种应用不同的需求，j p e g 标准包含了两个具 有不同操作的基本压缩方法。基于d c t 方式的是有损压缩，基于预 测方式的是无损压缩。 图2 0 中给出了基于d c t 模式的j p e g 的关键操作步骤，j p e g 1 0 一b a s 曩谳旷茜酉 和) = 翱c ( “) 穆埘o o s 垒# o o s 华偿4 ， 如y ) = 辘扣) c ( 忡，v ) 。c o s 学o o s 鱼学】( 2 5 ) 其中； c ( “) ，c ( v ) = 1 三，当“，v = o ； c ( “) ，c ( v ) = 1 ，其他。 d c t 系数值被认为是6 4 点输入信号的二维空间相对频率。在二 维空间的0 频率处的系数被称为“d c 系数”，而其它的6 3 个系数被 称为“a c 系数”。因为在一幅图像中，从一个采样点到另个采样点 的值变化通常是很慢的，经过d c t 变换后在较低的空间频率上会集 数字图像处理的基本理论 中大多数的信号。而整个空间频率的值大都为o 或是接近为o ，这样 的值就不需进行编码处理。 从d c t 输出的数据，要使用一个6 4 元素量化表进行统一的量化。 每一个元素取值范围是从1 到2 5 5 的整数，代表的是相应d c t 系数 的量化步长。量化是一个多对一的映射，是有损的过程。 量化过后，d c 系数和a c 系数会进行不同的处理。因为相邻的8 8 块的d c 系数之间具有很强的相关性，常对d c 之间的差值进行 编码。j p e g 输出第一个d c 系数的编码后，就只输出相继数据单元 d c 系数的差值编码。然后所有的量化系数都以z i g - z a g 序列( 见图 2 4 ) 进行排列，这种排列有助于将低频系数排列在高频系数之前，方 便进行熵编码。 12671 51 6 2 8 2 9 3581 4 1 72 7 3 04 3 491 3 1 8 2 6 3 14 24 4 1 0 1 2 1 9 2 53 2 4 l4 55 4 1 12 02 43 3 4 04 65 3 5 5 2 1 2 33 4 3 94 75 25 66 1 2 23 53 84 85 15 7 6 06 2 3 63 74 9 5 05 85 96 3 6 4 图2 - 4z j g a g 扫描次序 j p e g 标准中提供了两种熵编码模式h u 自h n a l l 编码【9 】和算术 编码。由于算术编码的实现要比h u m n a n 编码更复杂，因此在实际中 很少使用。这里主要介绍哈夫曼编码：哈夫曼编码是变字长编码。在 变字长编码中，编码器的编码输出是字长不等的码字，按编码输入信 息符号出现的统计概率，给输出码字分配不同的字长。对于编码输入 大概率的信息符号，赋予短字长的输出码字；对于编码输入小概率的 信息符号，赋予长字长的输入码字。可以证明，按照概率出现大小的 顺序，对输出码字分配不同码字长度的变字长编码方法，其输出码字 的平均码长最短，与信源熵值最接近。 哈夫曼编码的具体步骤归纳如下： 1 概率统计( 如对一幅图像或m 幅同种类型图像作灰度信号统 数字图像处理的基本理论 计) ，得到n 个不同概率的信息符号 2 将n 个信源信息符号的n 个概率，按概率大小排序 3 将n 个概率中，最后两个小概率相加，这时概率个数将减少 为n 一1 4 将n 一1 个概率，按大小重新排序 5 重复步骤3 ，将新排序后的最后两个小概率再相加，相加的 和与其他概率再排序 6 入席反复重复n 一2 次，得到只剩两个概率的排序 7 以二进制码元( o ，1 ) 赋值，构成哈夫曼码字，编码结束。 哈夫曼码字长度和信息符号出现的概率大小次序正好相反，即大 概率信息符号分配码字长度短，小概率信息符号分配码字长度长。 数码相机结构分析 第3 章数码相机结构分析 根据系统设计的需要，本章着重分析了数码相机的电路部分内 容，而忽略数码相机的光学和机械部分的内容。 3 1 数码相机概述 数码相机让光信号通过透镜投射在图像传感器上，在传感器上将 光信号转化成电信号。电子电路( a d ) 将这些信号转换成数字值， 并添加彩色信号信息。为了减小数据尺寸，通常要进行数据压缩，并 将得到的数据保存在片内或是片外的存储器上。许多数码相机都有 l c d 显示器，用户可通过l c d 即时检测图像。此外，也可通过视频 输出终端在t v 显示器上进行图像回放【3 】【2 6 】。 数码相机的光电成像原理、系统组成和数字影像结构决定了其具 有以下特点： 即时显示拍摄效果； 支持重拍； 更宽的曝光控制范围； 色彩趋于饱和； 便于后期图像处理； 准确复制和长期保存； 方便快捷的通信方式： 节省时间空间： 环保无污染。 数码相机为了减少电子器件的个数，采取软硬件结合的方式共同 处理图像数据。这样既可以缩短数据处理时间，也可以保持一定的灵 活性。系统软件部分指的是由微处理器执行的信号处理过程，硬件部 分指的是专用l s l 。前者具备一定的灵活性，使得信号处理算法可以 1 4 数码相机结构分析 很容易进行修改，然而，处理速度很难实现图像的实时显示：后者可 以实现高速信号处理，但是需要占用很大体积。 3 2 数码相机的硬件结构 数码相机基本结构如图3 1 所示。从总体来说，数码相机是通过 光学成像系统将客观景物成像在面阵光电转换器件( c c d 或c m o s ) 表面，并通过机械或电子快门对光通量和光电饱和电流的控制，获得 合适的图像光电信息。后继电路处理部分通过并行或串行扫描获取光 电转换器件上的信息，经过模拟信号放大、a d 转换形成数字图像。 随后由d s p 电路处理并压缩图像文件。得到的数字图像信息可通过 l c d 显示，也可存入各种规格的存储介质中。 快门控制 成像物镜也等快门 c c d ， c m o s 对焦控制il 快门控制 r a m ， 7 l a s h 号处理u a ，d 转换l 一 d s p 3 2 1 光学系统结构 l c d 液晶显示 图3 1 数码相机基本结构 计算机 打印机 光学系统是数码相机接收客观景物信息的眼睛，是决定相机成像 质量的关键之一。数码相机的光学系统与传统相机的光学系统在功能 上基本一致。成像光学镜头完成将外界景物成实像于光电面阵器件上 的任务。系统由位于前部的成像物镜和后部的低通滤波片组成。低通 数码相机结构分析 滤波片的作用是，将对提高系统成像整体分辨率无贡献的高频部分过 滤掉。通常是由两片石英晶体制成，第一块晶体的上表面镀有光学增 透膜用于降低入射光能量的损耗，第二块晶体的上表面镀有红外滤波 膜，以减少红外辐射对光电探测器件的影响。 3 2 2 成像光电器件c c d c m o s 数码相机在获得一幅高质量的图像之前需要执行多个处理步骤。 首先要实现图像捕捉。场景的亮度分布通过光学系统映射到光电成像 器件上。通过一个色彩滤波器，光电成像器件可捕捉到图像中每一个 像素点的某一色彩分量值。滤波器通常采用的是c f a ( c o l o rf i l t e r a a y ) 形式。不同的厂商会使用不同色彩滤波模式，较为常用的是 r g b b a y c r 模式，图3 2 给出的是b a y e r 模式中一个常用的子集。 恻3 - 2 一种r g b b a y e r 模式 可见光范围内的成像光学器件主要有c c d 、c l f 、c m o s 等传感 器，其中应用最广泛的是c c d 和c m o s 。 c c d c m o s 固态图像传感器在光检测方面都是利用了硅的光电 效应原理，不同在于光生电荷的读取方式。c c d 器件是由微型光电二 极管来记录图像的光强分布，再通过电荷的逐个依次转移读出每个像 素上的电荷量。根据电荷转移方式的不同分为帧转移c c d 、行转移 c c d 和开关型c c d ；c m o s 器件则是靠m o s 芯片上所制造的微型光 电阵列来记录图像的光强分布，并由c m o s 开关整理控制每个像素电 荷信号的读取，其中行控制电路和列控制电路分别控制一个行开关和 一个列开关，由此决定输出那个像素的光电信号。 目前，c c d 技术已经比较成熟，并广泛的应用于数码产品中。但 是，c m o s 技术可以将光电成像器件阵列、各种驱动和控制电路、模 1 6 数码相机结构分析 数转换器、信号处理电路等完全集合在一个芯片上，且具有功耗低等 特点，也获得了广泛的应用。 3 2 3 模拟前端( a f e ) 从成像光学器件输出的图像信号，要进行一些模拟信号处理和 a d 转换，才能发送给d s p 进行数字信号的处理，这些操作是由a f e 完成的。a f e 包含了c d s ( c o e l a t e dd o u b l es 锄口l e r ) 、v g a ( v 撕a b l e g a i na m p l i f j e r ) 、，d 转换器，有的还包含黑色电平箝位电路。 模拟前端的第一级通常是输入嵌位电路。图像传感器输出的信号 中含有o 9 v 或更高的共模电压成分，与模拟前端之间必须采用交流 耦合。输入嵌位电路的作用是根据模拟前端供电电压的高低从信号中 恢复出优化的信号直流份量。 输入嵌位电路之后是采样函数电路。采样函数一般是互相关双采 样( c d s ) 的方式：每个像素采样两次，一个对应于复位电平另一个 对应于视频电平，采样函数的输出是两次采样的差值。模拟前端的采 样函数一般是采样保持放大器( s h a ) 的形式。 程控增益放大器位于采样函数电路之后，信号需放大到a d 转换 器要求的电平，并充分利用d 转换器的动态范围。黑色电平嵌位电 路应在增益放大电路之前，以防动态范围受到不良影响。 3 2 4d s p d s p 芯片作为数码相机的主要系统部件，实现了绝大部分的功能。 在d s p 芯片的“图像通道”中要执行的操作有：黑色补偿、镜头光照 度补偿、缺陷像素修补、白平衡、自动曝光、y 校正、c f a 插值、色 空间转换、边界增强、假彩色抑制、自动对焦、图像压缩等1 2 个方 面的图像运算和处理。从搋接收到的数字图像数据就需要在“图像 通道”完成相应的处理后，才能进行数据存储和传输。所以，d s p 芯 1 7 数码相机结构分析 片就是数码相机的c p u 的核心。 3 2 5l c d 利用液晶显示屏( l c d ) 作为数码相机的人机接口界面，可以显 示通过c c d c m 0 s 器件接收的、经过d s p 预处理后传来的图像以及 操作界面。l c d 显示质量的高低往往取决于l c d 像素的大小和制造 水平。为保证取景显示速度，通常l c d 取景显示的像素要远远低于 c c d c m o s 得到的像素。l c d 取景目前还存在跟踪速度不高、对比 度差、视角范围窄等缺点。 3 3 数码相机的软件结构 数码相机的软件结构主要是d s p 上实现的“图像管道”，以及相 关的控制操作【6 】。 3 3 1 自动白平衡( 删b ) 一件物体在不同色温的光源下会呈现不同色彩，数码相机捕捉图 像可能会在不同的光源条件下。例如，白色的物体在低色温的光源条 件下，会泛红；在高色温的光源条件下，会泛青。由于人眼的色彩一 致性( c o l o rc o n s t a i l c v ) ，人并不会辨别这些色差，而数码相机必须对 这种光源引入的色差进行补偿。 在一般的自动白平衡电路中，都会包含一个白色检测电路，一个 白色偏移检测电路，白色偏移校正电路。对于来自传感器的一个彩色 视频信号大都被分解成红、蓝和绿色成分，或者是彩色空间的其他成 分。每个色彩成分的信号都有自己的放大器，通过将这些放大器调整 到不同的增益，合成后的信号就可以被修正到“真f ”的颜色。有关 的a w b 算法可参见文献f 8 1 。 1 8 数码相机结构分析 3 3 2 自动对焦( a f ) 一般数码相机在实现对焦的过程中包含光学变焦( o p t i c a lz o o m ) 和数码变焦( d i 垂t a lz o o m ) 。光学变焦是通过改变变焦镜头中各镜片 的相对位置来改变镜头的焦距。数码变焦是通过改变成像面的大小实 现变焦。数码变焦并没有改变镜头的焦距。下面主要讨论光学变焦。 在相机中使用的对焦技术，包括使用一个红外( i r ) 传感器系统 来探测场景中主要对象的距离，再根据物理成像原理实现对焦。测量 的方法是相机的i r 发射器发出一个脉冲信号到场景中心的主要对象， 而1 r 接收器会记录返回的信号。通过来去信号的时差计算相应的距 离。然后再控制电子马达将透镜放到正确的位置实现对焦。 后来发展出基于图像对比度的自动对焦技术。实现准确对焦的图 像比存在一定模糊量的图像具有更好的图像对比度。而且当一幅实现 准确对焦的图像呈现清晰的结构和边缘时，其自相关曲线顶部窄而 高；如果图像模糊，则自相关曲线顶部宽而低，对焦最清晰的图像就 对应着顶峰最尖锐的自相关曲线。所以，在某种方面，自动对焦的思 想和图像的边界检测思想有些相似。使用图像对比度法和功率谱分析 法可以作为对焦评价函数，当镜头完全对焦时会出现极值或尖峰。由 此，可以得知准焦位置并控制反馈电路或伺服电机驱动成像透镜的移 动。 这种技术的缺点就是在稍微离焦和完全对焦两种情形下，自相关 函数的宽度很相近，容易造成对焦的不准确。因此又提出了基于小波 变换的相关函数方法【1 9 】。通过小波变换来增强图像的某些局部化特 征，使得稍微离焦和完全对焦的差异放大，实现精确对焦。 3 3 3 自动曝光( a e ) 在一个光电成像器件上，所能得到的光电信号一般在5 0 个电子 到1 0 0 ，0 0 0 电子之间，比例是1 ：2 0 0 0 。而客观景物的亮度变化，从 1 9 数码相机结构分析 夜晚的夜光下到夏天正午的强烈阳光下，照度的变化比率大约在1 ： 1 ，0 0 0 ，0 0 0 ，o o o 。因此必须通过曝光控制，使成像器件得到合适的曝光 量。 机械快门：数码相机的机械快门和传统相机的快门在结构上相 似，但只是作为辅助构件，其起到的作用是产生一个全遮光的瞬间， 并以此记录光电器件各像素的暗电流信息。另外就是当成像器件上的 数据输出时，使用机械快门进行全遮光确保各个图像像素具有相同的 曝光时间。所以，数码相机中机械快门的工作流程是：机械快门通常 处于开启状态，进行曝光时，首先关闭快门并清除面阵成像器件上已 有的电荷，记录各像素暗电流的水平；然后进行曝光；曝光结束后， 再关闭快门，并将图像电信号传输和处理。 数码相机控制曝光量的快门是电子方式的，用m o s 开关的方式 控制光电成像器件的感光时间，其控制最小单位可达微秒( u s ) 量级。 成像器件的电子快门总的来说可以分为两类：全景快门模式( m o b a l s h u t t e r 肿d e ) 和卷动快门模式( r o l l i n gs h u t t e rm o d e ) 。卷动快门模式 指的是成像器件的某一行内的所有像素都是在相同的时间内聚集光 子，但是每一行聚集光子的起始时间和结束时间会稍有不同。成像器 件的第一行总是最先聚集光子，也是最先结束的。后一行聚集光子的 起始时间和结束时间要比前一行稍稍有些延迟，这样对静态图像没有 影响，不过对高速移动的图像就会产生图像变形。所以，对于捕捉高 速移动的图像理想方案是使用全景电子快门模式。该模式和传统数码 相机中的机械电子快门的性能相似，允许对整个像素数组进行同时综 合，并且在图像数据读出过程中防止曝光【1 0 】。 如图3 3 所示，数码相机的自动曝光系统是一个1 阻( 1 n h r o l l g l l t h e k n s ) 测光和控制系统【3 2 】。数码相机的自动曝光系统要求具有很好 的实时反馈能力，在快门释放后的很短时间内，就能根据实际图像的 情况完成曝光量的调整。在曝光控制过程中有两个重要的参数：所选 取的测光区域和亮度测量参数。 在曝光信号的处理中，没有必要运算所有的像素，只对部分像素 进行采样分析即可。常见的有中央测光、平均测光和区域测光。 数码相机结构分析 亮度测量参数最常用的是曝光量合成值，此外，还有h i s t 等。 根据亮度测量参数，c p u 选择最佳的快门速度和镜头光圈等参数，使 得数码相机捕捉的图像获得最佳曝光。 盛器h c o n 嚣凝嗽hc o n 令嚣淝rh d s r c m 0 s c o n s t r o l l e r 。1c o n v e r t e rf 。1 1 u 。1 l r i s iis h u t t e r ld ，a d r i v e rlld r j v e riid r l v e r 图3 - 3 a e 系统框图 曝光量合成值是景物亮度、快门速度、电路增益和镜头光圈数的 函数 = 女，三x g s ，2( 2 6 ) 数码相机首先对曝光控制参数g ( 电路增益) 、s ( 快门速度) 、f ( 镜 头光圈数) 进行初始化，根据所选取的测量区域的亮度可以获得曝光 量合成值( o ) ，这样通过下式可以计算出景物亮度 l = ( 三( o ) x f 2 ) ( 女，g x s ) ( 2 7 ) 通过该亮度值可以反过来调整曝光控制参数，直到获得正确的曝光数 据。利用其他的亮度测量参数也可以调整这些曝光控制参数，使得图 像可以获得最佳曝光。 3 3 4 图像压缩 数码相机的图像压缩大都采用j p e g 格式，详细内容请参见2 4 4 。 随着j p e g 2 0 0 0 标准的发布，下一代的数码相机的图像压缩可能会采 2 1 s im 朝口附o 要 堑型望塑竺塑坌堑 用基于离散小波变换( d w t ) 和最优截断嵌入式块编码( e b c o t ) 的j p e g 2 0 0 0 的压缩格式【3 1 】。 3 3 5 图像数据传输 数码相机捕捉到的图像数据经过压缩之后，既可以存储到存储卡 内，也可以通过数据输出接口将图像数据发送到p c 或是网络上。 图像数据的输出接口通常分为两类：有线u s b 接口和基于 m e e 8 0 2 1 1 b 标准的无线传输构架。这里只简单介绍u s b 标准。 1 u s b 协议： u s b 是u n i v e r s a ls e r i 心b u s 的简称。u s b 协议版本包括u s b1 o 、 u s b1 1 和u s b2 o ，u s bo t g 是对2 0 版本协议的补充。这里以1 1 版本进行介绍【7 】。 一个u s b 系统包含三个部分：u s bi n t e r c o n n e c t 、u s bd e v i c e s 和 u s bh o s t 。u s b 互连指的是u s b 设备和u s b 主机之间连接和通信的 模式。 u s b 主机：在任何u s b 系统中只有一个主机。主机负责： 检测u s b 设备的接入或移除； 管理主机和u s b 设备之间的控制流； 管理主机和u s b 设备之间的数据流； 获取状态和事件的统计信息； 为接入的u s b 设备提供电源。 u s b 主机端的系统软件管理u s b 设备和设备软件之间的相互作 用。在u s b 系统软件和设备软件之间有五个方面的相互作用： 设备枚举和配置； 同步数据传输； 异步数据传输； 电源管理； 设备和总线管理信息。 u s b 设备：所有的u s b 设备都是通过枚举过程时分配的地址访 数码相机结构分析 问的。每个u s b 设备都支持一个或多个管道，主机通过这些管道和设 备进行通信。所有的u s b 设备在端点o 都必须支持一个特定的管道作 为控制管道，并支持一个通用的访问机制来获取信息。在端点o 的控 制管道中提供的信息要完整的描述u s b 设备。存在两种主要的设备 类：h u b 和f i l n d i o n 。 f u n c t i o n 指的是通过总线发送和接收数据或控制信息的u s b 设 备。每个f u n c t i o n 都包含了一些必需的配置信息。在一个f i l n c t i o n