（光学工程专业论文）基于dsp和fpga的嵌入式数码影像采集系统的研究.pdf

中文摘要 摘要 本课题的研究内容属于重庆市信息产业局科技攻关项目“数码相机整机及关键 技术研究”的一部分，研究的重点是如何基于t m s 3 2 0 c 6 7 1 1 d s k 和f p g a 建立嵌 入式实时数码影像采集系统，实现数码影像的采集、简单处理、存储和显示功能。 本文详细论述了嵌入式实时数码影像采集系统的设计思路、硬件选型和具体的 开发过程。主要论述了t m s 3 2 0 c6 7 1 1 d s k 和f p g a 在数码影像采集、数据存储、 数据显示模块中的应用以及各个模块的具体结构和功能。 本系统主要由t m s 3 2 0 c 6 7 1 1 d s k 和扩展板组成。其中扩展板由数码影像采集 模块、解码模块、f p g a 模块、数据存储模块和液晶显示模块组成，完成前端的数 码影像采集、解码、存储以及显示的功能。t m s 3 2 0 c 6 7 1 1 d s k 负责数据的处理部分。 扩展板也可以脱离1 m s 3 2 0 c 6 7 1 1 d s k 单独工作。 本文首先介绍了数码影像前端的采集过程，详细介绍了信号的来源、定义以及 如何通过a t 8 9 c 2 0 5 1 单片机初始化解码芯片s a a 7 1 1 3 的内部寄存器，确定解码芯 片的工作模式。接下来详细论述了如何在n t s 3 2 0 c 6 7 1 1 d s k 中进行数据处理，给 出了软件的流程图，并介绍了t m s 3 2 0 c 6 7 1 1 d s k 开发平台和相关的背景知识。接 下来详细论述了= d 显示部分的原理和l c d 控制器的具体设计过程以及f p g a 在 本系统中和各个模块接口的具体硬件连接方法和具体功能的实现，并介绍了f p g a 开发平台和相关的背景知识。给出了各个部分具体设计的程序模块图。还探讨了在 f p g a 中运用嵌入式精简指令集处理器软核n i o s 以及软式d s p 核的问题，并讨论 了多电压集成电路的电源设计以及p c b 电路板设计的流程和具体应用中的经验和 总结。最后给出了实验和结论。还就进一步需要解决的问题作了说明。 本系统在将f p g a 用于协助d s p 进行数据处理方面作了尝试。本文从方案的分 析到系统的设计，较详细的分析了系统的总体实现和各个模块细节的功能，部分关 键模块仿真结果证明该方案的实现是可行的。 本系统还在单芯片可编程系统( s o p c ) 方面作了尝试，通过利用一片f p g a 里面的剩余空间集成一到多个柔性的软式c p u 或一到多个自定制的d s p 可作为外 部c p u 或d s p 高速协处理器甚至抛弃外部c p o 或d s p ，大大降低硬件的成本和风 险，提高硬件的灵活性。 本系统具备活动数字图像信号的输入( 即采集) 、输出( 即显示) 和处理等功能。 通过与其他软、硬件的灵活组合可以实现和活动视频有关的大部分功能如嵌入式视 觉测量、嵌入式模式识别、嵌入式图像压缩与传输等。 本系统能够实现实时的数码影像采集，存储以及灰度图像和视频显示功能。除 重庆大学硕士学位论文 此之外本系统还可以应用于工程中影像法和图像处理中前端采集的实际问题和视频 监视等领域。 关键字：t m s 6 7 1 1 d s kf p g a 数码影像采集图象处理l c d 英文摘要 a b s t r a c t t h ec o n t e n to ft h i s s u b j e c t i so n ep a r to ft h ec o m p l e t e a p p l i a n c ea n dt h ek e y t e c h n o l o g yr e s e a r c ho fd i g i t a lc a m e r aw h i c hi st h et a c k l ek e yp r o b l e mo fs c i e n c ea n d t e c h n o l o g yo fb u r e a uo fi n f o r m a t i o ni n d u s t r yo fc h o n g q i n g t h ek e y o ft h i ss u b j e c ti s h o wt od e s i g na n dr e a l i z et h ee m b e d d e dr e a lt i m ed i g i t a li m a g e a c q u i s i t i o ns y s t e mb a s e d o nf p g aa n dt m s 3 2 0 c6 7 1 1 d s kt or e a l i z et h ec o l l e c t i o n ，p r o c e s s i n g ，s t o r ea n d d i s p l a yf u n c t i o n o ft h ed i g i t a li m a g e t h ea u t h o ri n t r o d u c e dd e v e l o p m e n t p r o c e s s ，d e s i g n f l o wa n dt h eh a r d w a r ec h o i c e t h ea u t h o rf o c u s e dt h e a p p l i c a t i o n o ft m s 6 7 1 1 d s ka n df p o ai n d i g i t a li m a g e a c q u i s i t i o n ，d a t ap r o c e s s i n ga n d h a r d w a r ec o n t r o ld e s i g no fa n dl c dm o d u l ei nd e t a i l ， 船w e l la st h ef r a m e w o r ka n df u n c t i o no ft h et h r e e p a r t s t h i ss y s t e mi n c l u d e st m s 3 2 0 c 6 7 1 1 d s ka n dd a u g h t e r c a r d t h ed a u g h t e r c a r d i n c l u d e sv i d e o a c q u i s i t i o nm o d u l e ，d e c o d e m o d u l e ，f p g a m o d u l e ，d a t a s t o r a g e a n d l c d d i s p l a ym o d u l e t h ed a u g h t e r c a r dr e a l i z e dt h ev i d e oa c q u i s i t i o n , d e c o d e ，s t o r a g e a n dl c d d i s p l a yf u n c t i o no f t h ef r o n te n d t h ed a u g h t e r c a r dc a nw o r k i n d e p e n d e n t l y ， a s w e l l f i r s t l y ，t h e a u t h o ri n t r o d u c e dt h ea c q u i s i t i o no f d i g i t a li m a g e f r o n te n d t h ea u t h o r i n t r o d u c e dt h eo r i g i na n dt h ed e f i n i t i o no fd i 鲥a li m a g es i g n a la n dh o wt oi n i t i a l i z et h e i n n e r r e g i s t e ro fs a a 7 1 1 3t h r o u g ht h ei op o r to f a t 8 9 c 2 0 5 1t od e f i n et h em o d eo ft h e s a a 7 1 1 3 s e c o n d l y ，t h e a u t h o ri n t r o d u c e dh o wt od e a lw i t ht h ed a t ai n t m s 3 2 0 c 6 7 1 1 d s ki nd e t a i l ，t 1 l ea u t h o rp r e s e n t e dt h es o f t w a r ef l o wc h a r ta sw e l la s t h ek n o w l e d g eo ft m s 3 2 0 c 6 7 1 1 d s kd e v e l o p m e n tf l a t f o r m t h i r d l y ，t h ea u t h o r i n t r o d u c e dt h ep r i n c i p l ea n d d e v e l o p m e n to f l c dc o n t r o l l e r ，a sw e l la st h ei n t e r f a c e a n df u n c t i o no ff p g aa n ds a a 7 1 1 3m o d u l e ， s t o r a g em o d u l e ，l c dm o d u l e ， t m s 3 2 0 c 6 7 1 1 d s ko n eb yo n ei nd e t a i l t h ea u t h o rp r e s e n t e dt h et o pm o d u l e p r o g r a m c h a r t so fe v e r yp a r t f o u r t h l y ，t h ea u t h o ri n t r o d u c e dt h ep o w e rd e s i g np r i n c i p l eo f m u l t i p l e v o l t a g ea s i ca n dt h ef l o wo fp c bd e s i g n ， a sw e l la st h ee x p e r i e n c ea n d s u m m a r y t h ea u t h o ra l s od i s c u s s e dt h ep i p e f i n e dg e n e r a l - p u r p o s er i s cm i c r o p r o c e s s o r a n dd e d i c a t e dd s pb l o c k si nf p g a t h i s s y s t e m r e a l i z e dt h ee m b e da c t i v e d i g i t a li m a g ea c q u i s i t i o ns y s t e m w i t h f u n c t i o no ft h ei n p u t ( c o l l e c t i o n ) ， o u t p u t ( d i s p t a y ) a n dp r o c e s s i o no fa c t i v ei m a g e s i g n a l t h i ss y s t e mh a st h ea b i l i t yo f t h em o s tf u n c t i o no fa c t i v ev i d e os u c ha se m b e d d e d i n 重庆大学硕士学位论文 v i s i o nm e a s u r e m e n t ，e m b e d d e d p a t t e r nr e c o g n i t i o n ，e m b e d d e di m a g ec o m p r e s s i o n a n d t r a n s m i s s i o n t h ea u t h o ra t t e m p t e dt h ec o p r o c e s s i o no ft h ef p g aa n dt m s 3 2 0 c 6 7 l l d s kt h e a u t h o ri n t r o d u c e dt h es c h e m ea n a l y s i sa n ds y s t e m d e s i g n i nd e t a i l t h e k e yp a r t s i m u l a t i o nr e s u l t sh a v e p r o v e d t h er e a l i z a t i o no ft h i sp r o j e c t t h ea u t h o ra t t e m p t e ds o p c ( s y s t e mo np r o g r a m m a b l ec h i p ) t h r o u g hi n t e g r a t i o no f o n eo rm o r es o f tc p uo rs o f td s pc o r ew h i c hc a nb er e g a r da st h ee x t e m a lc p uo rt h e h i g hs p e e d 一p r o c e s s o r e v e nc 锄r e p l a c ed s pw i t hs u r p l u sr e s o u r c ei nf p g a t h i ss y s t e mh a st h eg e n e r a lf u n c t i o ns u c ha sd i g i t a li m a g ei n p u t ( c o l l e c t ) ，o u t p u t ( d i s p l a y ) t h i ss y s t e mh a st h ea b i l i t yo fm o s ta c t i v ed i 舀t a l v i d e of u n c t i o ns u c ha s e m b e d d e dv i s i o n m e a s u r e m e n t , e m b e d d e dp a t t e r nr e c o g n i t i o n , e m b e d d e di m a g e d e p r e s s i o na n dt r a n s m i s s i o n ，a n d s oo i l t h e d e s i g nh a st h eg e n e r a l f u n c t i o no f d i g i t a li m a g ea c q u i s i t i o n ，d a t a p r o c e s s i n g ， d a t as t o r a g ea n d g r a yi m a g ed i s p l a y ，r e a lt i m eg r a yv i d e od i s p l a y t h ed e s i g n c a l ld e a l w i t ht h ef r o n te n d i m a g ea c q u i s i t i o n i ni m a g e p r o c e s s i o n a n d i m a g i n g i ne n g i n e e r i n g ， a sw e l la sv i d e ow a t c h k e yw o r d s ：t m s 6 7 1 1 d s kf p g a , d i g i t a li m a g ea c q u i s i t i o n ，i m a g ep r o c e s s i n g , l c d 1 绪论 1 绪论 1 1 引言 随着科学技术的高速发展，以数字信息为载体的数码影像已经成为我们生活中 不可缺少的一部分。数码影像不单是用数码相机所拍摄的图片，同时还包括所有的 以数字信号作为载体的影像，不光有静止的影像，还有活动的影像【“。数码影像在 传输、存储、处理的过程中都是以数字信号的形式实现的。即数码影像以数字代表 影像。数码影像已经成为一种应用广泛的媒体，目前已经在医疗仪器、航空、测量 等领域尤其是消费类电子领域得到了广泛应用。数码影像技术的产品开发颇具前景， 数码影像技术的市场潜力和增长每年都以3 0 的速度增长【2 】，而嵌入式数码影像处 理系统的实现方法正是其中的关键技术。嵌入式数码影像处理系统具有可靠性高、 速度快、成本低、体积小、功耗低和环境适应性强等特点。嵌入式数码影像处理系 统的实现方法有很多，有基于专用处理芯片的方式；有基于d s p 的方式；还有基于 f p g a 的方式。 基于专用处理芯片的方式，目前有各大厂商陆续推出的许多处理功能强大、使 用方便、用于数码影像采集和处理的芯片，如视频编解码器、专用的图像处理芯片 等。这种方法实现简单、技术成熟、成本低，其速度通常较数字信号处理器d s p s ( d i g i t a ls i g n a lp r o c e s s o r s ) 快，但灵活性差，系统功能的可更改性差。 数字信号处理器d s p 目前已经在嵌入式系统中得到广泛的应用，成为电信、广 播、医疗图像、消费类电子以及工业和马达控制等嵌入式系统的核心器件。开发者 可以用d s p 来快速处理数字化信号如音频、视频和传感器信号等。d s p 技术，或者 说d s p ( 系统实现) 开发技术主要是指将数字信号处理( 指应用数字非模拟电子技术 的方法处理各种类型信息的基本理论和基本算法) 基本理论和算法付诸实现的途径 和方法，并不等同于d s p 处理器的应用。由于d s p 应用系统实现的复杂性和某些 硬件性能的局限性，采用d s p 处理器( 如的t m s 3 2 0 c 系列) 的解决方案日益谣临 着不断增加的巨大挑战，而自身的技术瓶颈( 如运行速度、吞吐量、总线结构的可变 性、系统结构的可重配置性、硬件可升级性等1 致使这种解决方案在d s p 的许多新 的应用领域中的道路越走越窄，基于单片d s p 的方式在系统控制功能实现方面要耗 费大量的d s p 资源。现代d s p 技术是相对于传统d s p 技术而言的，后者主要是指 目前已广泛使用的d s p 处理器的解决方案，包括一系列软硬件技术与开发技术；前 者则是基于s o p c ( as y s t e m o na p r o g r a m m a b l ec h i p ) 技术、e d a 技术与f p g a 实现 方式的d s p 技术，是现代电子技术发展的产物，它有效地克服了传统d s p 技术中 的诸多技术瓶颈，在许多方面显示了突出的优势，如高速与实时性，高可靠性，自 重庆大学硕士学位论文 主知识产权化，系统的重配置与硬件可重构性，单片d s p 系统的可实现性以及开发 技术的标准化和高效率。 目前f p g a 的容量已逾百万门级，使得f p g a 成为解决系统级设计的重要选择 方案之一。事实上，在d s p 技术领域，除了普通的d s p 处理器以外，利用f p g a 来实现d s p 系统已十分普遍。而且在许多诸如实时图像处理、联合战术无线电通信 系统、3 g 移动通信基站、实时工控系统、卫星导航设备等领域中，f p g a 的d s p 解决方案已成为非此莫属的选择了f 3 j ! 基于f p g a 的方式处理算法用硬件实现，并 行处理程度高，可以实现高速处理，但由于算法比较复杂，开发难度很大。 在数码影像处理系统中，底层信号预处理算法的特点是待处理的数据量大，对 处理的速度要求高，但算法的控制结构相对不复杂，适合于用f p g a 进行硬件实现。 高层处理算法的特点是所处理的数据量较低层算法少，但算法的控制结构复杂，适 合于运算速度快、寻址方式灵活、通信机制强的d s p 芯片来实现。所以d s p + f p g a 组成的系统可以使速度和灵活性都得到兼顾，具有结构灵活、通用性强、适合模块 化设计的特点。而且还提高了算法效率，缩短了开发周期，使得系统易于维护和扩 展，适合于实时信号处理。 1 。2 国内外研究现状 对于嵌入式数码影像采集系统而言，选择不同的编、解码器和处理器，其系统 构成的难易程度和实现的功能也有所不同。p h i l i p s 公司率先推出的单片视频解码器 s a a 7 1 1 1 使得视频采集变得易于实现，已经替代了以往采用分离元件来实现视频信 号行、场分离的方法。目前国内外普遍使用该芯片作为视频解码芯片。随后推出的 s a a 7 1 1 3 将a d 转换器的位数扩展为9 位。后续推出的s a a 7 1 1 4 视频解码芯片将 输入通道数目扩展为6 个，a d 转换器的位数扩展为9 位，还增加了数据i o 端口 和音频输入端口，已经在国内外嵌入式视频采集系统中有不少应用。t i ( t e x a s i n s t r u m e n t s ) 公司在视频解码器领域也推出了不少芯片，如t v p 5 0 2 2 ，t v p 5 0 2 0 和t v p 5 1 4 5 等，目前国内还很少使用。1 r i 公司就t v p 5 0 2 2 还推出了一套基于 t m s 3 2 0 c 6 7 1 1 的视频解决方案，即i d k ( i m a g i n gd e v e l o p e r sk i t ) 方案。利用该方 案可方便实现j p e g 2 0 0 0 、m p e g 4 和h 2 6 3 等编码。国内上海汉唐科技有限公司以 t m s 3 2 0 c 6 2 0 1 ，t m s 3 2 0 c 6 2 0 5 以及p h i l i p s 的t r i m e d i at m l 3 0 0 作为核心处理器， 构建的嵌入式d s p p e g 4 视频编解码系统填补了我国在该领域技术方面的空白， 达到了国际领先水平1 4 j 。1 1 公司还推出了专门针对便携媒体市场的处理芯片 t m s 3 2 0 d s c 2 1 d s c 2 5 d m 2 7 0 ，d m 3 1 0 ，这系列芯片的共同特点是双核结构r i s c 的 m c u 核加上1 m s 3 2 0 c 5 0 0 0 的d s p 核。其中运算主要由d s p 完成，针对图像处理 使用了硬件加速。所有这些芯片都有图像扩展协处理器i m x 和变长编解码协处理 2 1 绪论 器v l c d ，除了d s c 2 1 外都有量化反量化协处理器q i q 。其中i m x 是多个并行乘 加器来加速那些运算量极大的图像处理算法，例如d c t 运算。v l c d 用来进行 h u f f m a n 编、解码运算，从而d s p 不需要进行不停的判断、循环运算。由于量化是 执行除法运算，d s p 没有专门的除法指令，只能用移位指令实现，采用移位指令要 耗费大量的资源。采用q i q 进行量化和反量化运算可以大大节省d s p 内部资源。 由此可以看出，多处理器协同工作的硬件设计方案目前已经成为这一领域的主导设 计思路。d m 系列芯片的处理能力也相当强，例如d m 3 1 0 可以实现7 2 0 4 8 0 图像 3 0 帧每秒的实时m p e g 4 编解码。t m s 3 2 0 d s c 2 1 中集成了t m s 3 2 0 c 5 0 0 0 t md s p 核心以及a r m 7r i s c 处理器，完成图像信息处理和系统控制功能；内置各种外设 接口控制器，可直接与t v l c d 、p c 、音频设备、存储器相连。此外，t m s 3 2 0 d s c 2 1 还集成了具有“屏幕显示”功能的视频编码器；3 2 0 m b p s 的s d r a m 控制器；预览 n t s c 和e a l 画面的3 0 f - p s 预览引擎等。国内长信嘉公司据此成功开发了2 1 0 万像 素级别的数码相机产品，除了拍照功能，还能播放m p 3 、数字录音及拍摄简短录像。 1 3 本课题研究内容 本课题的研究内容属于重庆市信息产业局科技攻关项目“数码相机整机及关键 技术研究”的一部分。数码影像是- - i 1 具有广阔发展空间的高新技术，集合了微电 子、光电子、传感器、新型显示、存储技术等新技术于一体，在促进相关产业的发 展和推动国民经济信息化进程中意义重大。在这个技术体系中，成像芯片、图像处 理算法及压缩技术、处理器软、硬件设计组成了基本的技术构架。本课题研究的重 点是如何基于d s p 和f p g a 建立数码影像采集系统，实现数码影像的采集、存储和 显示功能。 本系统还可以解决工程中利用影像法进行图形外观轮廓尺寸测量和图像处理中 前端采集的实际问题以及进行产品的实时检测。除此之外，还可以应用于车牌号码 检测等机器视觉方面以及酒店、海港等场所的视频监视等领域。其特点是精度高， 系统的整合程度高。 2 原理 2 原理 系统组成框图如图2 1 所示，本系统主要由t m s 3 2 0 c 6 7 1 1 d s k 和扩展板组成。 扩展板通过两个8 0 针的接插件( 分别为扩展存储器接口e m i f 和扩展外围接口) 和 d s k 相连。其中扩展板由视频采集、解码模块，f p g a 模块，视频数据存储模块和 液晶显示模块组成，完成前端的视频采集、解码、存储以及视频显示的功能。 t m s 3 2 0 c 6 7 1 1 d s k 负责视频数据的处理部分。扩展板也可以脱离 t m s 3 2 0 c 6 7 1 1 d s k 单独工作。 上电后系统初始化，d s p 复位，将外部f l a s h 存储器中的程序引导入d s p 内 部程序存储器中。由a t 8 9 c 2 0 5 1 通过i 2 c 总线初始化视频解码芯片s a a t l l 3 的内 部寄存器，确定视频解码芯片的工作模式。摄像头将复合视频信号送视频解码芯片 中，视频解码芯片按设定的模式将复合视频信号进行解码，输出y u v4 ：2 ：2 的数字 视频信号，由f p g a 将输出的4 ：2 ：2 的数字视频信号转换为r g b 格式的数据， 并按像素逐个存入s r a m 中，当一帧图像存完后通知d s p 读取，d s p 接收到此信 号后，将一帧图像从s r a m 中读出，进行视频数据处理后送液晶显示模块进行显示。 在系统中留有与上位机通信的接口。 i 谣石 图2 1 系统框图 f i g 2 1b l o c k d i a g r a m o fs y s t e m 3 前端采集 3 前端采集 3 1 图像传感器c c d 电荷耦合器件c c d ( c h a 铲e c o u l e dd e v i c e ) 是一种新型光电转换器件，主要由 光敏单元、输入结构和输出结构等组成。它具有光电转换、信息存贮和延时等功能。 它集成度高、功耗小，目前已经在摄像、信号处理和存贮三大领域中得到广泛的应 用，尤其是在图像传感器应用方面取得令人瞩目的发展。光敏单元通常按矩阵排列， 其作用与人眼视网膜上的感光细胞相同，用来感受入射光线的强弱与色彩。光线透 过镜头照射到c c d 上并被转换成电荷。每个光敏单元上的电荷量由它所受到的光 照强度决定。当对它施加特定的时序脉冲时，其存储的信号电荷便可在c c d 内作 定向传输而实现自扫描。c c d 本身是单色元件，通常面阵c c d 采用两种方法来处 理色彩：一种是将彩色滤镜嵌在c c d 矩阵中，相近的像素使用不同颜色的滤镜。 滤镜典型的排列方式有基色g r g b 和补色c y - g - m 两种。这两种排列方式成像 的原理相同。在记录图像信息的过程中，微处理器从每个像素获得信号，将相邻的 四个点合成为一个像素点。因为多点像素合成要进行数学计算，因此这种c c d 所 产生的图像清晰度相对不高。另一种处理方法是使用三棱镜，对从镜头入射的光线 分光，产生三束光线。再通过内置光栅分别过滤出三基色中的一种，最后使用三块 c c d 分别感光。这些图像最后合成出一个高分辨率、色彩精确的图像。如采用这种 方式的3 0 0 万像素的相机就是由三块3 0 0 万像素的c c d 来感光。这种方法实现了 同一点像素合成，所以拍摄的照片清晰度相当高，但是数据量很大。目前有能力生 产c c d 的公司大部分是日本厂商如s o n y 、p h i l p s 、k o d a k 、p a n a s o n i c 、r u i i 、 s a n y 0 和s h a r p 等。 c c d 在外加工作电压( 驱动脉冲电压) 驱动下，光信号输入时光敏元件经光电 转换，对应每个像素位置上产生相对应光信号光强强弱不同的电荷。再给c c d 阵 列加上按时问序列转移的电压，驱动在光敏像素中生成的电荷以像素为单位高速连 续地输出。 3 1 1c c d 结构和原理 c c d 单元结构 c c d 单元部分是一个由金属氧化物一半导体组成的电容器，简称m o s ( m e t a l o x i d e s e m i c o n d u c t o r ) 结构。衬底接地时，当给金属极板加一个正电压u g ( 栅极 电压) 时，金属极板和衬底之间就会产生一个电场。在该电场的作用下，半导体表 面部分的空穴离开表面入地，从而在表面附近形成一个带负电荷的耗尽区，这个耗 尽区也称为表面势阱。表面势阱的深度与极板上所加的电压在形成反型层之前近似 7 重庆大学硕士学位论文 成j 下比。这时电子在表面处的势能为e p = - - q u s ，其中u s 为表面势，即半导体表 面对于衬底的电势差。如果以电注入或光注入方式向势阱中注入电子，这些电子将 聚集于表面附近，形成电荷包。 电荷包的储存 因为每个c c d 单元都是个电容器，所以它具有储存电荷的能力。为了保持 极板上的正电荷总量恒等于势阱中自由电荷加上负离子的总和，势阱深度随电荷包 的注入而变浅，每个极板下的势阱中所能储存的最大信息电荷量q 为 q = c o 。u c( 式3 1 ) 其中c 。为单位面积氧化层的电容。 电荷包的转移 c c d 中电荷包的转移是由于各个极板下面的势阱不对称和势阱耦合引起的。常 见三相c c d 将阵列各极板分为三组，分别加以时钟波形相位差为t 3 周期的时钟脉 冲驱动。同一时刻三相脉冲的电平不同，各极板下面所形成的势阱深度也不同，从 而电荷包将沿表面从电势能高的地方向电势能低的地方流动。三相c c d 的时钟电 压波形每变化t 3 周期，电荷包就要转移过一个极板，每变化一个周期，即转移过 三个极板。 3 1 2 c c d 摄像器件 实用固体摄像器件通常在一块硅片上同时制造光电二极管阵列和c c d 移位寄 存器两部分。光电二极管阵列实现光电变换和光积分的功能，c c d 移位寄存器实 现光生电荷转移的功能。这种转移依靠驱动脉冲来实现而不是依靠于外来的扫描， 所以称为自扫描。按照光敏像素单元的排列方式，c c d 摄像器件分为线阵列和面阵 列两大类。 线阵列c c d 摄像器件 c c d 摄像器件有单侧传输和双侧传输两种结构形式。单侧传输结构简单，电荷 包转移所经过的极板数目多，传输效率低。双侧传输结构复杂，电荷包转移所经过 的极板数目只是单侧传输的一半，所以损耗小，传输效率高。一般光敏元位数少的 c c d ，多采用单侧传输结构，而位数多的c c d ，则多采用双侧传输结构。 光电二极管阵列和c c d 移位寄存器集成在一块半导体硅片上，分别由不同的 脉冲驱动。各光电二极管的光电变换作用和光生电荷的存储作用与光电二极管阵列 和c c d 移位寄存器分离结构的原理相同。设衬底为p s i ，光电二极管阵列中各单 元彼此被s i 0 2 隔离开，排成一行，每个光电二极管即为一个像素。当行扫插电压为 高电平时，各光电二极管反偏置，光生电子空穴对中的空穴被p n 结的内电场推斥， 通过衬底入地，而电子则寄存在p n 结的耗尽区中。在入射光的持续照射下，内电 场的分离作用也持续进行，从而积累光生电荷。 8 3 前端采集 转移栅由铝条或多晶硅构成，转移栅接低电平时，在它下面的衬底中将形成高 势垒，使光电二极管阵列和c c d 移位寄存器相互隔离。转移栅接高电平时，它下 面衬底中的势垒被拆除，成为电荷包流入c c d 的通道。这时电荷包并行地流入c c d 移位寄存器，在驱动脉冲的作用下，电荷包按照它在c c d 中的空间顺序，通过输 出机构串行地转移出去。时钟波形变化一个周期，电荷包所转移过的空间距离也是 一个光敏元的中心距。 面阵列c c d 摄像器件 面阵列结构c c d 摄像器件电荷包转移情况与线阵c c d 摄像器件类似。目前常 用帧转移结构的形式。光敏c c d 阵列进行光电变换和在自扫描正程时间内进行光 积分。暂存区由遮光的c c d 构成，它的位数和光敏区一一对应，其作用是在自扫 描逆程时间内，暂存光敏区里整帧的电荷包。在光敏区开始第二帧光积分时，暂存 区将电荷包一次一行地转移给c c d 移位寄存器，以串行方式输出信号。当c c d 移 位寄存器将其中的电荷包输出完以后，c c d 移位寄存器再移动下一行暂存区里的电 荷包。当暂存区中的电荷包全部转移完毕后，再进行第二帧转移。 3 1 3 c c d 的主要参量 转移效率r l 和损耗率e 电荷包从一个势阱向另一个势阱中的转移是一个过程而不是立即的和全部的。 在一定的时钟脉冲驱动下，转移效率n 定义为 q = q i 0 0( 式3 2 ) 其中q 0 为电荷包的原电量，q 1 为转移到下一个势阱时电荷包的电量。 e 表示残留于原势阱中的电量与原电量之比，所以 = 1 n( 式3 3 ) 线阵列c c d 总效率为i l n ，n 表示极板数目。由于表面态对电子的俘获和时钟 频率过高引起电荷包转移不完全，所以表面沟道c c d 常常通过偏置电荷的方法来 提高转移效率，减少损耗。在接收信息电荷之前，预先给每个势阱都输入一定量的 背景电荷，使表面态填满。这样即使是零信息，势阱中也有一定量的电荷。这种技 术也称为“胖零”技术。体内沟道c c d 采取体内沟道的传输形式有效地避免了表 面态俘获，提高了转移效率和速度。 时钟频率的上、下限 c c d 利用极板下面半导体表面势阱的变化来储存和转移信息电荷，所以它必须 工作于非热平衡态。时钟频率过低，热生载流子将混入到信息电荷包中从而引起失 真；时钟频率过高，电荷包未完全转移完毕，势阱形状就已经改变了，这样就有很 多电荷残留在原势阱中，损耗率很大。 ( a ) 时钟频率的下限fr 9 重庆大学硕士学位论文 f ，由非平衡载流子的平均寿命t 决定，通常为毫秒量级。t 应大于电荷包在相 邻两电极之间的转移时间t ，否则电荷来不及转移。三相c c d 电荷包从前一个势阱 转移到后一个势阱所需的时间为t 3 ，所以 f t 1 3t( 式3 4 ) ( b ) 时钟频率的上限f 电荷包的转移要有足够的时间，电荷包转移所需的时间应小于所允许的值。f t 由电荷包转移的损耗率e 决定，对三相c c d ，若使不大于要求的e0 值 f 上1 ( 3t d i n 0 1 ( 式3 5 ) 其中td 为c c d 势阱中电量因热扩散作用衰减的时间常数，与材料和极板的 结构有关，一般为1 0 8 s 级。 光电特性 低照度下c c d 的输出电压与照度呈明显的线性关系。照度超过1 0 0 1 x ，输出产 生饱和现象i 鄂。 c c d 传感器一般需要+ 1 5 v 和7 v - - 8 v 电源，最大电流约2 0 m a ”。 3 1 4 本系统采用的c c d 摄像头 本设计中采用韩国m y t h o s 公司生产的d v c s2 0 1 摄像头，其输入电压为5 v ， 最大功率5 w 。内置1 3 “隔行转移彩色c c d ，兼容n t s c 和p a l 制式，可进行 自动增益控制以及自动白平衡。 3 2视频信号和c c i r 6 5 6 标准 3 2 1 模拟视频 视频即活动的图像。狭义的视频信号即电视信号。一秒钟包含的图像帧数为帧 频，一秒钟包含的总行数为行频，一秒钟包含的总像素数就相当于视频信号的带宽。 我国的黑白视频信号帧频为2 5h z ，即每秒显示2 5 幅图像。分奇场和偶场来显示图 像，奇场由帧中的奇数行组成，偶场由帧中的偶数行组成。我国的黑自视频信号规 定每帧图像共6 2 5 行，每场3 1 2 5 行，行频1 5 6 2 5h z ，视频带宽6 m h z 。按照c c i r 6 5 6 标准规定的行编号方法，奇场的行号为第1 至3 1 2 5 行，偶场的行号为第3 1 2 5 至 6 2 5 行，其中，奇场中第2 3 5 至3 1 0 行包含有效的视频信号，共2 8 7 。5 行，偶场中 第3 3 6 至6 2 2 5 行包含有效的视频信号，共2 8 7 5 行。所以一帧中有效的总行数为 5 7 6 行，由最上面的半行加上中间的5 7 4 行加上最下面的半行组成【8 i 。 从频域的角度来看彩色视频信号，其色度信号( u v 色差信号) 是插在亮度信 号频谱的间隙之中4 4 3 m h z 的位置，带宽为1 3 m h z 。接收系统中把信号中4 4 3 m h z 位置处，带宽为1 _ 3 m h z 的信号进行解调，就得到了色度信号，而滤掉该位置处的 信号，其余的就是亮度信号。 1 0 3 前端采集 如图3 1 所示，黑白视频的亮度信号采用调幅制，一行的周期是6 4 us ，其中显 示在屏幕上的信号占5 2ps ，其余部分是行消隐、行同步头信号。彩色信号还在行 同步头信号中叠加了一段4 4 3 m h z 的副载波信号，用于接收系统中的4 4 3 m h z 信 号的频率和相位基准。 黑白图像的像素用亮度( 灰度) 来描述。在计算机或电视机的c r t 显像管中都 是用r g b ( 红、绿、蓝) 三基色合成的方法，把r g b 三基色转换为灰度的方法如 式( 3 6 ) ： 灰度= r 0 3 + g 0 5 9 + b 0 1 1( 式3 6 ) 对于普通电视机而言这个转换过程显然比较复杂。 削载波c 燮 穗m 七甜j 蔽涟) 图3 1 黑白及彩色电视信号一行的波形 f i g 3 1o n el i n ew a v e f o r mo fc v b s s i 印a l 首先，用r g b 三基色表示图像，每个分量的带宽均等，都约等于亮度信号的 带宽，故对每个分量，都要用较大的带宽来描述。所以占用太多带宽。 其次，必须解码出r g b 信号才有可能得到黑白图像，而黑自电视机没有解码 功能，所以不能实现兼容。 再次，抗干扰能力差。由式3 6 可知，g 分量占亮度值的5 9 ，所以g 分量的 干扰将非常明显地影响像素的亮度值。由于人眼对亮度值的变化最为敏感，所以将 显著地影响图像主观质量。 基于上述原因，在视频信号传输中采用y u v 合成的方法。y 代表亮度信息，u 代表蓝色色差( 蓝色信号与亮度信号之间的差值) ，v 代表红色色差( 红色信号与亮 度信号之间的差值) 。这种表示方法具有以下优点： 首先，与黑白图像兼容。对于采用y u v 表示的一个像素，如果忽略u v 分量， 取出y 分量，就可以得到像素的亮度值，从而把彩色图像转换为黑白图像。这样很 容易实现彩色电视信号与黑白电视信号的兼容。 其次，节省带宽。如前所述人眼对亮度信息十分敏感，主要通过亮度的差别来 分辨物体形状的细节，而对彩色信息不敏感。实验表明人眼区分不出物体颜色上的 1 1 重庆大学硕士学位论文 细小的变化，即人眼不容易觉察出图像中色彩的细节部分的变化。因此对亮度信号 用较高的采样频率采样，而对色度信号用较低的采样频率采样，比如相邻的几个像 素的亮度值不相同，但是色度值使用相同值，即大面积着色原理。基于大面积着色 原理，在电视信号传输中，采用u 或v 信号的带宽远小于y 信号的带宽的方法来 节约带宽。在计算机中，用r g b 方式描述一个像索需要r 、g 、b 共3 个字节。但 是用y u v 方式描述，对于每两个像素，y 用两个字节，u 、v 取相同的值，各用 个字节。这样平均每个像素两个字节。换言之每个像素y 用一个字节，u 用半个字 节，v 用半个字节，共两个字节。 再次，抗干扰能力强。由于亮度信号采用单独表示的方法，所以色差信号受到 的干扰将不会影响亮度信号，人跟主观感觉图像的噪声不会明显地增加。 3 2 2 数字视频 模拟视频信号解码为h 分量后，分别进行a d 量化采样，转换为数字视频 流，按上面所述每个像素两个字节的顺序依次输出。对此有几个相关的国际标准作 了一些约定。1 9 9 4 年国际无线电咨询委员会出台了c c i r 6 0 1 标准，该标准主要是 针对演播室的要求制定的。该标准规定亮度信号的采样频率为1 3 5m h z ，色度信号 的采样频率为6 7 5 m h z 。采用8 位p c m 编码。每行的y 采样数为8 6 4 个，每行的 u 或v 采样数为4 3 2 个。其中有效的y 采样数为7 2 0 个，有效的u 或v 采样数为 3 6 0 个。平均描述每个像素的y u v 的位数分别为8 b i t 、4 b i t 、4 b i t ，又叫做y u v 4 2 2 编码方案。国际无线电咨询委员会还出台了c c i r 6 5 6 建议，其中规定视频数据的量 化值中的0 和2 5 5 保留不用，丽量化数据串行输出的