测控技术与仪器 毕业论文范文——嵌入式CCD信号采集系统设计

摘 要视频监控系统是安全防范系统的重要组成部分，随着人们对安全的日益重视，使得以视频信息为特征的视频监控越来越广泛地被应用到各个领域。本文系统学习了视频监控系统的基本原理，对设计中涉及到的问题查阅了大量的资料。图像传感器技术都可以将光转换为电信号，但它们在转换机理方面存在差异。嵌入式CCD视频图像采集系统具有体积小、灵活性高、可以实时有效地采集图像等特点，利用CCD采集高分辨率、高质量的图像是实际工程应用的需要。FPGA技术正在成为电子系统设计的研究热点，尤其是在视频图像采集技术领域得到了越来越广泛的应用。本文重点阐述了嵌入式视频采集系统的硬、软件设计环节以及开发中的一些关键技术问题。系统采用Xilinx公司的Virtex-4芯片作为核心器件，主要从软件和硬件两个方面进行了设计：在软件设计上，利用了EDK开发系统平台，通过FPGA编程IIC总线的方式，实现了对视频解码芯片TVP5150和视频编码芯片SAA7121的配置，从而得到硬件处理所需的数据流和同步信号；在硬件设计上，以ISE为设计平台，设计了TVP5150模块、SAA7121模块等，该系统在XC4VSX25控制下能实时将视频像进行采集、编码和传输。 关键词：视频图像采集；CCD图像传感器；嵌入式系统；FPGAAbstract Video Surveillance System is all important component of the security systemIt is a comprehensive integrated system with strong prevent abilityIn the modem society,the importance of safety,make the video surveillance which has the features of video information more and more widely applied to various fields. This systematic study of the basic principles of video surveillance systems, the design issues involved in access to a lot of information.Image sensor technology can be converted to electrical signal light, but there are differences in the conversion mechanism.This embedded CCD Video acquisition system can collect real-time images in characteristic of small size and high flexibility. Sometimes, it is necessary to acquire high resolution and quality images with CCD for engineering embedded equipments. As a major direction of image processing technology, the image enhancement has played an important role in the elimination of noise, improving image quality and feature extraction areas. With the rapid development of semiconductor process technology, integration level of field programmable logic device FPGA increases rapidly, and has reached million level. At the same time, FPGA has overcomed the disadvantage that image is processed slowly by software, and FPGA has the distinguishing feature including rich in logic resources, design low-cost, system flexibility, high-speed parallel, reconfigurable strongly. FPGA technology is becoming an research focus in electronic system design, especially it has been more and more widely used in the field of image processing technology.The paper introduces the design of embedded video capture hardware and software system and some key technology questions. This system has used Virtex-4 chip of Xilinx as the core device, and designs mainly from two aspects of software and hardware: In software design, the paper has builded a platform EDK development system, and has realized the configuration to video decoding chip TVP5150 and video encoding chip SAA7121 through FPGA programming IIC the bus, thus has obtained the data stream and synchronization signal that is needed by hardware processing. In the hardware design, the paper has designed TVP5150 module, SAA7121 module，ncode and transmit the video picture real-time under the XC4VSX25s controlling.Keywords: Video capture; CCD image sensors; Embedded operating system; FPGA1 绪 论1.1 课题研究背景和意义当今视频监控系统的应用领域越来越广泛，从安防到智能家居系统乃至太空探索都应用到了视频监控系统，视频监控以其直观、方便、信息内容丰富而广泛应用于许多场合。中国的产业是从20世纪80年代开始起步的，比西方经济发达国家大约晚20年。改革开放以前，由于经济发展的限制，中国的安防主要以人防为主，安全技术防范还只是一个概念，技术防范产业几乎还是空白。20世纪80年代初，安防作为一个行业在上海、北京、广州等经济发达城市和地区悄然兴起，尤其是处在改革开放前沿的深圳，依托本地先进的电子科技优势和得天独厚的地理位置，逐渐发展成为全国安防产业的重要基地。进入21世纪，安全技术防范产品行业又有了进一步的发展，智能建筑、智能小区建设异军突起，以及高科技电子产品、全数字网络产品的大量涌现，都极大促进了安防产业市场蓬勃发展。中国正在发展成为世界上最庞大的安全防范产品市场，安防行业成为国民经济新的增长点和新兴的朝阳产业。视频监控系统是安全防范系统重要的组成部分，它是一种防范能力较强的综合系统。在安防系统的快速发展的推动下，视频监控系统作为安防系统的“第一视觉”也从最初的起步到如今的迅速发展，经历了三个不同时期的发展阶段：在2000年以前，视频采集主要是以模拟设备为主，含摄像机和磁带录像机的全模拟电视监控系统，称为第一代模拟监控系统。这一阶段监控系统中基本不使用视频监控软件。2000年以后到现在，随着计算预处理能力的提高和视频技术的发展，人们利用计算机的高速数据处理能力进行视频的采集和压缩处理，利用显示器的高分辨率实现图像的多画面显示，从而大大提高了图像质量，由于传输依旧采用传统的模拟视频电缆，所以叫做第二代半模拟半数字本地视频监控系统。从2004年开始，随着网络带宽的提高和成本的降低、硬盘容量的加大和中心存储成本的降低，以及各种实用视频处理技术的出现，视频监控步入了全数字他的网络时代，由子它从摄像机或网络视频服务器下来就直接进入网络，以数字视频的压缩、传输、存储和播放为基础，依靠强大的平台软件实施管理，所以称之为第三代全网络视频监控管理系统。随着市场需求的不断变化、网络技术的飞速发展和人们的安全意识逐步提高，城市乃至全国这样的大型监控联网应用需求越来越多，目前国内正在兴起一股应用全网络监控系统的热潮，尤其是在学校，机场等大型市政项目，城市的综合治安管理平台等等。所以大力推广和应用专业监控硬软件是目前监控终端生产商的首要任务。无论是远程还是本地的大中型监控系统都需要一套完全整合的解决方案，但是传统的模拟方式和免费的本地监控软件都不能很好的解决大中型监控系统的问题，如机场监控、银行监控、大型小区、智能大楼、学校，还有一些诸如边防，基站监控等远程应用。1.2 国内外研究现状和发展趋势在国内外市场上，主要推出的是数字控制的模拟视频监控和数字视频监控两类产品。前者技术发展已经非常成熟、性能稳定，并在实际工程应用中得到广泛应用，特别是在大、中型视频监控工程中的应用尤为广泛；后者是新近崛起的以计算机技术及图像视频压缩为核心的新型视频监控系统，该系统因解决了模拟系统部分弊端而迅速崛起，但仍需进一步完善和发展。目前，视频监控系统正处在数控模拟系统与数字系统混合应用并将逐渐向数字系统过渡的阶段。研究低功耗、低成本、便携式的嵌入式数字视频监控系统成为当今技术开发的重点。目前国外视频监控系统的重点正在向家庭综合通信、娱乐及综合信息服务、家庭安防、智能家居及远程控制是家庭信息化产品这四个方向发展，家庭视频监控则是家庭安防的核心产品。英国电信将数字家庭网关称作HomeHub，通过该网关为用户提供信息、通信、娱乐的综合服务，强调易用性，也就是即插即用和丰富的连接，还强调完整性，通过多样化的家庭终端提供多样化的服务，支持各种智能监控设备的数据接口和物理接口，在视频监控上更侧重于网络摄像机的方案。日本的NTTdocomo利用自身在移动服务上的优势，推出了i-mode运营模式，可以直接 通过手机或PDA远程控制家中的智能家电，在远程监控上采用了“M2M远程控制”的理念，实现人和机器、机器和机器之间的远程控制。NTT推出了可通过因特网或FOMA手机控制的HC-1000监视摄像头，该设备采用300万像素CMOS感光器，2倍数码变焦，以太网接口，支持802.11a/b/g，可拍摄QVGA画质的视频；内建“主动防御”系统，可发出刺耳的警报声吓跑盗贼，甚至还有麦克风/扬声器双向通信系统，方便用户与盗贼谈判。NTT- Neomeit还推出了通过PDA或手机远程控制家电和接收监控报警信息的服务，使用起来非常方便。除此以外，还实现了生物认证，通过生物认证研发了自动门识别系统，人们站在安装于入口处的摄像机前，只需约秒钟的时间，如果确认来人为公寓居民，大门就会打开，非常方便。反观国内市场，虽然现在国内视频监控设施的发展十分迅速，但由于中国视频监控系统的相关法律法规尚待完善，视频监控的使用大部分还处在机场、学校、工厂等大型公共设施阶段。中国视频监控市场在快速发展的过程中，也面临相应的挑战：（1）仍然缺乏统一的具有强制约束力的国家标准。近年来，由于视频监控系统故障而导致的相关事故频频发生。中国视频监控系统的相关法律法规尚待完善。虽然政府支持出台了TCl00等国家标准，但目前中国市场仍存在国家标准与区域标准并存、不同的厂商联盟标准并存等现象，并且缺乏有效的项目监管和检测机制。（2）行业用户具体需求与项目实施之间存在一定的难度。视频监控系统将进一步深入行业应用的具体需求。然而，在用户对于视频监控系统期望不断提升的同时，项目实施以及成本控制方面仍然存在一定的问题。以图像采集为例，用户若采用高清信号，相关视频、网络以及存储设备的直接成本提升是可以直观计算出的。然而，对应特殊行业用户的需求，如金融核心监控点的人像识别、身高测量，环保监控点的指标测量等，则难以通过直观方式来计算成本并且实施难度较大。有挑战必然有机遇，相信随着电信网络的3G实现、国家公安部的“平安城市”计划的实施、宽带网络的提速、视频监控行业规范的出台，中国的视频监控行业会逐步进入数字化、规范化、合理化的发展平台。随着电子产品的集成度不断提高，工艺水平的提升，产品的成本和功耗将会逐渐下降，将使得视频监控系统应用更为广泛。1.3 本论文的研究内容本课题以低成本而又能获取较丰富的视频图像数据为目的，对目前主流的几种视频图像采集方案进行了学习了解，设计了基于FPGA的嵌入式CCD图像采集系统的视频图像采集方案。通过比较目前流行的两种图像传感器结构上的优缺点，采用了CCD传感器作为整个系统的前端进行设计。深入的学习了嵌入式视频采集硬件平台的搭建，然后具体分析该结构中部分硬件的具体实现。重点在视频图像采集模块设计，包括了硬件方面如TVP5150和FPGA的硬件接口设计，软件方面如利用C语言对TVP5150、SAA7121进行配置等。在设计过程中保证整个系统的低功耗、低成本、具有一定的扩展性。1.4 论文结构综合全文，章节安排如下：第一章 绪论。主要介绍视频监控系统的国内外发展形势，提出课题研究背景、意义和主要内容。第二章 视频采集监控系统。介绍了目前基于典型的图像传感器而构建的视频采集系统的硬件，通过分析对比，重点介绍CCD的工作原理。第三章 阐述视频系统的相关知识，对有效数据格式进行了查阅说明。第四章 介绍了Xilinx公司Virtex-4系列，型号XC4VSX25 FPGA芯片及其开发工具EDK和ISE，并根据需要添加两位的GPIO核，来完成对I2C总线的构建。主要进行了资料查阅、软件设计学习等方面的工作，对整体系统的设计提供了基础。第五章 论述视频系统的总体设计，对CCD摄像机的型号和参数进行了说明；分别对视频解码芯片TVP5150、编码芯片SAA7121进行了介绍，进一步对视频解码芯片和视频编码芯片的配置说明；硬件部分完成视频解码芯片TVP5150和FPGA接口设计，软件部分完成了TVP5150和SAA7121的软件设计，并进行了系统仿真。最后全文的总结及展望。分析是否有优化的余地，以及对下一步工作的展望。2 视频图像传感器2.1 CCD图像传感器CCD是电荷耦合元件，英文全称是Charge-coupled Device。CCD是一种半导体器件，能够把光学影像转化为数字信号。CCD上植入的微小光敏物质称作像素（Pixel）。一块CCD上包含的像素数越多，其提供的画面分辨率也就越高。CCD的作用就像胶片一样，但它是把图像像素转换成数字信号。CCD上有许多排列整齐的电容，能感应光线，并将影像转变成数字信号。经由外部电路的控制，每个小电容能将其所带的电荷转给它相邻的电容。CCD广泛应用在数位摄影、天文学，尤其是光学遥测技术、光学与频谱望远镜，和高速摄影技术如Lucky imaging。CCD在摄像机、数码相机和扫描仪中应用广泛，只不过摄像机中使用的是面阵CCD，即包括x、y两个方向用于摄取平面图像，而扫描仪中使用的是线性CCD，它只有x一个方向，y方向扫描由扫描仪的机械装置来完成。图2.1为面阵CCD的实物图。图2.1 面阵CCD实物图CCD（Charged Coupled Device）于1969年在贝尔试验室研制成功，后由日、美等国公司开始量产，期间从初期的10多万像素已经发展至目前主流应用的500万像素。CCD分为线型（Linear）与面型（Area）两种，其中线型应用于影像扫瞄器及传真机上，而面型主要应用于数码相机（DC）、摄录影机、监视摄影机等影像产品上。对于面型CCD，根据其工作方式又分为：帧转移型(Frame Transfer)，行间转移型(Interline Transfer) 和行帧转移型(Frame Interline Transfer)三种， 根据其扫描方式又分为全帧(full frame)和隔行(inter line)两种，全帧型多用于专业级, 隔行多用于民用级。CCD图像传感器由三层组成：第一层：微透镜头；第二层：分色镜片；第三层：感光、储存、转移电荷(CCD)层。如图2.2所示：图2.2 CCD图像传感器CCD工作的基本原理：CCD的感光面是若干个独立光刻单元的集合，它能存储由光或电激励产生的信号电荷，当对它施加特定时序的脉冲时，其存储的信号电荷便能在CCD内作定向传输, 并输出电信号。图2.3为行间转移CCD(Interline Transfer) 的工作原理图：图2.3 行间转移CCD(Interline Transfer)的工作原理图CCD的物理结构，CCD有表面（沟道）CCD（SCCD）和埋沟CCD（BCCD）两种基本类型。首先将一块半导体基板通过光刻划分成行列的矩阵状，示意如图2.4所示(48=32个像素单元)。图2.4 矩阵状半导体基板每个单元为一个像素单元，在每个像素单元里，制作出一个光感区(光感二极管)、电荷储存区、电荷转移区和益流槽、电极等，如图2.5所示。图2.5 一个像素单元的结构示意从上面的示意图(正面图)可以看出，每一个单元对应一个像素，内含一个光感二极管和与其一起工作的开关场效应管，转移储存器，像素之间还有益流槽和转移栅等，因此感光面约占每个像素面积的1/2左右的面积，增大感光面积很重要，因为感光面积越大，光感二极管采集的光就越多，成像质量就越高，但是，感光区不能把面向光线射入处都做成有效感光部份，真正能感光部分的面积只是感光区面向光线射入处部份面的60%-90%，这就是所谓的开口率。但每个像素点的面积有限，目前解决的办法是在每个感光区前面加一个光学透镜(索尼最先想出的解决办法)，以增加受光面积，这就是CCD上的第一层微镜头，这样感光面积就由微镜片来决定了，效果非常好。典型图像CCD的电荷转移方式结构如图2.6所示。图2.6 行帧转移型下面以行间转移型CCD的工作流程, 说明CCD的工作原理。CCD结构如图2.7所示，包含感光二极管、垂直寄存器、行信号输出寄存器、控制栅、电荷检测、数摸转换器、放大器等单元。图2.7 行场间转移型CCD的工作流程图下面以一个面阵CCD 图像传感器为例, 从时间顺序上说明其工作过程：在场信号的正扫描期间, 感光区的感光二极管将其所受光的强度转换成电子并储存在感光区进行积累；在场扫描的逆扫描期(场消隐期), 转移控制栅从低电位转成高电位，开通感光区与垂直储存区(CCD)，使感光区储存的电荷转移到垂直储存区, 转移完成后, 转移控制栅电位变成低电位，结束电荷转移，这个过程在逆扫描期(场消隐期)内完成；在场的正扫描期间, 储存在垂直存储单元中的电荷，在V1、V2、V3、V4 脉冲时序电压作用下，依次将其储存的电荷向下转移到水平存储单元中，每个转移过程仅在每个行扫描的逆扫描期间内完成，且每个垂直储存单元在行逆程扫描期只转移一个像素的电荷，这样就保证每次转移后，水平输出CCD内仅存有一行像素；在行扫描的正扫期间，在H1、H2时序脉冲电压的作用下，将已转移到水平存储单元的电荷依次向左转移，并检测输出(一行图像的扫描信号)，完成一行输出后，水平存储单元内的储存电荷全部转移出去，水平存储单元清空，等待下次从垂直存储单元转移电荷；在场正扫描期内，完成一幅图像的转移输出。2.2 COMS图像传感器CMOS（Complementary Metal-Oxide-Semiconductor），中文学名为互补金属氧化物半导体，它本是计算机系统内一种重要的芯片，保存了系统引导最基本的资料。CMOS的制造技术和一般计算机芯片没什么差别，主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N（带电）和P（带+电）级的半导体，这两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。后来发现CMOS经过加工也可以作为数码摄影中的图像传感器，CMOS传感器也可细分为被动式像素传感器（Passive Pixel Sensor CMOS）与主动式像素传感器（Active Pixel Sensor CMOS）。图2.8为COMS传感器实物图。图2.8 CMOS传感器实物图2.3 两种图像传感器的对比分析CCD的加工工艺有两种，一种是TTL工艺，一种是CMOS工艺，现在市场上所说的CCD和CMOS其实都是CCD，只不过是加工工艺不同，前者是毫安级的耗电量，而后者是微安级的耗电量，其主要差异是数字数据传送的方式不同。CCD传感器中每一行中每一个象素的电荷数据都会依次传送到下一个象素中，由最底端部分输出，再经由传感器边缘的放大器进行放大输出；而在CMOS传感器中，每个象素都会邻接一个放大器及A/D转换电路，用类似内存电路的方式将数据输出。 造成这种差异的原因在于：CCD的特殊工艺可保证数据在传送时不会失真，因此各个象素的数据可汇聚至边缘再进行放大处理；而CMOS工艺的数据在传送距离较长时会产生噪声，因此，必须先放大，再整合各个象素的数据。 由于数据传送方式不同，因此CCD与CMOS传感器在效能与应用上也有诸多差异，这些差异包括以下几个方面： (1)灵敏度差异：由于CMOS传感器的每个象素由四个晶体管与一个感光二极管构成(含放大器与A/D转换电路)，使得每个象素的感光区域远小于象素本身的表面积，因此在象素尺寸相同的情况下，CMOS传感器的灵敏度要低于CCD传感器。 (2)成本差异：由于CMOS传感器采用一般半导体电路最常用的CMOS工艺，可以轻易地将周边电路(如AGC、CDS、Timing generator、或DSP等)集成到传感器芯片中，因此可以节省外围芯片的成本；除此之外，由于CCD采用电荷传递的方式传送数据，只要其中有一个象素不能运行，就会导致一整排的数据不能传送，因此控制CCD传感器的成品率比CMOS传感器困难许多，即使有经验的厂商也很难在产品问世的半年内突破50%的水平，因此，CCD传感器的成本会高于CMOS传感器。 (3)分辨率差异：如上所述，CMOS传感器的每个象素都比CCD传感器复杂，其象素尺寸很难达到CCD传感器的水平，因此，当我们比较相同尺寸的CCD与CMOS传感器时，CCD传感器的分辨率通常会优于CMOS传感器的水平。 (4)噪声差异：由于CMOS传感器的每个感光二极管都需搭配一个放大器，而放大器属于模拟电路，很难让每个放大器所得到的结果保持一致，因此与只有一个放大器放在芯片边缘的CCD传感器相比，CMOS传感器的噪声就会增加很多，影响图像品质。 (5)功耗差异：CMOS传感器的图像采集方式为主动式，感光二极管所产生的电荷会直接由晶体管放大输出，但CCD传感器为被动式采集，需外加电压让每个象素中的电荷移动，而此外加电压通常需要达到1218V；因此，CCD传感器除了在电源管理电路设计上的难度更高之外(需外加power IC)，高驱动电压更使其功耗远高于CMOS传感器的水平。举例来说，OmniVision近期推出的OV7640，在 30 fps的速度下运行，功耗仅为40mW；而致力于低功耗CCD传感器的Sanyo公司去年推出了1/7英寸、CIF等级的产品，其功耗却仍保持在90mW 以上，虽然该公司近期将推出35mW的新产品，但仍与CMOS传感器存在差距，且仍处于样品阶段。 综上所述，CCD传感器在灵敏度、分辨率、噪声控制等方面都优于CMOS传感器，而CMOS传感器则具有低成本、低功耗、以及高整合度的特点。不过，随着CCD与CMOS传感器技术的进步，两者的差异有逐渐缩小的态势。根据本课题的需要，在系统中使用了CCD传感器进行了整体系统的设计与实现。3 数字视频图像要利用FPGA对视频图像进行实时处理，了解视频图像的制式格式以及视频流的基本格式是非常必要的，本节将重点介绍一下视频的相关知识，为下一步FPGA系统设计奠定基础。3.1 彩色电视制式世界上现行的彩色电视制式有3种，分别为NTSC制、PAL制和SECAM制。NTSC彩色电视制是1952年美国国家电视标准委员会定义的彩色电视广播标准，称为正交平衡调幅制。美国、加拿大等大部分西半球国家，以及日本、韩国、菲律宾等和中国台湾采用这种制式。由于NTSC制存在相位敏感造成彩色失真的缺点，西德于1962年制定了PAL制彩色电视广播标准，称为逐行倒相正交平衡调幅制。德国、英国等一些西欧国家，以及中国、朝鲜等采用这种制式。法国制定了顺序传送与存储彩色电视系统SECAM彩色电视广播标准。法国、苏联及东欧国家采用这种制式。NTSC、PAL和SECAM都是兼容制式。所谓“兼容”，一是指黑白电视机能接收彩色电视广播，显示黑白图像，二是指彩色电视机能接收黑白电视广播，显示黑白图像(逆兼容性)。PAL制式扫描一帧图像的总行数为625，分两场扫描。行频15.625Hz，周期为64us；场频50Hz，周期为20ms；帧频25Hz，是场频的一半，周期为40ms。发送电视信号时，每一行中传送图像的时间是52.2us，其余11.8us不传送图像，是行扫描的逆程时间，同时用作行同步及消隐。每场扫描行数为625/2=312行，其中25行作场回扫，不传送图像，传送图像的行数每场只有288行，因此每帧只有575行有图像显示。NTSC制式扫描一帧图像的总行数为525行，分两场扫描。行频为15.750Hz，周期为63.5us；场频60Hz，周期为16.67ms；帧频30Hz，周期为33.33ms。每场的扫描行数为525/2=262行。除去两场的场回扫外，实际传送图像的行数为480行。SECAM制式与PAL制类似，差别在于SECAM中的色度信号是频率调制(FM)，而且红色差(R-Y)和蓝色差(B-Y)信号是按行的顺序传输的。3.2 数字视频图像色彩的三色理论指出：几乎所有的色彩都可以用三种色彩的基色混合而成，这三色包括R（红色）、G（绿色）、B（蓝色）。RGB色彩模式使用RGB 模型为图像中每一个像素的RGB分量分配一个0255范围内的强度值。RGB图像只使用三种颜色，就可以使它们按照不同的比例混合，在屏幕上重现16777216种颜色。在 RGB 模式下，每种RGB成分都可使用从0（黑色）到255（白色）的值。例如，亮红色使用 R值255、G值0和B值0。当所有三种成分值相等时，产生灰色阴影。当所有成分的值均为255时，结果是纯白色；当该值为0时，结果是纯黑色。这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。而当利用传统的RGB色彩空间数字化后，有着诸多缺陷，例如与黑白图像不兼容、占用太多带宽和抗干扰能力差等。因此人们引入了YCbCr数字色彩空间，用Y表示亮度，Cb表示蓝色色差(蓝色信号与亮度信号的差值)，Cr表示红色色差(红色信号与亮度信号的差值)。YCbCr色彩空间与黑白图像兼容，更重要的是可以节省带宽，因为人眼对亮度信号变化的敏感程度要高于色度信号，色度信号可以用一个比亮度低的变化率而人眼对此感觉不到任何图像质量的丢失，这样我们在需要时就可以降低CrCb的更新速率，也不损失太大的图像质量，可以节省大量的存储空间。同时抗干扰能力强，亮度信号单独表示，色差信号受干扰不会影响到亮度。由于使用不同制式的视频信号，不便于国际数字视频信号的互通。为了获得高质量的数字化电视信号和便于国际间的节目交换，国际无线电咨询委员会针对制定了数字视频格式ITU-R BT.601。由于三个分量信号，Y，R-Y，B-Y抽样频率分别为13.5MHz，6.75MHz，6.75MHz，3个分量在一行中的抽样点数比例是4:2:2，而且每帧的行数相同，因此简称4:2:2标准表2.2.1中编码信号是经过Y校正和矩阵变换后的信号。对于625/50扫描标准，每行信号的抽样点数为864，每个数字有效行的Y信号抽样点数为720，数字行消隐期在行时间基准之前12个抽样点处开始，在行时间基准之后132个抽样点处结束，总共为144个抽样周期，本课题中采用的就是4:2:2标准。表3.1出示了这个标准的参数。表3.1 ITU-R BT.601标准参数PAL（625/50）NTSC(525/60)分量编码信号Y-U-VY-I-Q全行亮度信号采样点数864858全行色差信号采样点数432429取样结构正交结构，行、场和帧重复，Cr、Cb样点同位，并和每行第奇数个Y样点同位抽样频率亮度信号13.5MHz色差信号6.75MHz编码方式均采用每样点8bit均匀量化脉码调制(PCM)全数字行有效点数亮度信号720色差信号360图像分辨率亮度信号720576720480色差信号360576360480视频信号电平与量化级的对应关系亮度信号共220个量化级，黑电平对应16级，白电平对应235级色差信号共224个量化级，色差信号零电平位于128级3.3 数字视频格式ITU-R BT.656标准ITU-R BT.656标准描述了运行在525行或625行制式并符合ITU-R BT.601标准中所规定编码参数的数字电视设备互联方法，分别描述了两种接口通用的信号格式、比特并行接口和比特串行接口的专有特性。下面主要介绍接口的通用信号格式，熟悉这些内容是进行后续FPGA设计的基础。（1）接口描述接口数据信号采取编码成8比特字(或10比特字)的二进制信息的形式，这些信号包括：视频信号、定时基准信号和辅助信号。（2）视频数据视频数据编码符合ITU-R BT.601标准和表3.2所示的场间隔定义。表3.2 视频数据的场间隔定义场间隔PALNTSC数字场逆程（场消隐）第1场开始（V=1）6241结束（V=0）2320第2场开始（V=1）311264结束（V=0）336283数字长识别第1场F=014第2场F=1313266256个8比特字中只有254个(1024个10比特字中的1016个)可用于表示视频信号值(8个最高有效比特均为l或均为0的数据字用于标识目的)。视频数据字以27MHz的速率复用传送，传输顺序为：Cb，Y，Cr，Y，Cr其中，Cb，Y，Cr构成一个象素点，下一个Y与前面的Cb，Cr构成另一个点。ITU656的数据格式如图3.1所示。图3.1 ITU656的数据格式（3）视频定时基准码(SAV、EAV)每行数据有两个定时基准信号，一个在每个有效视频数据块的开始，另一个在每个有效视频数据块的结束。每个定时基准信号的格式为：FF-00-00-XY。其中，FF-00-00是固定前缀，而XY中包含了奇偶场标识、场消隐状态和行消隐状态的信息，表3.3列出了XY各位的含义。表3.3 XY比特定义比特位9876543210定义1FVHP3P2P1P000表中列出的是数值为10比特接口的建议值，若8比特接口则取最高8位。其中，F为场标识位:第一场为0，第二场为1；V是场状态标识位，为0表示处于场正程阶段，为1表示处于场消隐阶段；H是行状态标识位，在SAV阶段为0，在EAV阶段为1。P0、P1、P2及P3为保护比特，状态取决于F、V和H的值，用来在接收方纠正一个比特的误码及检测两个比特的误码。图3.2为表中NTSC制式情况时，F、V和H等标识位在数据流中的变化情况。图3.2 F、V和H在数据流中的变化（NTSC)（4）辅助数据辅助数据对在消隐期间以27MHz插入到复用组中的辅助数据做了规定。辅助数据信号可用10比特形式只在行消隐期问传送，还可以用8比特形式只在场消隐中的行的有效期间传送。数据值FF和00保留用于标识目的，不能在辅助数据中出现。在场消隐期间的行有效部分载送的所有辅助数据信号必需加前缀。（5）消隐期间的数据字在数字消隐期间出现不用作定时基准码或辅助数据的数据字时，应在复用数据的适当位置上填入相当于Cb、Y、Cr、Y信号消隐电平的80、10、80、10等序列。综上所述，在4:2:2格式的系统中，亮度信号采用13.5MHz的采样频率，色度信号采用6.75MHz的采样频率。对于625行制式，行周期为64us，每行亮度有采样64us13.5MHz/s=864个采样点，而每行色度的采样点数为646.75MHz/s=432，Cb和Cr加起来就是864个采样点；对于525行制式，行周期为63.5us，每行亮度有63.513.5MHz/s=858个采样点数，而每行色度的采样数为63.56.75MHz/s=429。两个亮度点对应一个色度点，因此ITU-R BT.656采用27MHz的时钟，是亮度信号采样频率的两倍，这是串行传输所必需的。在27MHz时钟系统下，625行制式的一行有1728个周期，而525行制式有1716个周期。其中，行的正程均为1440个周期，仅在消隐区有差别(625行有288个周期、525行有276个周期)。在行消隐期间，Cb、Y、Cr相应的位置上传输80、10、80，这是Cb、Y、Cr的消隐电平；在有效数据期传送Cb、Y、Cr信号。4 FPGA开发平台随着集成电路技术和多媒体技术的日益融合，不断取得惊人的进展。作为两种技术的重要体现，基于FPGA的视频处理技术的深入研究和广泛应用也取得了不断的进步。例如加拿大Matrox公司采用TMS320C80芯片设计的GENESIS图像处理系统，英国INMOS公司设计的IMSAl00级联信号处理器都是并行实时图像处理系统。富士通研究所与富士通前沿科技公司共同推出的富士通服务机器人，其3维图像处理LSI由美国XILINX公司生产的约有500万个门阵列的FPGA开发而成。另外同济大学超大规模集成电路研究所研制成功了基于FPGA的H.264编解码器，清华大学研制了GIEB微机高速图像处理系统。同时，国际和台湾等许多公司都开发了基于Xilinx和Altear公司(两个可编程逻辑器件市场的领导者)的芯片的多媒体处理开发系统。因此在本课题的设计中选择使用FPGA搭建了整个系统的开发平台。4.1 FPGA工作原理与应用FPGA器件是由大量逻辑宏单元构成的，通过配置，可以使这些逻辑宏单元形成不同的硬件结构，从而构成不同的电子系统，完成不同的功能。FPGA中有数以万计的逻辑宏单元可供随意组合成各种类型的硬件电路功能模块。正是FPGA的这种硬件重构的灵活性，使得设计者能够将硬件描述语言描述的电路在FPGA中实现。这样一来，同一块FPGA能实现许多完全不同的电路结构和功能。目前FPGA技术和性能已经达到可以用来实现复杂处理算法的要求。FPGA的结构特点在于FPGA是基于查找表(Look-Up-Table)的,查找表简称为LUT，LUT本质上是一个RAM。FPGA中多使用4输入的LUT，所以每一个LUT可以看成一个有4位地址线的16l的RAM。当用户通过原理图或HDL描述了一个逻辑电路以后，FPGA开发软件会自动计算逻辑电路的所有可能结果，并把结果事先写入RAM。这样，每输入一个信号进行逻辑计算就等于输入一个地址进行查表，找出与地址对应的内容，然后输出即可。如图4.1为典型的FPGA内部结构图，主要由6部分组成：可编程输入/输出单元、基本可编程逻辑单元、完整的时钟管理、嵌入块式RAM、丰富的布线资源、内嵌的底层功能单元和内嵌专用硬件模块。图4.1 FPGA内部结构图（1）可编程输入/输出单元（IOB）可编程输入/输出单元简称I/O单元，是芯片和外界电路的接口部分，用于完成不同电气特性下对输入/输出信号的驱动与匹配要求，FPGA内的I/O按组分类，每组都能独立的支持不同的I/O标准，外部输入信号可以通过IOB模块的存储单元输入到FPGA内部，也可以直接输入到FPGA内部，为了便于管理和适应多种电气标准，FPGA的IOB被划分为若干个bank，每个bank的接口只能有一种电压，不同的bank可以不用。（2）可配置逻辑块（CLB）可配置逻辑块CLB是FPGA内的基本逻辑单元，每个CLB都包含一个可配置开关矩阵，此矩阵由4或6个输入、一些选型电路（多路复用器等）和触发器组成。开关矩阵是高度灵活的，可以对其进行配置，以便处理组合逻辑、移位寄存器或RAM。（3）数字时钟管理模块（DCM）数字时钟管理模块DCM，FPGA内部数字时钟管理和相位环路锁定，可以实现倍频和相位移动，从而为用户提供精确的时钟综合，并且能够降低抖动。（4）嵌入式块RAM(BRAM)块RAM可被配置为单端口RAM、双端口RAM、内容地址存储器（CAM）以及FIFO等常用存储结构，减少用户设计时间，并可根据用户要求来进行配置。（5）丰富的布线资源FPGA芯片内部有丰富的布线资源，包括全局布线资源、长线资源、短线资源、短线资源、分布式的布线资源。在实际中，设计者不需要直接选择布线资源，布局布线器可自动的根据输入逻辑网表和约束条件自动的选择的布线资源来连通各个模块单元，布线的好坏跟设计有密切的关系。（6）底层内嵌功能单元内嵌功能模块主要指DLL（Delay Locked Loop）、PLL（Phase Locked Loop）、DSP和CPU等软处理器（Embeded Processor）。正是由于内嵌功能的丰富才使得单片FPGA成为系统级的设计工具，具备了软硬件的联合设计的能力。（7）内嵌专用硬核为了提供FPGA性能，芯片内部还集成了一些专用的硬核。例如，Xilinx公司的高端产品内嵌了DSP Core模块；为了适用通信总线与接口标准，部分FPGA内部集成了串并收发器等等。FPGA能在设计上实现硬件并行和流水线技术，而这些都很难在DSP上实现。因此，对于实时图像处理而言，与本质上仍然是依靠串行指令来完成相应视频图像处理算法的DSP系统相比，FPGA有很强的灵活性，可以根据需要进行重构配置，有较强的通用性，适于模块化设计；同时其开发周期短，系统易于维护和扩展，适合实时的信号处理，能够大大地提高图像数据的处理速度，因此采用FPGA器件符合本课题所选择系统的实时性要求。4.2 FPGA芯片选型Xilinx的主流FPGA分为两大类，一种侧重低成本应用，容量中等，性能可以满足一般的逻辑设计要求，如Spartan系列；还有一种侧重于高性能应用，容量大，性能满足各类高端应用，如Virtex系列，用户可以根据自己实际应用要求进行选择。在性能可以满足的情况下，优先选择低成本器件。下面对Virtex系列的几款主流型号进行了简单的介绍和对比。Virtex-II：2002年推出，0.15um工艺，1.5v内核，大规模高端FPGA产品；Virtex-II pro：基于VirtexII的结构，内部集成CPU和高速接口的FPGA产品；Virtex-4：xilinx最新一代高端FPGA产品，包含三个子系列：LX，SX，FX 其各项指标比上一代VirtexII均有很大提高，获得2005年EDN杂志最佳产品称号，从2005年年底开始批量生产，在市场上逐步取代了VirtexII，VirtexII-Pro,是这几年Xilinx在高端FPGA市场中的最重要的产品。本文选择的FPGA器件是Xilinx公司的Virtex-4系列，型号XC4VSX25。Virtex-4系列采用90nm工艺设计的高性能平台级逻辑器件，内部时钟频率可达600MHz；内部具有高兴能存储器SmartRAM，每个块存储器容量为18k，并且是完全的双口存储器结构。最多可提供10MB的BLOCK RAM，以及1MB的分布式存储器资源。支持高性能的外部存储器接口，这些接口包括DDR/DDR 2、SDRAM、QDR-II和RLDRAM-II等接口；专用的18位18位乘法器模块和超前进位逻辑链构成了高性能的算术处理功能；高达178176个时钟驱动的寄存器，高达178176个查找表，支持水平级链和多路选择器，以及内部的三态总线结构组成了丰富和灵活的内部逻辑资源；支持多达19种的单端接口标准和6种差分接口标准；提高了DSP、RAM单元与逻辑单元的比例，最多可以提供512个XtremeDSP硬核，可以工作在500MHz，其最大的处理速率为256GMAC/s ，并可以创建40多种不同功能和多个组合实现更大规模的DSP模块。与Vitex-2 Pro系列相比，还大大降低了成本和功耗，具有极低的DSP成本。SX平台的FPGA非常适合应用于高速、实时的数字信号处理领域。4.3 FPGA开发平台简介本系统以和众达公司SEED-FEM025为开发平台，此开发平台资源非常丰富，采用Xilinx公司的Virtex-4系列中的XC4VSX25为核心芯片，外扩了异步SRAM，最大容量为512k16位，基本配置为64k16位；外扩异步FLASH，最大容量为512k16位，基本配置为256k16位；外扩同步DDR SDRAM，容量为16M32位；1路立体声音频输入/输出（Microphone输入或line in可选）；1路PAL/NTSC标准模拟视频输入（CVBS或Y/C可选）；1路PAL/NTSC标准模拟视频输出（CVBS+Y/C）；1路标准RGB模式的VGA输出；2路UART接口，接口标准为RS232；1路10M/100 Mbase-TX标准以太网接口；2通道快速光电隔离型输入，可以作为测频使用；2通道快速光电隔离型输出；6路拨码开关输入接口；6路LED灯显示接口；采用Xilinx公司的SYSTEMACE芯片，外扩了CF卡接口；采用Xilinx公司的PLATFORM