（通信与信息系统专业论文）嵌入式数字视频录像机技术研究.pdf

摘要 近年来，数字视频录像机在视频监控等涉及到专业存储的领域中得到广泛应用。 但随着需求的发展，早期基于p c 的设备面对新的应用模式逐渐显得有些力不从心，因 此相关的嵌入式设备凭借着诸多优势成了新的研究热点。本文提出并研究设计了一种 嵌入式数字视频录像机的系统方案。该系统完成的主要任务是基于d s p 处理器控制的 i d e 硬盘数字图像存储记录系统。 系统由图像采集、图像数据存储和图像提取三部分组成。采用c m o s 图像传感器 o v 7 6 2 0 为核心器件来实现图像的摄取，进一步采用c p l d 芯片e p m 7 1 2 8 s 产生地址信号 并实现对整个系统的时序控制，通过乒乓方式把视频数据存入高速缓存模块h m 6 2 8 5 1 2 中，最后通过t i 公司的高性能数字信号处理芯片t m s 3 2 0 v c 5 5 0 2 将图片存入i d e 硬盘。 关键词：d s pc p l dc m o s 图像传感器i d e 硬盘 a b s t r a c t i nr e c e n ty e a r s ，d i 罾t a lv i d e or e c o r d e rh a sb e e na p p l i e dw i d e l yi nt h ep r o f e s s i o n a l s t o r a g er e a l m s ，s u c ha sv i d e os u r v e i l l a n c ea n dn e t w o r ks t o r a g e h o w e v e r ，t h et r a d i t i o n a l p c b a s ee q u i p m e n t sf a i lt om e e tt h eg r a d u a l l yi n c r e a s e dd e m a n d sb e c a u s eo fi t si n h e r e n t d r a w b a c k s s ot h ee m b e d d e ds y s t e m sh a v eb e c o m ean e wr e a e a r c hf o c u sw h i c hc a l lp r o v i d e n o t a b l ea d v a n t a g eo v e ri t st r a d i t i o n a lc o u n t e r p a r t s t h i sp a p e rp r o p o s ea n dd e s i g nas c h e m e a b o u te m b e d d e dd i g i t a lv i d e or e c o r d e rs y s t e m t h em a i nt a s ko ft h i ss y s t e mi sas y s t e m w h i c hi sb a s eo nd s p p r o c e s s o ra n di d eh a r dd i s kt ob e c o m et h ed i g i t a li m a g er e c o r d s y s t e m t h i ss y s t e mi sm a i n l yc o m p o s e db yi m a g et a k i n g ，i m a g ed a t as t o r i n ga n di m a g e a b t r a c t i o n u s i n gc m o si m a g e s e n s o ro v 7 6 2 0a st h ec o r ed e v i c et oa c h i e v et h ei m a g e i n t a k e ，f u r t h e ru s i n gc p l d c h i pe p m 7 1 2 8 s ，w h i c hg e n e r a t e st h ea d d r e s ss i n g a la n d r e a l i z e t oc o n t r o lt h ew h o l e s y s t e mt i m i n g ，b ym e a n so fp i n g - p a n go p e r a t i o n ，t h ed i g i t i z e dv i d e o d a t am a yw r i t ei n t ot w oh i 【g hs p e e dr a m sa n dt h e np u tt h ei m a g ei n t oi d eh a r dd i s kb yd s p c h i pt m s 3 2 0 v c 5 5 0 2o f t ic o r p o r t a t i o n k e yw o r d s ：d s pc p l dc m o si m a g es e n s o r i d eh a r dd i s k 长春理工大学硕士学位论文原创性声明 本人郑重声明：所呈交的硕士学位论文，嵌入式数字视频录像机技术研究 是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明 引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成 果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 作者签名：重驺丛生年j 月监日 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长眷理工大学硕士、博士学位论文版 权使用规定”，同意长春理工大学保留并向中国科学信息研究所、中国优秀博硕 士学位论文全文数据库和c n k i 系列数据库及其它国家有关部门或机构送交学 位论文的复印件和电子版，允许论文被查阅和借阅。本人授权长春理工大学可以 将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印 或扫描等复制手段保存和汇编学位论文。 作者签名：缈翌争三月坚同 指导导师签名：一年手月“同 第一章绪论弟一早殖记 1 1 课题的提出、研究目的及意义 在现今快速发展的社会，各种高科技产品层出不穷，让人们的生活更加方便、舒 适、安全。视频监控系统被广泛应用于安全保护、生产管理等场合，成为金融、交通、 商业、住宅和社区等领域安全防范监控的重要手段，对保护企业财产安全，防止犯罪 起到重要的作用。一般工作过程是在一些重要的场所安放一个或者若干个摄像机和报 警器负责拍摄并探测监控现场，然后将视频和报警信号通过一定的传输网络，传送到 指定的控制中心，再通过存储设备，将媒体存储到存储媒介上，同时将图像显示在电 脑和监视器上。近几年来，视频行业的应用范围不断拓宽以及一些领域的应用也为视 频行业带来了更大的市场和更多的关注目光，市场上已经出现了多种图像采集和传输 的产品。 数字视频录像机则是数字化视频监控的产品之一，它通常具有多路监控、录像存 储、报警检测、网络传输和控制等功能。近年来，数字视频录像机已经逐渐成为监控 系统的主流。它采用数码方式存录影音，具有整合型高，功能多，可重复录像，录像 搜索方便，画质清晰，不需要耗材，可以使用基于计算机的管理功能等特色。因此， 极大的改变了过去模拟监控系统的缺陷，得到了市场的广泛认可。 目前市场上主流的数字视频录像机主要分为两类：一类是基于p c 架构以及视频压 缩、解压缩板卡实现的，另外一种则是以嵌入式处理器及平台为核心的嵌入式数字视 频录像机。前者以p c 或工控机为基本硬件，集成图像，声卡采集压缩卡，在通用操作 系统( 一般为w i n d o w s 上再配上相应的数字视频录像机应用软件) 以及存储采集和压 缩的内容的硬盘，这样就构成了p c 平台的数字视频录像机。如果加上前端( 摄像机、 云台、解码器、报警探头等，就组成了一个完整的数字监控系统。嵌入式数字视频录 像机是刚刚发展起来的新型数字视频录像机，采用专用的嵌入式硬件系统和嵌入式操 作系统来实现数字视频录像机的功能，相比前者，后者在功能以及视频处理路数上还 有所不足，其最大的优势就是稳定性和可靠性较高，成本低，易于操作同时便于维护。 由于视频的应用不同，各种视频系统都有自己独特的要求，实现的方法也各不相同。 本文所描述的系统是一种基于d s p 处理器的硬件平台，具有低成本、低功耗以及高稳 定性等特点，它记录事发现场的图像，为事后处理分析提供信息。系统体积小，采用 大规模存储器件进行图像存储，可以根据需要来决定是否安装通信网络，因此可以独 立安装使用，也可以作为大型监控系统的辅助设备。 1 2 嵌入式硬盘录像机发展现状 嵌入式数字视频录像机由于软硬件设计难度通常都较高，技术门槛和资金门槛相 对都较高，目前国内拥有自主开发能力的公司极少，通常只能采用国外一些低档的方 案，这样不可避免地会受到原方案的制约，不能灵活设计，无法满足市场的多元化需 求，网络功能也普遍较弱。 1 2 1嵌入式硬盘录像机的发展历史 8 0 年代国外模拟监控产品抢滩中国大陆市场之后，二十年间，几乎是国外品牌一 统天下的局面。1 9 9 8 年，国内诞生了第一批新兴的数字化监控产品，而这些产品都是 基于p c 式的数字视频录像机。随着2 0 0 1 年“板卡+ 软件”模式的出现，数字视频录像产 品价格面临行业性“跳水 ，众多经销渠道商纷纷加入基于p c 的数字视频录像机生产 商行业，使得基于p c 的数字视频录像机从“技术竞争”，跨越了“综合竞争 直接进 入了无标准的“价格战 。而这种恶性竞争带来的直接结果就是产品的稳定性很难从 生产工艺上得到保证。 2 0 0 0 年初，嵌入式数字视频录像机的想法开始出现，到了2 0 0 2 年，开始有了第一 代嵌入式数字视频录像机的产品。随着嵌入式数字视频录像机“超强稳定，永不死机 的口号，“嵌入式”则日渐成为稳定、可靠的代名词。但初期的数字视频录像机性能 极不稳定，而且一旦发生问题，根本无法在现场立即维修恢复，只好由厂家发来备用 机器，使得工程商和用户都极为不满。初期的产品由于在性能上的不足，并没有达到 预期的市场效果。 在走过这一段弯路后，厂家开始逐渐吸取教训，一方面开始提高产品性能，另一 方面也开始注意公司品牌在市场中的形象，广告词日趋理性化，市场推广也采取多元 营销的模式。2 0 0 2 年至u 2 0 0 3 年，很多公司的嵌入式厂家发展很快，占有嵌入式市场也 日益增高，总体来说，基于p c 机的数字视频录像机与嵌入式数字视频录像机的市场份 额比例大致为7 ：3 。产品的性能也有很大改善，尤其在小路数主机方面，由于价格优 势明显，因而更具竞争力。 2 0 0 4 年，“板卡大战拉开序幕，基于p c 机的数字视频录像机市场发展也随之到 了整合阶段，其产品利润透明化，基本只能满足企业正常运行，因而板卡供应商不得 不把其注意力转移到了嵌入式数字视频录像机领域。而反过来，板卡供应商的产品定 位也助长了嵌入式市场数字视频录像机图跃式发展。 2 0 0 5 年，随着“嵌入式成为安防的流行语，安防市场适逢“数字化改革的高 潮阶段，嵌入式视频录像机发展的又迎来了一黄余年，板卡方面成熟的压缩算法h 2 6 4 和d s p 平台的1 5 0 0 显著提高了系统性能，很快被市场所接受1 。 商用嵌入式数字视频录像机已经达到了一个新的平台，目前国内还有许多高校、 研究所已经开始针对d s p 和硬盘的数字图像记录系统进行了一系列的研究，与商用嵌 z 入式数字视频录像机不同的是，基于d s p 和硬盘的数字图像存储记录系统主要是对图 像传感器芯片直接进行操作，灵活度高、可靠性强，修改相应的参数也十分简单，更 具有市场潜力。目前，国内中科院的长春光机所以及浙江大学在这方面的研究较为领 先。长春光机所研制的基于高帧频数字相机的d s p 数字图像记录系统，硬盘每秒可记 录大约2 0 m 的图像信息。浙江大学研制的嵌入式硬盘录像机采用多片d s p 处理器，能够 完成音视频信号的采集和输出，硬盘的记录速度也达到了每秒十几兆。 1 3 数字视频录像机的分类 1 3 1 基于p c 的数字视频录像机 9 0 年代中后期，计算机网络开始普及并得到迅猛发展，视频技术的发展也日新月 异，这些技术的发展特别是视频压缩技术的出现和发展，使数字视频的存储和传输成 为可能。计算机技术的日益成熟，微机的普及化，也为基于的视频监控创造了条件。 基于p c 机的数字视频录像系统，监控终端p c 机利用专用解压卡对数据进行解压后，就 能够重现远端的图像。但是基于p c 机的数字视频录像机还存在很多问题： 体积大、功耗高。由于需要利用专用压缩解压卡对视频信号进行压缩和解压缩处理， 所以使监控系统体积较大功耗较高； 监控现场需要专人值守，维护烦琐； 实时性不高和稳定性较差； 成本较高； 可扩展性差，采用专用的压缩卡和解压缩卡对视频数据进行压缩和解压缩，只能支持 一种编码格式，无法提供对其他编码方式的支持。 1 3 2 嵌入式数字视频录像机 近年来随着远程视频监控系统被越来越多的应用于各个领域，人们对视频监控的 要求也越来越高：操作简单、实时可靠、多功能、数字化、智能化以及经济实用的视 频监控系统的开发和设计越来越多地受到人们的关注，故此基于嵌入式技术的数字视 频录像机也应运而生。 嵌入式数字视频录像机通常采用基于嵌入式处理器的硬件平台，扩展相应的硬件 设备，同时也可以运行嵌入式操作系统，通过专用的编解码硬件芯片或者相应的压缩 算法对采集好的视频信息进行实时监控、压缩存储以及网络传输，在终端采用专用的 解码芯片或相应的解压缩算法对视频信息进行本地解码回放。 与基于p c 机的数字视频录像机相比，嵌入式数字视频录像机具有以下优点： 体积小，功耗低。采用基于低功耗的嵌入式处理器的硬件平台，只需扩展必要的外设， 芯片数量远远少于p c ，因而在体积和功耗方面要远远小于p c 机； 稳定性高。采用专用的嵌入式操作系统并且将系统固化在硬盘等存储器中有效的降低 了病毒的威胁； 3 成本低廉。嵌入式数字视频录像机的芯片数量远远少于p c 机，且远程监控的p c 机通 常无需额外的解压缩卡，减少了硬件成本； 回顾嵌入式数字视频录像机的发展历程，可以发现嵌入式数字视频录像机己经从 第一代的功能单一的单路录像机发展到今天的第二代的多路复合编码压缩技术包括一 些具有网络功能的复杂视频监控设备。目前来看，第二代编码压缩技术的嵌入式数字 录像机逐渐成为市场主流，但由于第一代技术成熟且标准统一，因而仍然在高端拥有 相当用户群体。 嵌入式数字视频录像机的技术主要分为四个方面嵌入式软硬件、编解码算法、网 络传输和数据存储管理。 1 ) 软硬件技术 嵌入式数字视频录像机一般都需要一颗嵌入式处理器作为中央处理器，而市场中 的嵌入式处理器有多种代表性产品，在嵌入式视频录像机中常见的有a r m 系列、d s p 系列、m i p s 系列、x 8 6 系列和p o w e r p c 系列。目前采用这些处理器的嵌入式视频录像 机都有，功能也不尽一样，除了a r m 份额稍微低一些外，其他产品可谓平分秋色。 与嵌入式处理器对应的是嵌入式操作系统，目前一般视频录像机采用的嵌入式操 作系统主要有两类，一类是非实时操作系统，最具代表性的是u c l i n u x ，另一类是实时 操作系统，代表v x w o r k s 。两类操作系统各有所长，满足工业标准的实时操作系统具 有较好的可靠性和稳定性，功能也很丰富，但其成本较为昂贵，而以l i n u x 为代表的非 实时操作系统可移植性非常好，且有很多人同时在开发使用，其资源异常非常丰富， 最为关键是其开发成本低，这一点对于嵌入式产品的开发往往起着决定性作用，其缺 点是可靠性和稳定性不如实时操作系统。 2 ) 编解码算法 图像编解码算法是嵌入式视频录像机的核心技术之一，行业内的各公司一般把算 法的技术指标当作评价其研发能力和产品性能的重要指标。早期的产品，由于硬盘容 量的限制，只能采用图像分辨率低( 如c i f ) 、压缩比高的算法。因此，各厂家一直致 力于研发新的图像压缩技术，如m p e g 一4 和h 2 6 4 ，并在算法技术上大力渲染，但多数 录像质量还是达不到s 磁带录像机的清晰度水平。随着芯片技术的发展，芯片的运 算能力大大提高，许多芯片还能同时处理多路数据。新的算法技术不断应用到嵌入式 数字视频录像机上，新的d s p 基本上都能处理q c i f 至d 1 的各类分辨率的视频图像，图 像质量也大大高于v h s 磁带录像机，接近d v d 的质量，各公司的主要精力开始转移到 高清晰度算法处理与硬盘存储容量的平衡上。目前应用在嵌入式视频录像机的图像压 缩算法主要有：m j p e g 、h 2 6 3 、m e p g 1 、m p e g 2 、m p e g 4 和h 2 6 4 。 其中m j p e g 、h 2 6 3 、m p e g 2 、为国外数字视频录像机使用的主要标准，国内则 以m p e g 4 h 2 6 4 为主。除了m p e g 1 m p e g 2 有公认的视频压缩存储标准，可以互相 兼容外，其他几个压缩标准均难以统一，在应用到录像机上。 4 表1 1各类压缩算法优缺点比较 实现算法的方法有两个，一是采用国外芯片厂商生产的a s i c 算法芯片，如m p e g 1 m p e g 一2 芯片和m p e g 4 芯片。采用a s i c 芯片设计嵌入式数字视频录像机系统相对比 较简单，一般一些生产a s i c 芯片的厂商会专门针对嵌入式数字视频录像机提供全套的 解决方案，近期国内许多中小监控企业生产的嵌入式数字视频录像机就是通过直接购 买这些厂商的解决方案进行整机生产，这种方式具有开发投入低，产品上市快的优点， 缺点是完全依赖芯片厂家，独立性很差，产品功能比较单一，不能够完全适应国内市 场变化和客户需求，产品稳定性需要进一步提高。另一种方法是采用标准的d s p 芯片， 女 i a d ib l a c k f i n 系列d s p 、t iv c 5 5 0 2 系列d s p ，自行开发m p e g 4 h 2 6 4 算法，这类 方式的优势是拥有自主知识产权的算法设计，系统可制定性强，能针对不同客户的需 求，进行相应的算法优化，缺点是开发周期长，需要投入大量的入力物力。 3 ) 网络传输 随着网络技术和互联网的发展，嵌入式数字视频录像系统与互联网应用技术相结 合己成为主流趋势。计算机系统的应用、普及，网络通讯技术及图像压缩处理技术以 及传输技术的快速发展，使得数字视频行业能够采用最新的计算机、通讯和图像处理 技术，通过计算机网络传输数字图像，为实现远程图像监控及联网报警系统提供高效 可行而且价格低廉的解决方案。 如今嵌入式数字视频录像机的网络技术正朝两个方向发展：一是专用技术条件下 开发满足保安监控需求的高品质的网络录像机，其技术要求实时、清晰、可靠、组网 灵活、分散存储、多级管理，其最终发展目标是取代模拟光缆条件下的图像传输市场 二是公网条件下的网络传输解决方案，由于公网网络传输条件差，因此为了最大限度 保证在公网图像传输的q o s ，需要采用多种新的网络和图像压缩传输技术，如流媒体技 术等。 4 ) 数据存储管理 数据存储与编码算法一样，是嵌入式视频录像机的核心功能之一，其技术发展始 终牵动着嵌入式数字视频录像机发展的脉搏，另一方面用户也对存储提出了更高的要 求。嵌入式数字硬盘录像机作为一种创新的监控产品，它通过将视频信号数字化压缩， 再将其存储在本地s a s t 或者i d e 接口的硬盘等存储介质上，以确保数据记录以及视频 图像的回放吲。 1 4 论文的主要研究内容 在d s p 嵌入式处理器技术飞速发展，以及市场对嵌入式数字视频录像机需求上升 的背景下，本文研究设计了基于嵌入式处理器的数字视频录像机。通过对不同方案的 对比，确定了以一片d s p 芯片t m s 3 2 0 v c 5 5 0 2 和一片c p l d 芯片e p m 7 1 2 8 s 为核心的系 统方案。本论文主要工作包括嵌入式数字视频录像机的硬件以及软件方面的具体设计 和调试。由于嵌入式数字视频录像机整体系统要研究的内容较多，包括主处理器、音 视频信号的输入输出、u s b 接口、硬盘存储、报警输出、网络传输功能等，论文重点 工作集中在如何以d s p 和c p l d ( 复杂可编程逻辑器件) 为核心构建硬件系统，完成基于 d s p 和可编程逻辑器件c p l d 的图像采集处理系统的核心组件设计以及d s p 控制i d e 硬 盘进行读写。这些核心组件包括d s p 、图像传感器、可编程逻辑器件c p l d 、i d e 接口 硬盘、p c 机显示界面等，研究的主要内容在于实现上述核心组件的接口设计。 1 ) 硬件部分主要包括以下内容： 1 、以典型c m o s 图像传感器o v 7 6 2 0 为研究对像，对c m o s 图像传感器嵌入式数 字视频录像机中应用的可行性进行了讨论和分析，对应该注意的其它问题也进行了研 究。在c m o s 图像传感器工作原理和特性参数的分析基础上，对嵌入式数字视频录像 机的设计思路、实验测试过程和结果进行了详细地讨论和分析。 2 、采用c p l d 技术设计c m o s 有源像素图像传感器的驱动电路，使原来复杂的数 字逻辑电路变成只需1 片c p l d 芯片就能完成。在a l t e r a 公司的m a x + p l u s l i 环境 下利用原理图和v h d l 语言两种方式完成c p l d 程序的编写、校验、仿真以及时序分 析，使c p l d 控制图像传感器完成图像采集。 3 、图像存储部分选择希捷公司生产的存储容量为1 0 2 g 的i d e 接口硬盘，本文详细 地介绍了硬盘的主要特性和应用特点以及i d e 硬盘的硬盘的分区结构和f a t 3 2 文件系 统，重点研究了基于图像格式的文件记录系统。软件部分讨论了采用p i o 模式进行块操 作的写盘方法，从而大大提高了硬盘的写盘速度。 2 ) 软件部分主要包括以下内容： 1 、在a v r 单片机开发环境i c c a v r 编程环境下编写图像采集部分的程序； 2 、在d s p 开发软件c c s 编程环境下编写硬盘储存部分的读写程序； 3 、用c + + b u i l d e r 语言设计了图像显示部分的上位机软件； 4 、采用v h d l 语言设计了系统时序电路部分的程序。 6 1 5 本章小结 本章主要介绍了硬盘录像机的发展历程以及分类，对比了基于p c 的数字硬盘录像 机和嵌入式硬盘录像机的优缺点，并且简单介绍了嵌入式硬盘录像机设计所需要涉及 的知识，最后提出了本论文的软硬件研究的相关内容。 第二章系统总体组成及硬件设计 一个完整的成像系统不但要具备图像信号的采集功能，还要求能对图像进行实时 显示，且要求完成图像信号的分析及处理算法。通常这些算法的运算量大，同时又要 满足实时显示的要求，因此采用高速d s p 芯片作为数据核心处理单元。另外，要求系 统满足通用性的同时，针对不同的应用和不断出现的新处理方法，还要使系统便于功 能的改进和扩展。为此，我们以p c 为主机，以t i 公司的d s p ( t m s 3 2 0 v c 5 5 0 2 ) 作 为数字信号的处理器的核心，用c p l d 作为系统数据采集的控制部分，本章将重点介 绍系统的硬件实现过程。 2 1 系统总体方案的选择 现今电子市场上，涉及图像的产品琳琅满目。数码相机、数码摄像机和照相手机 都是大家熟悉的。随着各大电子通信公司在这领域的大量投入，现有技术的成熟，以 及人们生活水平的提高，前些年老百姓望而却步的这些数码产品进入了大家的生活中。 还有另一类一般人不大熟悉的运用于科研开发的产品，比如图像采集卡、图像压缩卡、 图像加密卡等等。这些产品专用于某一范围，采集卡运用于图像采集，加密卡用于图 像加密。由于其专用性，功能固定，大多数产品不能升级，这对图像质量要求日益增 高的今天，系统升级往往只能靠新产品更换旧产品，系统成本无疑大量增加。 无论是消费型的数码产品，还是运用于科研的专用产品，在设计思想中大致有这 两种情况：1 、利用现成的专用芯片。比如，图像压缩利用专用的压缩芯片，i n t e l 公司 的几款压缩芯片性价比高，在一些成习惯的产品中可以看到其踪影；又如，现今数码 产品的部分图像采集一般都采用专用的相机芯片，o m n i v i s i o n 公司在这领域占据很大 的份额。2 、利用微处理器。很多公司出产的照相手机的主c p u 采用d s p 芯片。比如， m o t o 公司的大多数照相手机应用的是c p u 就是公司生产的t m s 3 2 0 v c 5 x 系列 d s p ，外带a r m 机构成的。又如，图像采集卡主c p u ，很多公司都采用大规模可编程 逻辑器件f p g a 。x i l i n x 、a l t e r a 公司多逻辑门都是这些生产厂家的首选h 】。 上面两种设计思路各有其优势，但也有其不足。利用专用芯片设计系统，软件工 作量大大减小，软件编程主要集中在初始化和外围器件的沟通上。这就使得整个系统 的研发时间大大减小，很明显系统设计与功能实现受到专用芯片的制约，在升级和功 能扩展方面有所欠缺。同时，专用芯片的使用将增加系统设计成本。利用d s p 等微处 理器进行系统设计，费用相对低廉、功能可以根据实际需要进行修改，升级。当然， 硬件、软件研发工作量将大大增加。综合以上各方面考虑，后者成为课题首选。 8 2 2 系统的结构组成及工作过程 硬件系统可以分为以下几个模块：d s p 控制平台、m c u 单元模块、图像采集模块、 图像存储控制模块。其中d s p 控制平台采用1 i 公司生产t m s 3 2 0 v c 5 5 0 2 模块；图像采集 模块中的c m o s 图像采集芯片采用o m m v i s i o n 公司的o v 7 6 2 0 ，图像逻辑时序控制模块 主要包括c p l d 芯片e p m 7 1 2 8 s 、两片5 1 2 k 的s r a mh m 6 2 8 5 1 2 和希捷公司生产的 1 0 2 g 的i d e 接口硬盘。其原理框图如图2 1 所示。 图2 1 嵌入式数字视频录像设备的原理框图 系统主要工作过程可分为两个步骤：图像数据存储和图像数据读出过程。系统上 电之后，采用a v r 系列单片机a t 9 0 s 8 5 1 5 的i o 端口模拟1 2 c 总线对c m o s 图像传感器的 工作寄存器进行初始化设置，以便使图像传感器进入正常的工作状态，如开窗口位置、 逐行扫描方式、自动曝光、自动白平衡等。如果上位机需要调整c m o s 图像传感器的 工作参数，则可以通过地址端口写入；随后，c m o s 图像传感器输出的8 位图像数据在 复杂可编程逻辑器件e p m 7 1 2 8 s 的协调控制下，顺序存入s r a mh m 6 2 8 5 1 2 构成的图像 数据缓冲区。如果上位机没有发出读数据的命令，则此过程一直进行下去，缓冲区中 的数据不断刷新，硬盘中将顺序存储每幅图片；如果上位机发出读取图像数据的命令， 则等待一帧完整的图像写入后，d s p 将c m o s 图像传感器的图像输出通道关闭，图像从 帧存储器h m 6 2 8 5 1 2 进入d s p 的外扩存储器s d r a m 中，d s p 通过相应的命令通知硬盘 从s d r a m 中读出图像。在硬盘中写入一帧图像后，再将c m o s 图像传感器的图像输出 通道打开重新开始新的一帧图像采集，根据上位机发出的相应命令来确定是否要显示 图像等，系统工作流程图如图2 2 所示。 9 图2 2 系统工作过程流程图 2 3 图像采集模块的设计 2 3 1 视频信号的采集 数字视频录像机作为监控系统的组成部分必然要对其监控场地进行图像摄录，所 以功能模块中要有图像输入与采集部分。图像输入一般采用摄像机得到现场图像，摄 像机作为一种监控设备，要求性能可靠、成本低。目前市场上主流的图像传感器主要 是c c d 图像传感器和c m o s 图像传感器两种。c c d 图像传感器由于灵敏度高、噪声低， 逐步发展成为数码相机的主导产品。但由于工艺上的原因，感光元件和信号处理电路 不能集成在一块芯片上，造成了由c c d 图像传感器组装的相机体积大、功耗大的局限。 而c m o s 图像传感器以其体积小、功耗低在图像传感器市场上独树一帜。从摄像机性 能和成本考虑，本系统采用了c m o s 图像传感器o v 7 6 2 0 作为数字相机部分的核心部件， 因此，这里重点介绍一下c m o s 图像传感器组成以及o v 7 6 2 0 的工作原理。 1 ) c m o s 图像传感器芯片的整体结构 1 0 图2 3c m o s 图像传感器芯片的整体结构图 由于大规模集成电路设计与制造技术进入深亚微米阶段，c m o s 图像传感器芯片 可将图像传感部分、信号读出电路、信号处理电路和控制电路高度集成在一块芯片上， 再加上镜头等其他配件就构成了一个完整的摄像系统。性能完整的c m o s 芯片内部结 构主要是由感光阵列、水平( 垂直) 控制电路和时序电路、模拟信号读出电路、a d 转换电路、数字信号处理电路和接口电路等组成。c m o s 图像传感器的支持电路包括 一个晶体振荡器和电源去耦合电路。这些组件安装在p c b 板的背面，占据很小的空间。 微处理器通过1 2 c 串行总线直接控制传感器寄存器的内部参数n 习。 2 ) o v 7 6 2 0 的工作原理 系统所要完成的任务是对监控场地进行实时图像信息的采集和回放，对图像的清 晰度要求比较高，又考虑到采集器件的价格和体积等方面因素，以及应用到整个系统 中实现出来的难易程度。因此本系统选用了c m o s 图像传感器o v 7 6 2 0 ，o v 7 6 2 0 是一种 数字输出的图像传感器芯片，不需外接控制器就可以直接输出数字视频信号，芯片同 时输出标准时序信号v s y n c ( 垂直同步信号) 、h r e f ( 水平同步信号) 和p c l k ( 像 素时钟) ，用作外部电路读取图像数据的参考信号。它具有如下显著特点晗1 ： ( 1 ) 6 4 0 x4 8 0 的标准v g a 图像分辩率，且输出高保真的数字化图像； ( 2 ) 可逐行扫描或隔行扫描输出； ( 3 ) 输出视频数据格式可为y c r c b4 ：2 ：2 、g r b4 ：2 ：2 或r g b 原始数据； ( 4 ) 可输出标准n t s c 或p a l 制式时序； ( 5 ) 通过1 2 c 总线可灵活实现对o v 7 6 2 0 各种工作模式的程控； ( 6 ) 1 - 5 0 0 倍的自动曝光范围； ( 7 ) 自动增益和白电平平衡控制； ( 8 ) 能进行亮度、对比度、饱和度等多种调校功能； ( 9 ) 输出窗口可从4 x 4 - - 6 4 0 x 4 8 0 之间任意调整( 电子变焦) ； 0 0 ) 可输出单帧图像或单行图像； ( 1 1 ) 单5 v 供电，工作功耗 2 0 0 m w ，待机功耗| 1 0 图2 6 数据输出时序图 2 3 2 图像采集部分工作过程 这里我们直接采用了m c u 控制器对图像传感器进行初始化工作，通过相应的i o e l 来模拟1 2 c 总线，并且在c p l d 产生的时序下将每个灰度值顺序写入帧存储器中。使用 的具体m c u 器件为a v r 系列单片机中的a t 9 0 s 8 5 1 5 ，采用此款单片机对于本设计图像 采集工作各部分性能良好并且能够达到预期效果，c m o s 摄像机的硬件设计框图如图 2 7 所示。 图2 7c m o s 摄像机的设计框图 1 3 图2 8 图像采集部分流程图 图像采集部分流程图如图2 8 所示。本系统把a t 9 0 s 8 5 1 5 作为主设备( m a s t e r d e v i c e ) ，o v 7 6 2 0 作为从设备( s l a v ed e v i c e ) 。采用a t 9 0 s 8 5 1 5 的p d 4 和p d 5 口作为软件 模拟1 2 c 总线；把参数写入图像传感器内部对应的寄存器。在i ：c 总线中主设备发送一个 字节后；从设备需要将数据线s d a 拉低作为应答信号( a c k ) 返回给主设备，才能表示发 送成功。值得注意的是由于c m o s 器件所能承受的灌电流很低；所以接至时钟线s c l 、 数据线s d a 的上拉电阻阻值应在3 - 5 k o 之间；并且对于主设备a t 9 0 s 8 5 1 5 发送参数完 毕后；需立即释放数据线s d a 以保证其处于悬空状态；即a ，r 9 0 s 8 5 1 5 在送完一个字节 后立即执行一条指令；使数据线s d a 发出读取信号的操作。1 2 c 总线配置完毕后，根据 6 4 0 x 4 8 0 的像素输出特点，将5 1 2 k b 的s r a m 分成5 1 2 行，每行1 k b 空间，由a 0 - - a 1 8 共1 9 根地址线选通行内地址。从图像传感器o v 7 6 2 0 输出的8 位灰度数据线在行场同步 信号以及像素时钟信号的作用下，将每个灰度值按照每行6 4 0 个灰度点、每列4 8 0 个灰 度点排列，最后形成了一幅黑白图片的采集瞳列。 2 - 3 3 帧存储器s r a m 设计 在系统中，一帧采集的图像为6 4 0 x 4 8 0 点阵，所以需要的存储容量为3 0 0 k b 左右。 由于o v 7 6 2 0 输出端为8 位，因此对帧存储器的要求也应该具备8 位的i o 端口，c p l d 要将帧存的1 9 根地址线选通，这样才能实现一幅容量为3 0 0 k b 的图像的采集，因此 对帧存的地址信号要求至少为1 9 位。系统使用的存储器是h i t a c h i 的h m 6 2 8 5 1 2 ， 具有低功耗、高速访问周期等特点，其供电电压为5 v ，这与图像传感器o v 7 6 2 0 的工 作电压可以相匹配，由于以上原因系统中选用了h m 6 2 8 5 1 2 作为帧存储器。其引脚图 如下： 1 4 表2 1h m 6 2 8 5 1 2 的引脚图 p i nn a m ef u n c t i o n a 0 a 1 8 i o o i 0 7 c s o e 陟e v c c a d d r e s s c h i ps e l e c t c h i ps e l e c t o u t p u te n a b l e w r i t ee n a b l e p o w e rs u p p l y g r o u n d h m 6 2 8 5 1 2 的工作方式选定是由c s 、o e 、w e 三个信号的状态决定的。在本设 计中，将c s 置低，芯片被选中，读写功能就由o e 、w e 的状态决定。为了使得读写 控制易于实现，实验中将o e 引脚接地，这样芯片的读写实现就是由w e 一个信号来决 定，w e 一为高，实现读功能；面为低，实现写功能，一w e 引脚与c p l d 相接n 副。图2 9 为帧存器工作时序图，6 2 8 5 1 2 与c p l d 之间的通信就要按照以下的读写时序来进行。 a d d r e s s c s 、，、 _7 一 t a 一 t o o ll ll ( i 荠 正 ? f ? 7fffff l t l z 一 l h z 一 一toe t o l z ilii ili j r t f ? ? f ff v o a t a 著龟c 0 h l 读时序 删r e s s c s 、 ? t itcwl w r i *7。f f f fi i i i i i i t a w titwp 一 撕并*7 厂 t o h t w h z t o w i l ilt i i il 厂_ 、i 1k ，? ? f ， ，ff fi kt 门门 一t d w t 州。 - 4 爪 卜v a l i dd a t e 汾) 兴羚 z ( b ) 写时序 图2 9 存储器读写时序图 系统工作时，把一幅完整的图像写入s r a m 中。采用一片可编程逻辑器件就可以 替代多片的传统的逻辑分立器件，在可编程逻辑器件中实现了分立元件的功能，系统 更加简单、修改也变得十分容易，图2 1 0 为系统存储部分电路图。 图2 1 0 存储部分电路图 2 4 系统实时图像处理控制模块的设计 2 4 1d s p 的选择 选择合适的d s p 所应考虑到主要方面有： ( 1 ) 性能指标。主要是指令执行速度( m i p s ) 。实时图像处理及控制要求d s p 处 理系统必须在限定的时间内完成任务，或者在允许的输出输入相应延迟范围内，系统 的数据输入腧出吞吐率必须达到一定速度。本系统采集图像速率为每秒2 5 场，因此要 1 6 求能够在4 0 m s l 为完成对一场图像的处理。 ( 2 ) 精度和动态范围。主要是数据的位宽、定点浮点。 ( 3 ) 体积功耗要求。本系统作为嵌入式数字视频录像系统，要求p c b 板面积较小， 系统功耗低。 ( 4 ) 厂商的技术支持。d s p 本身比较复杂，如果厂商能够提供完善的开发调试工 具，无疑将大大减少产品的开发时间和开发难度。 ( 5 ) 价格成本。不单指芯片本身价格，还包括必须的外部配套器件成本h 1 。 基于以上几点考虑，本系统选用了t i 公司c 5 0 0 0 系列d s p 中的t m s 3 2 0 v c 5 5 0 2 作为 实时图像处理控制的核心芯片。t m s 3 2 0 v c 5 5 0 2 是一款定点d s p ，其存储器数据宽度为 3 2 b i t ，其工作频率为3 0 0 m h z ，接口电平兼容+ 3 3 v + 5 v 。作为系统的核心控制器件， t m s 3 2 0 v c 5 5 0 2 在硬件上实现与c p l d 、i d e 硬盘等器件的连接，设计中主要用到了 t m s 3 2 0 v c 5 5 0 2 的9 0 引脚的e m i f 端口以及4 0 引脚的m c b s p 端口，由于这两种端口都可 以兼容+ 3 3 v + 5 v 电压，因此可以将上述器件与d s p 相连接，从而实现对整个系统的控 制。 2 4 2d s p 开发平台与外围电路的硬件设计 本设计采用的是合众达公司生产的s e e d v c 5 5 0 2 开发平台，其上集成了除 t m s 3 2 0 v c 5 5 0 2 芯片外的还包括一些设计中要用到模块如：f l a s h 存储模块 ( 5 1 2 k * 1 6 b i t ) 、s d r a m 模块( 2 m * 3 2 b i t ) 等。系统中要用到的s 3 2 0 v c 5 5 0 2 一些配 置的相关介绍如下： 1 ) 1 m s 3 2 0 v c 5 5 0 2 存储空间的配置 t m s 3 2 0 v c 5 5 0 2 的程序数据存储空间采用统一编址，整个寻址空间大小为1 6 m 字 节，其中片内d a r a m 占6 4 k 字节，r o m 占3 2 k 字节，其余存储空间被映射到片外 4 个c e 3 。c e 0 片选的子空间。 t m s 3 2 0 v c 5 5 0 2 通过外部存储器接口( e m i f ) 访问片外存储器，每个c e x 空间有 4 m 字节寻址