（电路与系统专业论文）基于dm642的mpeg4网络视频监控系统.pdf

樯唾 摘要 随着视频监控技术的发展和实际需求的增加，嵌入式视频监控技术有着越来 越广泛的应用。本文实现了基于d m 6 4 2 的m p e g 4 嵌入式视频监控系统，可应用 于需要数据压缩的嵌入式远程监控领域。 本文首先深入研究了d m 6 4 2 的特性，包括处理器结构、视频口外设、存储器 结构，在该平台开发了基于d m 6 4 2 的d s p 服务器，完成了电路原理图的绘制和 p c b 制版。其次本文介绍了d m 6 4 2 平台的集成开发环境c c s 和d s p b i o s 的配 置和使用方法。针对视频压缩，重点研究了m p e g 4 算法的框架以及算法的各个组 成模块，分析了优化时可以利用到的所有硬件特性，针对具体问题分模块逐一进 行了优化。最后论文介绍了v c + + 下的d i r e c t s h o w 技术，利用该技术完成了p c 机 端监控软件的开发。同时深入研究了t i 的n d k 开发包，实现了基于t c p i p 协议 栈的网络客户端通讯。 经测试，本系统最后在网络通讯中能达到c i f 格式下的4 5 帧秒的传输及解码 速率，并达到4 0 1 2 0 的压缩率。 关键字：d m 6 4 2d s p b i o sm p e g 4d i r e c t s h o w n d k a b s t r a c t 一一 a b s t r a c t w i t ht h ei n c r e a s i n gd e m a n do nv i d e os u r v e i l l a n c et e c h n o l o g y , e m b e d d e dv i d e o s u r v e i l l a n c es y s t e mw i l lh a v em o r ea n dm o r ee x t e n s i v ea p p l i c a t i o np r o s p e c t s m a i n h a r v e s to ft h i sp a p e ri st h a ti ti n t r o d u c e sam p e g 4e m b e d d e dv i d e os u r v e i l l a n c es y s t e m w h i c hi sw i d e l yu s e di nv i d e oc o m p r e s s i o na n dr e m o t em o n i t o r i n gs y s t e m s f i r s to fa u w es t u d yt h eh a r d w a r ec h a r a c t e r i s t i co fd m 6 4 2i nd e p t h ，w h i c h i n c l u d e sm es t r u c t u r eo fc p ua n dm e m o r y , v i d e op e r i p h e r i c ，a n de v e nu n d e rt h e p r e m i s eo fs t u d yd e v e l o p e sas e r v e rb a s eo nd m 6 4 2 ，w h i c hi n c l u d e ss c h e m a t i cd e s i g n a n dp c bl a y o u td e s i g n t h ep a p e ri n t r o d u c e st h ec o n f i g u r a t i o na n da p p l i c a t i o no f c c s a n dd s p b i o s a i m i n ga tv i d e oc o m p r e s s i o n ，i tf o c u s e so nt h e f r a m e w o r ka n d c o m p o n e n tm o d u l eo fm p e g 4a l g o r i t h m ，a n dm a d ea na n a l y s i so f t h eh a r d w a r et r a i t s w h i c hi sf a v o rt oo p t i m i z a t i o n i nt h el a s t ，t h i sp a p e ri n t r o d u c e st h ed i r e c t s h o w t e c h n o l o g yw h i c hi sb a s e do nv c + + ，a n dd e v e l o p e st h ep c c l i e n ts o f t w a r eb yu s i n gt h i s t e c h n 0 1 0 9 y m e a n w h i l e ，t h i sp a p e r d i s c u s s e sa b o u tt h en d k ( n e t w o r kd e v e l o p e r sk i t ) p r o v i d e sb yt ia n dc o m m u n i c a t e sw i t hn e t w o r kc l i e n tu n d e r t c p i pp r o t o c o ls t a c k a f t e rt e s t ，i tr e f l e c t e saf a c tt h a tt h es y s t e mc o m p l e t e sac i ff o r m a tn e t w o r k c o m p r e s s i o nt a s ko f4 5f r a m e sp e rs e c o n da n da c h i e v e st h ec o m p r e s s i o nr a d i oo f4 0 t ol2 0s u c c e s s f u l l y k e y w o r d ：d m 6 4 2 d s p b i o sm p e g 4d i r e e t s h o wn d k 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：垄受， 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名： 导师签名：日期 型! ：三：垄l 第一章绪论 第一章绪论 1 1 研究背景及意义 在当代信息技术迅猛发展的带动下，涌现出大量新的技术应用，网络视频监 控就是其中的一种。这些应用方便了社会，提高了人们的生活质量。 视频监控技术【l j 综合利用了现代视频图像处理、光电传感、计算机网络、自动 控制和人工智能等高新技术，实现了现场语音视频信息实时再现、数据存储、自 动检测报警、自动远程控制等功能，以其直观、方便、信息内容丰富的特点，日 益受到人们的青睐，被广泛应用于安全防范、无人值守、信息获取和指挥调度场 合。 传统的视频监控技术的发展大致经历了以下三个阶段1 2 l ： 在九十年代以前，主要是以模拟设备为主的闭路电视监控系统，称为第一代 模拟监控系统。主要特点是：使用黑白模拟摄像机，采用模拟方式传输图像信号， 抗干扰能力低，图像质量差，系统功能单一。传输距离一般不能太远，主要应用 于小范围内的监控，如大楼监控等，监控图像一般只能在控制中心查看。 九十年代初，随着计算机微处理器技术和彩色视频技术的发展与普及，视频 监控技术有了第一次质的飞跃，原来的黑白图像变成了富有生机的彩色图像。人 们利用计算机的高速数据处理能力进行视频的采集和处理，利用显示器的高分辨 率实现图像的多画面显示，从而大大提高了图像质量。但由于网络技术和视频压 缩技术的滞后，无法组建大型监控系统，监控信息局限于本地。这种基于p c 机的 多媒体主控台系统称为第二代数字化本地视频监控系统。 九十年代末，随着网络带宽、计算机处理能力和存储容量的快速提高，以及 各种实用视频压缩处理技术的出现，视频监控步入了全数字化的网络时代，称为 第三代远程数字视频监控系统。第三代视频监控系统以网络为依托，以数字视频 的压缩、传输、存储和播放为核心，以智能实用的图像理解和分析为特色，引发 了视频监控行业的技术革命。新的监控技术完全打破了传统的结构，依靠功能日 益强大的计算机，不仅可以处理文本、数据、图形等，还可以处理视频、声音等 信息，成为真正的多媒体监控终端。再加上网络和通信技术的发展，多媒体信息 的交互和共享趋向更广阔的空间。从局域网络到广域网络，从一个城市到另一个 城市，从一个国家到另一个国家，都能完成在现场所能完成的一切任务。数字化、 网络化的第三代视频监控技术，与传统的模拟监控技术相比较，还具有：便于模 块化、通用性、可扩展性强；便于智能化、支持远程控制、监控效率更高：信号 基于d m 6 4 2 的m p e g 4 网络视频监控系统 抗干扰强，便于对信号进行存取、查找、再次处理；易于安装管理维护等优点。 第三代网络视频监控技术，融合了新兴的网络技术、多媒体技术、视频技术， 是技术发展和社会进步的一次巨大飞跃，具有深远的现实意义。例如：交通监控 系统不仅能实时收集交通流量参数，对违章车辆的拍照记录加强了交通监管力度， 由此产生的警示作用有利于司机的行为自律，保障交通安全，倡导遵章守纪的良 好社会风尚。对便捷的远程网络访问能力支持，使得视频监控技术可以进入普通 百姓家庭，应用于幼儿看护，智能家居等场合，改变人们传统的生活方式。视频 监控技术还可以应用于企业管理和生产经营管理，提高生产效率。 第三代网络视频监控技术具有广阔的发展前景和巨大的商机，加之其强大实 用的功能，可拓展的技术空间，良好的社会价值，因此受到了学术界、产业界和 相关使用部门的高度重视，是当前信息产业发展的热点之一。 人类获取的信息中7 0 以上来源于视觉，视频信息在媒体信息中占有非常重 要的地位。但同时它的数据量也是惊人的，如果采用n t s c ( 视频格式为7 2 0 4 8 0 ) 的视频数据为例，那么在y 、c b 、c r 色彩空间下，一秒视频的存储容量约为7 2 0 4 8 0 2 2 5 = 1 6 5 m 字节，一般嵌入式设备的存储容量为1 g ，那么也只能存储 6 2 秒钟的视频，对于低分辨率( 如c i f ：3 5 2 2 8 8 ，4 ：2 ：0 ，3 0 帧秒) ，其速率也超 过3 6 5 m b p s 。这是a d s l 或无线3 g 等宽带网络速度的许多倍。数字视频的存储 和传输需要采用压缩技术，在保持视频质量的同时尽可能少的占用存储空间和传 输带宽。作为多媒体技术的核心及关键，多媒体数据压缩编码近年来在技术及应 用方面都取得了长足进展，它的进步和完善正深刻影响着现代社会的方方面面。 m p e g 4 作为视频压缩编码的典型代表，它提出了基于内容、对象的压缩编码 思想。对自然或合成视听对象作了更多分析甚至是理解，这也是信息处理的高级 阶段，代表了现代数据压缩编码技术的发展方向。 本系统采用通用d s p 处理器，用软件编程实现视频编码，具有灵活性好，算 法易于更新，开发周期短等特点。t i 公司的t m s 3 2 0 d m 6 4 2 是一款专门面向多媒 体应用的专用d s p ，其主频高达6 0 0m h z ，具有4 8 0 0 m i p s 的运算性能和丰富的 外设接口，其外部配置了3 个视频端口和一个以太网接口等。非常适合于开发视 频编解码的嵌入式数字视频监控系统。 本项目通过针对视频监控应用的视频编码和图像处理技术的研究，开发了一 种集图像采集、压缩编码、解码和网络通信于一体的视频监控系统，它采用高性 能多媒体处理器和视频编解码技术，并具有以太网通信等功能。扩大了摄像机监 视的视野，提高了实用性和存贮、传输效率，可广泛用于交通、电力、公安、电 信、厂矿、楼宇企业等各种视频监控场合。 第一章绪论 1 2 视频压缩标准 l 、h 2 6 1 1 3 】 h 2 6 1 是最早的运动图像压缩标准，它是i t u t 为在综合业务数字网( i s d n ) 上开展双向声像业务( 可视电话、视频会议) 而制定的，速率为px6 4 k b i t s ( p 为整 数) 。当p 小于6 时，只能传输清晰度不太高的图像，可应用于电视电话；当p 大于 6 时，可以传输清晰度较好的图像，可适用于电视会议等。h 2 6 1 标准详细制定了 视频编码的各个部分，包括运动补偿的帧问预测、d c t 变换、量化、熵编码，以 及与固定速率的信道相适配的速率控制等部分。它只能处理c i f 和q c i f 两种图像 格式，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来处理。 2 、m p e g l l 4 】 m p e g l 可适用于不同带宽的设备，如c d r o m ，也可被用于数字电话网络上 的视频传输，如非对称数字用户线路( a d s l ) ，视频点播( v o d ) ，以及教育网络等。 它的目的是把2 2 1 m b i t s 的n t s c 图像压缩到1 2 m b i f f s ，压缩率为2 0 0 ：l ，这是图 像压缩的工业认可标准。它可针对s i f 标准分辨率的图像进行压缩，传输速率为 1 5 m b i t s ，每秒播放3 0 帧。m p e g l 的编码速率最高可达4 5 m b i t s 。与h 2 6 1 相 似，m p e g l 也采用运动补偿和二维d c t 变换，对量化后的d c t 系数进行变长编 码，而每个数据块的直流( d c ) 分量采用预测差分编码方式。 3 、m p e g 2 h 2 6 2 1 5 】 m p e g 2 的视频编码部分即是h 2 6 2 。m p e g 2 的设计目标是高级工业标准的图 像质量以及更高的传输率。它除了作为d v d 的指定标准外，还可用于为广播、有 线电视网、电缆网络以及卫星直播提供广播级的数字视频。m p e g 2 所能提供的传 输率在3 m b 1 0 m b s 间，在n t s c 制式下的分辨率可达7 2 0 4 8 6 ，能够提供广播 级的图像质量。m p e g 2 的另一特点是，可提供一个较广范围的可变压缩比，以适 应不同的画面质量、存储容量以及带宽的要求，为此，m p e g 2 定义了不同的p r o f i l e 和l e v e l ，并且根据不同的p r o f i l e 定义了不同的子集，而每个p r o f i l e 又以l e v e l 来 对编码参数作进一步的限制。m p e g 2 标准采用了半像素精度的运动矢量搜索，引 入了“帧”( f r a m e ) 和“场”( f i e l d ) 的编码方式，并且支持可分级技术，其中包括空 间可分级性、时间可分级性和信噪比可分级性等。 4 、h 2 6 3 t 6 】 h 2 6 3 是i t u t 为低于6 4 k b i t s 的窄带通信信道制定的视频编码标准，支持用 于视频会议和视频电话应用程序的视频压缩和解码。它是在h 2 6 1 基础上发展起 来的，其标准输入图像格式可以是s q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 的彩色 4 ：2 ：0 亚取样图像。h 2 6 3 与h 2 6 1 相比，采用了半像素运动补偿、无限制的运动 4 基丁二d m 6 4 2 的m p e g 4 网络视频监控系统 向量、基于语法的算术编码以及与m p e g 中的p b 帧一样的帧预测方法等较先进 的技术，从而达到了进一步降低码率和提高编码质量的目的。后来推出的h 2 6 3 + 和h 2 6 3 + + 标准扩充了h 2 6 3 的编码可选项，提供了更大的适用范围。如h 2 6 3 + 标准允许更大范围的图像输入格式，自定义图像的尺寸，使之可以处理基于视窗 的计算机图像、更高帧频的图像序列及宽屏图像。h 2 6 3 + + 在h 2 6 3 + 基础上增加了 3 个选项，以增强码流在恶劣信道上的抗误码性能，同时提高了编码效率。 5 、m p e g 4 t 7 】 m p e g 4 标准不仅针对一定比特率下的视频、音频编码，而且更加注重多媒体 系统的交互性和灵活性。它主要应用于可视电话、可视电子邮件等，对传输速率 要求较低，在4 8 6 4 k b i v s 之间。m p e g 4 利用很窄的带宽，通过帧重建技术、数据 压缩，以求用最少的数据获得最佳的图像质量。m p e g 4 的最大特点是引入了“视 频对象( v i d e oo b j e c t ) 概念，可以动态地侦测图像各个区域变化，基于对象地调 整压缩方法，以获得比m p e g l 更大的压缩比。与m p e g l 和m p e g 2 标准相比， 除了传统的编码功能之外，m p e g 4 具备了更多引人注目的功能，包括了有效压缩、 对象内容的存取和可扩展性、空域和时域的可扩展性以及强健的纠错能力等。 6 、h 2 6 4 a v c i s h 2 6 4 标准是由i t u t 和i s o 两个国际标准化组织的有关视频编码的专家联 合组制定的，以实现视频的高压缩比、高图像质量和良好的网络适应性为目标。 h 2 6 4 标准继承了h 2 6 3 和m p e g l 2 4 视频标准协议的优点，但它采用“回归基 本”的简洁设计，在结构上并没有变化，只是在各个主要的功能模块内部使用了 一些先进的技术，提高了编码效率；而且加强了对各种信道的适应能力，采用“网 络友好”的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，可以 满足不同速率、不同分辨率以及不同传输或存储场合的需求。 7 、a v s t 9 i a v s 是由我国自主制定的音视频编码技术标准，主要面向高清晰度电视、高 密度光存储媒体等应用，已于2 0 0 6 年初正式成为国家标准。a v s 标准以当前国际 上最先进的m p e g 4 和h 2 6 4 a v c 框架为基础，强调自主知识产权，同时充分考 虑了实现的复杂度。 1 3 实时视频压缩的实现方法 当前对于视频编码的实现主要有以下几种途径【l o 】： l 、基于p c 的软件实现 这种方案具有开发费用低，开发周期相对较短等优点，而且可使用现成的软 件包，因此是开发者广泛采用的一种方式。但是软件编码器的运行脱离不t $ 1 算 第一章绪论 机，计算机的性能优劣对其影响很大，所以在使用上受到很多限制。 2 、基于数字信号处理器( d s p ) 实现 图像压缩编码从本质上来说也是数字信号处理，而d s p 有着比通用微处理器 更适合数字信号处理的优点。如：采用改进的哈佛总线结构、部有硬件乘法器、 累加器、使用流水线结构、具有良好的并行特性，并有专门设计的适合信号处理 的指令系统等。d s p 芯片的这些特点使得它非常适合用于不允许有延迟的实时应 用领域，并且对于图像处理系统而言，一块d s p 芯片结合外围电路就能完成整个 系统的功能。这种方案的好处是系统灵活，硬件系统设计完成后，整个系统的升 级仅仅是修改软件即可完成。 目前市场上的d s p 芯片以美国德州仪器公司的t m s 3 2 0 系列为主流，t m s 3 2 0 系列从t m s 3 2 0 c 1 0 至c 2 0 、c 3 0 、c 4 0 、c 5 0 、c 8 0 、c 2 0 0 0 、c 5 0 0 0 、c 6 0 0 0 、c 8 0 0 0 己经形成了一个门类齐全的大家族。 3 、基于f p g a 开发a s i c 实现图像压缩处理 由于f p g a 产品的发展，人们可以利用a l t e r a 公司、x i l i n x 等公司提供的产品， 使用这些公司提供的软件或v h d l 等开发语言，通过软件编程用硬件实现特定的 图像压缩算法如d c t 等。这一方法由于具有通用性的特点并可以实现算法的并行 运算，无论是作为独立的数字信号处理器，还是作为d s p 芯片的协处理器，目前 这都是比较活跃的研究领域。 综合比较以上方案的优缺点可知： 第一种基于p c 的软件编码器使用比较方便，技术成熟，但是其过分依赖于计 算机，使用领域比较有限。 第二种方案非常适合于图像信号处理以及通用信号处理，而且这一方案具有 性能上的优势和通用性的特点，使得其成为真正使d s p 技术实用化的方法。另一 方面，还由于d s p 芯片价格的下降，使其应用领域不断扩展。 第三种方案专用性比较强，开发代价比较大。 对于m p e g 4 编码，由于其编码复杂度非常大，如果在普通p c 上实现，将占 用c p u 的大量时间，所以经过综合考虑我们选择基于t m s 3 2 0 d m 6 4 2 这款高性能 的专用媒体处理器，用d s p 来实现m p e g 4 编码器。 1 4 视频监控系统化的发展趋势 现在视频监控系统已经步入了全数字时代。这将彻底打破“闭路电视系统” 模拟方式的结构，从根本上改变了视频监控系统从信息采集、传输处理、系统控 制的方式和结构形式，也标志着监控正在走向现代“四化”阶段【l l 】，即： 前端一体化：监控系统前端一体化意味着多种技术的整合、嵌入式构架、适 6 基于d m 6 4 2 的m p e g 4 网络视频监控系统 用和适应性更强以及不同探测设备的整合输出。为系统集成化奠定了基础。 传输网络化：视频监控系统的网络化意味着系统的结构将由集总式向集散式 系统发展，集散式系统采用多层分级的结构形式，将使整个网络系统硬件和软件 资源以及任务和负载得以共享，这也是系统集成与整合的重要基础。 处理数字化：信息处理数字化意味着信息流的数字化、编码压缩、开放式的 协议，具有微内核技术的实时多任务、多用户、分布式操作系统，以实现抢先任 务调度算法的快速响应，硬件和软件采用标准化、模块化和系列化的设计，系统 设备的配置具有通用性强、开放性好、系统组态灵活、控制功能完善、数据处理 方便、人机界面友好以及系统安装、调试和维修简单化，系统运行互为热备份， 容错可靠等功能。 系统集成化：系统集成化正是由于构建系统的各子系统均实现了网络化和数 字化，特别是使视频监控系统与弱电系统中其它各子系统间实现无缝连接，从而 实现了在统一的操作平台上进行管理和控制。 前端一体化、视频数字化、监控网络化、系统集成化是视频监控系统公认的 发展方向，而数字化是网络化的前提，网络化又是系统集成化的基础，所以，视 频监控发展的最大两个特点就是数字化和网络化。 网络监控系统正是在监控技术向数字化和网络化发展过程应运而生的产物， 需要集中管理与远距离监控，i p 网络监控系统除能在世界的任何一个角落通过 i n t e m e t 进行远端监控之外，通过i p 网络监控也可以有效地降低成本，它的“即插 即用”的功能。相信i p 网络监控系统在不久的将来占有绝对的优势。 1 5 论文组织结构 本论文的任务是设计与实现基于d m 6 4 2 媒体处理器的多媒体开发平台，包括 硬件平台和软件平台。论文结构为： 第一章绪论。 第二章t m s 3 2 0 d m 6 4 2 的功能概述。 第三章介绍基于d m 6 4 2 的d s p 服务器硬件系统设计。 第四章介绍基于d m 6 4 2 的d s p 服务器的系统配置及算法优化。 第五章介绍网络通讯客户端。 第六章视频监控系统联合调试。 第二章基丁d m 6 4 2 的d s p 服务器硬什系统设计 第二章基于d m 6 4 2 的d s p 服务器硬件系统设计 2 1d s p 服务器设计方案 整个硬件系统分为以下几部分： 1 、存储模块 将d m 6 4 2 的e m i f 分为四个空间：c e 0 、c e l 、c e 2 和c e 3 。c e 0 空间外接 两片4 m x 3 2 b i t 的s d r a m ，提供3 2 m 字节的存储空间。c e l 空间外接一片4 m x 8 b i t 的f l a s h r o m ，用于固化程序，为了板子的灵活度配置了一块f p g a 用来控制 简单的逻辑。 2 、视频输入部分 视频部分包括两个视频捕获通道。在两个视频口中，v p 0 和v p l 用于视频信 号的捕获。v p 0 和v p l 都外接p h i l i p s 公司的视频解码器s a a 7 1 1 5 ，该芯片内部 包含高质量的视频解码模块和图像分辨率缩放模块。s a a 7 1 1 5 输入c v b s 信号， 为d m 6 4 2 提供d 1 、c i f 、q c i f 等多种分辨率的图像。s a a 7 1 1 5 与v p 0 、v p l 之 间采用8 b i tb t 6 5 6 内含同步码的数据接口。 3 、网络传输模块 d m 6 4 2 的p c i 接口、h p i 接口、e m a c 接口是功能复用的。当p c i 的功能被 禁止时，e m a c 和1 6 b i th p i 可同时工作。本系统设计没有使用p c i 接口，1 6 b i th p i 接口连接串口芯片，e m a c 外接i n t e l 公司的以太网物理层收发器l x t 9 7 1 a l c ， 再通过隔离变压器和r j 一4 5 插座连接，构成网络通信模块。 4 、电源模块 分别为目标板上的3 3 v 和1 4 v 的电源供电，已完成目标板上不同的芯片供 电需求。 5 、j t a g 接口 p c 机使用x d s 5 1 0 仿真器通过j t a g 接口和目标板连接，进行系统调试。 2 2 数据存储模块 在d m 6 4 2 片上集成了一个6 4 位的外部存储器接h ( e m i f ) ，通过使能引脚 c e 0 3 】扩展了四个外部访问空间，每个空间的寻址范围达到2 5 6 m 。本系统具体的 使用情况见表2 1 8 基- j - d m 6 4 2 的m p e g 4 网络视频监控系统 表2 1e m i f 扩展空间使用情况 芯片选择外设 c e os d r a m c e lf l a s h ，u a r t ，f p g a c e 2 测试口 c e 3f p g a 同步寄存器 2 2 1s d r a m 与d m 6 4 2 的连接 本系统选用的s d r a m 为m t 4 8 l c 4 m 3 2 b 1 2 , 1 3 , 1 4 , 1 5 】。该s d r a m 为4 m 3 2 b i t ， 总线最高时钟为1 6 6 m h z ，s d r a m 用来存储程序和数据，s d r a m 的刷新由 d m 6 4 2 芯片自动控制。 在设计中，选择e m i f 时钟源为1 6c p u 时钟，s d r a m 总线时钟为1 0 0 m h z 。 e m i f 对时钟源的选择，通过设置与地址线e a l 9 、e a 2 0 功能复用的引脚 e c l k i n s e l o 、e c l k i n s e l l 在系统复位时的状态实现。s d r a m 与d m 6 4 2 的硬 件连接【1 3 , 1 6 1 如图2 1 所示。 c s c l k 图2 1s d r a m 与d m 6 4 2 连接示意图 单片s d r a m 的数据总线是3 2 b i t ，需要两片并联构成6 4 b i t 数据总线与 d m 6 4 2 的e m i f 数据总线相连。s d r a m 的d 3 1 ：o l 连接e m i f 的e d 6 3 ：0 。1 2 根 地址信号线a 1l ：o 与e m i f 的e a 1 4 ：3 相连。e m i f 的e a 1 6 ：1 5 与s d r a m 的 b a 1 ：0 】相连，对4 个存储体进行地址译码。字节使能d q m 3 ：0 连接d m 6 4 2 的 群b e 7 ：o 】，其中d q m 0 控制d 7 ：o 】使能，d q m l 控制d 1 5 ：8 使能，d q m 2 控制 d 2 3 ：1 6 使能，d q m 3 控制d 3 1 ：2 4 】使能。时钟信号输入引脚c l k 连接d m 6 4 2 的 e c l k o u t l 。芯片选择# c s 连接d m 6 4 2 的# c e o 。行地址选通# r a s ，列地址选通 # c a s 和写使能撑w e 直接与e m i f 上的相应引脚相连。 实际的原理图见附录a 图a 1 所示。 一薹|一一一一一一一一一 丽孺眦眦一一一一 第二章基td m 6 4 2 的d s p 服务器硬什系统设计 9 2 2 2 动态存储器 f l a s h 芯片a m 2 9 l v 0 3 3 c 1 1 7 1 共有4 m b y t e s ，如果要访问这4 m b y t e s 则一共需 要2 2 根地址线，而d m 6 4 2 只提供了1 9 根地址线( e a 【2 2 ：3 】) ，因此，本系统将4 m b 的，f l a s h 分成8 页，每页5 1 2 k b ，并且通过d m 6 4 2 的g p i o 1 3 ：1 5 来实现换页 操作，使得对4 m b 空间的访问得以实现。f l a s h 与d m 6 4 2 的硬件连接1 1 8 】如图 2 2 所示。 e d 6 4 ：0 l d q l 7 ：0 j e a i i 6 ：3 ia l l 8 ：0 l g p i o i l 5 l a 1 2 1 l 吲 呈g p i o l l 4 i a 2 0 i 墨g p i o i l 3 1 a 1 1 9 1 象 皇 c e l 群 c s 撑 s d c a 晰c a s 撑 s d w e 撑w e 岸 图2 2f l a s h 与d m 6 4 2 连接图 t m s 3 2 0 d m 6 4 2 的整个过程，一般分为两个过程完成： ( 1 ) 首先，在系统复位后，t m s 3 2 0 d m 6 4 2 保持c p u 处于复位状态，此时e d m a 控制器将0 x 9 0 0 0 0 0 0 0 开始的l k 字节程序装入到d m 6 4 2 的0 地址处。然后释放 c p u ，使其从0 地址开始运行程序。也就是说，第一次引导只能引导1 k 字节的程 序。 ( 2 ) 执行第一步引导的程序，将用户自己的程序从f l a s h 中搬移到运行的地 址中去，然后进入c i n t 0 0 函数，完成整个b o o t 的过程。 实际的原理图如附录a 图a 2 所示。 2 3 1 视频口的构成 2 3 视频输入模块 d m 6 4 2 具有三个可以灵活配置的视频e l 2 4 ( v p o ，v p l ，v p 2 ) 。这三个视频口可 以被配置为采集、显示和传输原始视频流视频接口这三种模式。 视频口采集模式的特点如下【1 0 , 1 9 1 ： 采样频率可达8 0 m h z ； 支持2 路8 1 0 b i tb t 6 5 6 模式输入； 支持b t 6 5 6 嵌入式同步模式； 支持一个通道的y c 输入( 1 6 位或2 0 位y 、c 独立输入) ； 1 0 基- j - d m 6 4 2 的m p e g 4 网络视频监控系统 支持2 路r a w 模式输入( 2 路l o 位或1 路2 0 位) ； 支持4 ：2 ：2 格式的1 2 水平缩放； 支持4 ：2 ：2 到4 ：2 ：0 的色度重采样； 6 4 位高速e d m a 传输。 如图2 3 所示，视频口由下列部分构成： 内部外围总线 内存映射 寄存器 时序和 d m a 接口 控制逻辑 一一一仁6 4 _ 一一一一一一 b t 6 5 6 l 。、lb t 6 5 6 视频 捕获流水线l 1 0 7 1 0 7 i 显示流水线 ，l y c 视频 捕获流水线i 川2 0 7 l 显示溅 捕获，显示 缓冲区 捕获流水线l 川( 2 5 6 0b y t e s )2 0 7 i 黼凇 捕获流水线l 8 通道a 一 ，l 原始视频 捕获流水线l 埘 “7 l 蒜凇捕获显示 b u f 侥r ( 2 5 6 0b y t e s ) 捕获流水线i 川 ：薯措d 扛竺一一 d m a 接口 v d i n l1 9 - 0 l l 图2 3 视频口结构 l 、双视频通道a 和b ( c h a n n e l a b ) ：即一个是视频口可以同时接两路视频， 两个通道占用一个5 1 2 0 b y t e 的捕获显示缓冲区。 2 、视频f i f o ( c a p t u r e d i s p l a yb u f f e r ) ：用于缓存采集进来的视频。视频e l 的操 作与e d m a 传输相关联，e d m a 在f i f o 和片内片外的存储器直接进行数据的通 讯传输，可以设定一定的阈值使得当f i f o 达到某一设定的值的时候开始产生 e d m a 事件，对f i f o 进行操作的关键是可以对其操作的e d m a 进行独立的操作， 第二章基td m 6 4 2 的d s p 服务器便什系统设计 l l 由于视频口并不是按照缓冲区的空满来判断发送的长度。因此e d m a 发送的的长 度在参数表中是固定的。为了在进行帧缓冲的时候有更大的灵活性，传输长度经 常是一整行。 ( 1 ) 视频口时序控制逻辑：用于控制视频口采集时序； ( 2 ) 视频1 3 控制寄存器：用于配置视频口工作在相应的模式； ( 3 ) 视频1 3 与e d m a 交互逻辑：通过此功能将缓存在视频f i f o 中的数据在 c p u 不参加的情况下搬移到外部s d r a m 中。 如图2 4 所示为b t 6 5 6 模式下单通道的视频f i f o 配置： 捕捉f i f o a 8 1 1 0 y 缓冲a 0 4 y s r c a ，一 ( 1 2 8 0b y t e s ) e ) i n 9 - 0 l i l 8 1 0 c b 缓冲a 6 4 一 l c b s r c a ( 6 4 0b y t e s ) c r 缓冲a 0 4 8 1 1 0 c r s r c a ( 6 4 0b y t e s ) 图2 4b t 6 5 6 模式下单通道的视频f i f o 配置 当视频口被配置为8 1 0 位b t 6 5 6 采集模式时，通道a 的视频f i f o 被配置为 y 、c b 、c r 三部分其大小为2 5 6 0 b y t e s ，其中y 分配1 2 8 0 b y t e s ，c b 和c r 各分配 6 4 0 b y t e s ，分别用于缓存b t 6 5 6 标准的y 、c b 、c r 分量数据，y s r c a 、c b s r c a 、 c r s r c a 指向三个f i f o 的源地址，e d m a 通过它们将f i f o 中的数据搬移到外部 s d r a m 。 当视频口配置成单通道采集时，只能利用通道a 进行采集，而通道b 则被用 于g p i o ( 通用输入输出口) 。当视频口设置为双通道采集时，通道b 的配置和通道 a 相同，这种配置方式是本系统m p e g 4 算法移植采用的方式。 2 3 2 视频采集电路 根据d m 6 4 2 和s a a 7 11 5 的特点，我们设计如下的视频采集电路： l 、在本设计中视频采集端口v p 0 、v p l 采用单通道，8 b i tb t 6 5 6 模式。 2 、为了能捕获单数据流中的8 b i t4 ：2 ：2 格式的亮度和色度复用这个数据，并让 它按照c b 、y 、c r 、y 、c b 、y 的数据传输，我们将v p c t l 寄存器中的t s i 设 置为0 ，将v c x c t l 寄存器c m o d e 设置为0 0 0 。 3 、摄像头从a 1 1 2 或者a 1 2 2 进入s a a 7 11 5 视频解码器，在任意时刻只能解 1 2 基y - d m 6 4 2 的m p e g 4 网络视频监控系统 码一路数据。 4 、s a a 7 1 1 5 是通过i 2c 总线进行配置，根据需要选择两种工作模式中的一 种。r t c o 引脚是否外接3 3 k 0 上拉电阻决定s a a 7 1 1 5 工作时的i 2 c 地址，v p l 处s a a 7 1 1 5r t c o 上拉，i 2 c 地址为4 0 h 4 1 h ；v p 0 处s a a 7 1 1 5i 玎c o 悬空，i 2c 地址为4 2 h 4 3 h 。 5 、a l r c l k 引脚的状态决定芯片的输入时钟频率是2 4 5 7 6 m h z 还是 3 2 1 1 0 m h z ，这里的a l r c l k 没接上拉电阻，输入时钟频率为2 4 5 7 6 m h z 。 视频采集电路原理图见附录a 图a 3 。 2 3 3 视频驱动程序 c l a s s d r i v e m i n i d r i v e 巫亟困 至堕堕 图2 5d m 6 4 2 视频驱动模型分级结构图 如图2 5 ，d m 6 4 2 的视频驱动i lo j 主要由微驱动( m i n i d r i v e r ) 和类驱动 ( c l a s s d r i v e r ) 组成。微驱动向下与d m 6 4 2 视频1 ：3 硬件和视频编解码器衔接，类驱 动向上为应用程序调用做更进一步的封装，逐层的封装符合d s p b i o s 驱动分层 结构，利用与器件最密切的c s l ( 芯片支持库，其实质是对寄存器的第一级封装) 和d s p b i o sa p i 屏蔽掉大量的硬件操作细节( 如利用i 2 c 总线配置视频编解码器、 配置e d m a 、实现视频口f i f o 和s d r a m 之间的数据搬移、利用d s p b i o s 的队 列资源调度视频帧) ，最终用户只需调用最高层的f v i da p i 函数即可完成视频采 集。 l 、视频驱动的帧管理和外部器件控f l j i j ( e d c ) t i 提供的驱动程序提供了数据管理和对单板器件进行管理的功能。数据管理 指利用e d m a 实现对视频口f i f o 的写入和读出及在s d r a m 中分配、释放帧缓 存等视频缓存控制操作。外部器件控制部分只在采集驱动罩完成对视频解码器 s a a 7 1 1 5 的初始化和配置，在显示驱动罩对s a a 7 1 0 5 的初始化与配置。器件控制 r，l厂，、l 厂，i、，一， e一沁 d d 第二章基丁d m 6 4 2 的d s p 服务器硬件系统设计 1 3 部分使s a a 7 1 1 5 和s a a 7 1 0 5 与d m 6 4 2 的视频口配合工作，完成指定数据格式的 采集和显示。如系统中采用的是n t s c 制式的摄像头，则可以在器件控制部分将 s a a 7 1 1 5 配置成n t s c 制式的采集，与此同时，视频口也应配置为相应的匹配模 式。 2 、缓冲区的管理 从视频口f i f o 读出一帧数据存到s d r a m 中，然后再对这一帧数据进行后续 操作，视频数据在s d r a m 中的管理情况是这一小节讨论的内容。视频帧缓冲区 是由驱动程序进行初始化和管理的。t i 的驱动程序提供了3 帧数据缓冲区的驱动 模型( 如图2 6 ) ，即驱动程序运行时，至少需要配置3 个帧数据缓冲区，驱动程序 根据用户配置的通道参数来计算缓冲区大小。如采集为n t s c 制式时，驱动程序 将分配3 7 2 0 4 8 0 2 b y t e s 大小视频帧缓冲区( 这里s d r a m 的大小需满足要 求) 。3 个视频帧在应用程序和驱动程序之间轮循交替，完成采集和显示工作，采 集和显示的缓冲区管理采用不同的调度策略。 ( 1 ) 采集缓冲区调度管理策略 1 1 一j 卜1 i 一 田田 ( a )( b )( c )( d ) ( e ) 图2 6 采集驱动的缓冲区管理 在采集过程中，所有缓冲区都被初始化为处于空队列中，且驱动程序使其进 行循环，等待采集任务开始工作。如图2 6 ( a ) 。 当应用程序调用f v i da l l o c ( ) 函数时，其中一个最新的缓冲区被取出用于存 放一帧采集进来的视频数据，驱动程序继续循环剩下的缓冲区。如图2 7 ( a ) 到( b ) ， ( b ) 到( e ) 。 当应用程序调用f v i df r e e ( ) 时，一个应用程序中的帧数据缓冲区从应用程