（信号与信息处理专业论文）视频数据在网络中实时传输的研究与实现.pdf

中文摘要 本论文旨在研究和利用r t p r t c p 协议在网络中实时传输多媒体 信息。首先分析了多媒体信息实时传输对通信网络的需求以及目前主 要的通信网络对多媒体信息的实时传输的支持能力和存在的问题。然 后针对这些问题，详细介绍了当前解决实时多媒体信息传输所涉及的 一些新方法和新技术，像数据压缩编码技术、流媒体技术以及新型网 络传输协议r t p r t c p 。然后从网络协议出发，对适合多媒体信息传 输的网络协议进行了深入地研究和比较，接着详细介绍了r t p r t c p 协议的组成和使用要求，指出了协议的不足之处，同时对延时估计和 实时数据的同步机制也做了有益的理论讨论。 基于已有的数字摄像平台系统，并结合对r t p r t c p 协议和相关 技术的研究工作，本文实现了一个实时视频传输系统，以实践证明 r t p r t c p 协议在实时传输中的优越性。文章最后指出利用该协议实 现实时多媒体信息传输系统尚需进行的工作。 关键词：多媒体通信实时传输r t p r t c p 协议视频编码 a b s t r a c t l nt h i st h e s i s t h em a i no b j e c t i v ei st or e s e a r c ha n di m p l e m e n tt h e r t p 曙飞c pp r o t o c o l st h a ta r eu s e dt ot r a n s p o r tr e a l t i m em u l t i m e d i a i n f o r m a t i o nw i t h i ni n t e r a c t a tt h eb e g i n n i n g w ea n a l y z et h ed e m a n do f t h et r a n s m i s s i o no fr e a l - t i m em u l t i m e d i ai n f o r m a t i o no nn e t w o r ka n dt h e c a p a b i l i t i e sa n dp r o b l e m so ft h ec o m m u n i c a t i o nn e t w o r kt h a ti su s e dt o t r a n s p o r tr e a l - t i m em u l t i m e d i ai n f o r m a t i o n t od e a lw i t ht h ep r o b l e m s o m en e wm e t h o d sa n dn e wt e c h n o l o g i e sa r ee x p l a i n e di nd e t a i l ，s u c ha s d a t ac o m p r e s s i o n ，s t r e a mm e d i at e c h n o l o g y , a n dn e t w o r kp r o t o c o l s a t i e rt h a t ，t h ef o c u si s p u to nt h en e t w o r kp r o t o c o l s s e v e r a l n e t w o r kp r o t o c o l s ，s u c ha st c p , u d p ，r t p r t c p , a r ea n a l y z e da n d c o n t r a s t e d t h o r o u g h l y s u b s e q u e n t l y , t h e s ep r o t o c o l s c o n c e p t s ， m e c h a n i s m ，s t r e n g t h sa n dt h e i rf l a w sa r e a l s od e s c r i b e dc l e a r l y b y c o n t r a s t ，w ef o u n dt h a tt h e 哪p r o t o c o li s v e r ys u i t a b l e f o rt h e t r a n s m i s s i o no ft h er e a l - t i m ed a t a d e l a ye s t i m a t i o na n ds y n c h r o n i z a t i o nc o n t r o la r et w oi m p o r t a n t a s p e c t so ft h er e a l - t i m ed a t at r a n s m i s s i o n i nt h i st h e s i s ，w et a k er t pa s t h et r a n s p o r tp r o t o c 0 1 t h e s et w oc o n c e p t sa r ea l s od e l v e d t h e o r e t i c a l l y f i n a l l y , ar e a l - t i m ev i d e ot r a n s m i s s i o ns y s t e mo v e rr t p r t c p p r o t o c o l sb a s e d o n d i g i t a l v i d e o p l a t f o r m i s b r o u g h tf o r w a r da n d i l l u s t r a t e d i ti sp r o v e dt h a tt h es y s t e mu s e dt ot r a n s p o r tv i d e oi s v e r y e f f e c t i v eo v e rr t p r t cp k e yw o r d s ：m u l t i m e d i ac o m m u n i c a t i o n r e a l - t i m et r a n s m i s s i o n r t p r t c pv i d e oc o d i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得蠢壅盘芏或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：彦噼予融签字日期：泖f 年2 月上fr 学位论文版权使用授权书 本学位论文作者完全了解墨鲞盘堂有关保留、使用学位论文的规定。 特授权墨鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：肠守吐 导师签名：耆文元 签字日期：。帅f 年2 月二f 日签字日期：2 呱年2 月2 乡日 第一章绪论 第一章绪论 1 1 论文的研究背景及意义 i i 1 论文的研究背景 近代通信从窄带的电话、语音广播到各种宽带的活动图像传输，如可视电话、 会议电话、普通电视广播、直到高清晰度电视广播，都在由模拟方式向数字方式 发展。这是由于数字传输有许多模拟传输所不具备的优点，如：传输质量高；易 于采用纠错编码技术提高抗干扰能力；易于加密；便于利用时分复用技术纳入多 种信息业务兼容的综合数字通信网；数字电路容易大规模集成，数字设备可靠性 高，维护简便等等。 在“计算机就是网络”的时代，数字多媒体应用基本上就是网络环境的应用， 随着计算机网络技术和多媒体技术的发展，多媒体应用将变得越来越丰富，越来 越贴近并服务于人们的生活。随着互联网进一步发展，人们已不再满足传统 i n t e r n e t 上的文件传输和w e b 浏览，开始向互联网提出了更高的要求一一在互 联网上实时传输多媒体信息的实时交互。前面提到的可视电话、电视广播、以及 远程教学和视频会议系统等都是它的应用。近年来，如何使得多媒体信息在网络 中高效实时地传输己经成为计算机通信技术和多媒体技术研究中的一个研究热 点。 1 1 2 网络视频的发展前景 我国视频技术的发展大致经历了模拟视频、p c 视频、网络视频三个阶段。 目前视频技术正在向以嵌入式技术为依托，以网络、通信技术为平台，以智能图 像分析为特色的方向发展。 随着数字图像压缩编码技术的不断成熟，网络技术的不断发展，网络视频的 应用越来越多，尤其在9 l l 和s a r s 等突发事件以后，网络视频技术，如视频 会议、远程教育、远程医疗、远程监控等的应用价值愈来愈得到社会的认可，各 行各业、各个机构对该业务的需求越来越大，其发展趋势异常迅猛。无论从应用 方面、技术方面，还是从市场方面看，网络视频的应用已经成为一股热潮。 从应用方面看，目前我国网络视频技术应用越来越广，涉及政府、教育、银 行、电信、医疗、企业、军事等诸多领域或部门。据一条有关上海电信的报道， 上海电信2 0 0 3 年4 月以来呈满负荷运转，几乎每天，所有工程师都被邀请上门 第一章绪论 帮助调试已经安装的视频会议设备，家庭用户安装宽带的申请也明显增加，4 月 2 1 日到2 7 日一周的申装用户超过1 万，并有继续大幅增长的趋势。据有关预测， 我国的视频会议系统在应用规模上，已处于世界前两名，在应用技术上也不比国 外落后。尤其在会议型应用方面，我国已经超过了国外。总之，目前的网络视频 应用蓬勃发展。 从技术层面看，硬件视频和软件视频的同步发展、技术成本的不断下降，正 在大力推进网络视频的大规模应用。在硬件视频方面，视频终端的价格由9 0 年 代初刚开始商用阶段的1 0 万美元一台，降低到5 0 0 0 3 0 0 0 0 美元一台，目前还 在大幅度下降。同时由于图像压缩算法的不断进步，在不降低图像质量，甚至质 量有所提高的前提下，所占用的信道宽度也从最初的2 m b 下降到1 2 8 3 8 4 k b 。 在软件视频方面，基于i p 和p c 的视频系统已经突破了防火墙、带宽、多语言混 合等技术限制，能够方便地为人们提供随时随地的视频应用。如f v c 、v 2 等公司 开发的软件视频系统都已经投入商用。另外，大规模组播视频技术也已经得到成 功应用。这种组播技术系统与其他视频会议系统相比，具有超强的交互能力，任 何一个会场都可以显示所有会场的图像并成为大会中心，进行自由讨论。从理论 上讲，只要有足够带宽，该系统可以支持无限多个会场同时举行会议，而且图像 清晰，价格低廉。 从市场层面看，有资料显示，2 0 0 4 年，全球在网络视频产品的投入为8 6 亿 元，每年增长达2 2 。按这个增长速度估计，2 0 0 5 年全球的网络视频产品投入约 为1 0 5 亿元。从目前的情况看，这还只是一个保守的估计。另外，大量的外国公 司如v t e l 、p o l y c o m 、a e t h r a 、v c o n 、f v c 等进入国内，也表明了网络视频在不 断升温。 1 2 基于r t p r t c p 协议的实时信息传输系统 基于r t p r t c p 协议的实时多媒体信息传输系统如图1 l 所示。视频实时信 息通过采集、信息压缩、封装和打包，再经过网络传输，最后由接收端通过组包、 解压缩等处理还原为实时信息，从而完成实时信息传输的整个过程。多媒体信息 传输研究涉及的内容十分广泛。总的来说离不开这几个关键技术：多媒体技术、 数据压缩技术和计算机通信技术。尽管数据压缩技术已经取得长足的进步，但是 还远远没有到达尽头，仍然有潜力可挖，比如分形压缩方法就还有许多值得完善 的东西。计算机通信技术时通信技术和计算机技术的结合物。多媒体信息传输同 样离不开它，网络协议是其中的研究关键点，比如实时传输协议( r t p ) 、实时传 输控制议( r t c p ) 、资源顸留协议( r s v p ) 等等都已经成了实时传输研究的重点 对象。 2 第一章绪论 帮助调试已经安装的视频会议设备，家庭用户安装宽带的申请也明显增加，4 月 2 1 日到2 7 日一周的申装用户超过1 万，并有继续大幅增长的趋势。据有关预测， 我国的视频会议系统在应用规模上，已处于世界前两名，在应用技术上也不比国 外落后。尤其在会议型应用方面，我国已经超过了国外。总之，目前的网络视频 应用蓬勃发展。 从技术层面看，硬件视频和软件视频的同步发展、技术成本的不断下降，正 在大力推进网络视频的大规模应用。在硬件视频方面，视频终端的价格由9 0 年 代初刚开始商用阶段的1 0 万美元一台，降低到5 0 0 0 - - 3 0 0 0 0 美元一台，目前还 在大幅度下降。同时由于图像压缩算法的不断进步，在不降低图像质量，甚至质 量有所提高的前提下，所占用的信道宽度也从最初的2 m b 下降到1 2 8 3 8 4 k b 。 在软件视频方面，基于i p 和p c 的视频系统已经突破了防火墙、带宽、多语言混 合等技术限制，能够方便地为人们提供随时随地的视频应用。如f v c 、v 2 等公司 开发的软件视频系统都已经投入商用。另外，大规模绢播视频技术也已经得到成 功应用。这种组播技术系统与其他视频会议系统相比，具有超强的交互能力，任 何一个会场都可以显示所有会场的图像并成为大会中心，进行自由讨论。从理论 上讲，只要有足够带宽，该系统可以支持无限多个会场同时举行会议，而且图像 清晰，价格低廉。 从市场层面看，有资料显示，2 0 0 4 年，全球在网络视频产品的投入为8 6 亿 元，每年增长达2 2 。按这个增长速度估计，2 0 0 5 年全球的网络视频产晶投入约 为1 0 5 亿元。从目前的情况看，这还只是一个保守的估计。另外，大量的外国公 司如v t e l 、p o l y cc 3 m 、a e t h r a 、v c o n 、f v c 等进入国内，也表明了网络视频在不 断升温。 1 2 基于r t p r t c p 协议的实时信息传输系统 基于r t p r t c p 协议的实时多媒体信息传输系统如图1 - 1 所示。视频实时信 息通过采集、信息压缩、封装和打包，再经过网络传输，最后由接收端通过组包、 解压缩等处理还原为宴时信息，从而完成实时信息传输的整个过程。多媒体信息 传输研究涉及的内容p 分广泛。总的来随离不开这几个关键技术：多媒体技术、 数据压缩技术和计算机通信技术。尽管数据压缩技术已经取得长足的进步，但是 还远远没有到达尽头，仍然有潜力可挖，比如分形压缩方法就还有许多值得完善 的东西。计算机通信技术时通信技术和计算机技术的结合物。多媒体信息传输同 样离不开它，网络协议是其中的研究关键点，比如实时传输协议( r t p ) 、实时传 输控制议( r t c p ) 、资源预留协议( r s v p ) 等等都已经成了实时传输研究的重点 输控制议( r t c p ) 、资源预留协议( r s v p ) 等等都已经成了实时传输研究的重点 对象。 2 第一章绪论 ( a ) 信息发送端流程 ( b ) 信息接受端流程 图卜1 基于r t p r t c p 协议实时信息传输系统流程图 1 3 论文研究的对象及主要内容 实时多媒体信息传输是目前国内外的一个研究热点和难点。它的诸多应用， 例如远程教学、视频会议、远程会诊等具有广泛的应用前景和市场空间。基于这 样的背景下，本文主要分析研究了适用于网络实时多媒体传输的r t p r t c p 协议 的组成、传输机制及其优势和不足之处，在深入剖析数字摄像平台的硬件原理与 软件结构的前提下，并在对必要的背景知识( 包括：微软的d i r e c t s h o w 多媒体 开发包、c o m 编程t c p i p 协议和w i n d o w ss o c k e t 网络编程以及v is u a lc + - 软件 开发工具) 的充分理解和熟练掌握的基础上，完成对原有的数字摄像平台系统软 件的改进和功能的扩展。最后，利用r t p r t c p 协议设计和实现了一个实时视频 传输系统。概括起来，本文的研究对象与主要内容主要体现在以下几个方面： 1 网络协议分析实时多媒体信息传输对网络的需求，在对传输层上两个 主要协议t c p 和u d p 进行详细研究和对比的基础上，分析了它们各自的特点和不 足。 2 r t p 协议的研究该部分是本文的研究重点，主要分析和研究了r t p r t c p 协议的组成、特性以及不足之处。并对延时估计和实时数据的同步机制作出了有 益的理论探讨。 3 r t p 协议的实现利用r t p r t c p 协议，设计并实现了一个实时视频传输 系统。 3 第一章绪论 1 4 论文的组织结构 本论文的结构如下： 第一章绪论。介绍课题的研究背景及研究重点。 第二章系统的总体功能及硬件部分介绍。介绍数字摄像平台总体功能、特 点，以及硬件部分包括主要芯片m p e g 编解码芯片s m 2 2 1 0 和u s b 接口控制芯片c y 7 c 6 4 6 1 3 的功能介绍。 第三章系统软件体系的研究。详细阐述了w d m 驱动程序和d i r e c t s h o w 及 其在系统中的应用。然后对系统应用程序进行了简要介绍。 第四章数字图像编码技术概述。主要分析数据压缩的编码方法及原理，还 对视频数据压缩标准以及下一代压缩方法进行了分析与研究。 第五章数字视频的实时传输技术。重点介绍了适合于i n t e r n e t 上实时传 输多媒体信息的r t p r t c p 协议，以及延时估计和同步机制的理论知 识。 第六章视频数据实时传输系统的设计与实现。在前面几章分析和研究的基 础上，运用前面提及的技术，设计并实现一个基于r t p r t c p 协议的 实时视频数据传输系统。 4 第二章系统的总体功能及硬件部分介绍 第二章系统的总体功能及硬件部分介绍 2 1 系统的总体功能 本数字摄像平台系统具有如下功能： 1 实时采集视频信息功能：用于实时采集模拟音视频信息，并将其数字化， 而后依m p e g 标准将数据进行压缩编码，通过u s b 接口将数据存储于硬 盘，以便进行编辑和网络传输。 2 解压缩功能：可实现对符合m p e g 标准的音视频文件进行软件或硬件解 压缩，将其进行数模转换，并进行模拟视频编码，在电脑或监视器上 回放。 2 2 系统的特点 本系统具有如下特点： 1 高度集成性：该系统集成了数字摄像机，视频展台，视频采集卡，m p e g 解 压卡，电视卡等功能。 2 方便性：通过u s b 接口与微机相连，可热插拔。可以将采集到的音视频 数据压缩为 m p g 文件，存储在硬盘上。 3 灵活性：用户可根据实际需求，自行设定m p e g 压缩编码的参数。 2 3 系统硬件总体结构及工作原理 系统结构框图如图2 - 1 所示。其中，s a a t l l 4 将模拟视频信号转换为标准的 i t u rb t 6 0 1 b t 6 5 6 的数字格式，供s m 2 2 1 0 进行m p e g 编码。s a a 7 11 4 的输入 可以源自摄像头或外接设备。此外，系统中的高频调谐器也可为s a a 7 1 1 4 提供“素 材”。视频编码芯片b t 8 6 0 可以接收s m 2 2 1 0 解压后的数字视频信号，完成 p a l n t s c 制编码。s m 2 2 1 0 编解码所需缓存空间由片外的s d r a m 提供。主机通过 u s b 电缆下载控制微码至u s b 控制芯片c y 7 c 6 4 6 1 3 。c y 7 c 6 4 6 1 3 通过i2 c 总线设置 f 1 1 2 5 6 、s a a 7 1 1 4 和b t 8 6 0 的寄存器，同时c y 7 c 6 4 6 1 3 与s m 2 2 1 0 的主机接口单 元相连，完成m p e g 码流的传输、任务的协作以及信号的同步。 第二章系统的总体功能及硬件部分介纠 图2 1 系统硬件框图 该系统在编码状态，数字视频数据经s m 2 2 1 0 压缩编码成m p e g 码流后，经由 u s b 电缆导入微机在显示器上回放，或存储为扩展名为 m p g 的文件。解码状态， 可选择硬件或软件解码。硬件解码条件下，将硬盘上存储的文件数据导出，经硬 件系统解码回放到监视器上，软件解码则用于在电脑显示器上进行回放。 系统硬件不含对声音处理能力，该工作通过软件控制主机声卡来实现的。 2 3 1m p e g 编解码芯片s m 2 2 1 0 1 芯片特性、参数介绍 s m 2 2 1 0 是s t r e a mm a c h i n e 公司的实时m p e gi i m p e gi 视频编解码芯片， 完全兼容i s o i e c1 3 8 1 8 一m p m l 越。编码模式，s m 2 2 0 将输入的i t u rb t 6 0 1 或i t u rb t 6 5 6 格式的数字视频，压缩成m p e g 节目流。芯片特性如下： 1 ) 视频编码器：单芯片实时m p e g 一1 和m p e gi l 主级主类数字视频编码，遵从 i s o i e c l 3 8 1 8 2 ，视频流速率上限达1 3 5 m p e l s s ( 1 6 b i t ) ，2 7 m p e l s s ( 8 b j t ) ： 2 ) 支持恒定比特率( c b r ) 和变比特( v b r ) 率模式，对于i p b 帧图像，c b r 达1 5 m b p s ， v b r 达1 0 m b p s ；对于仅有i 帧图像，v b r 达3 0 m b p s ； 3 ) 高性能的运动补偿，半像素精确度，水平搜索范围6 3 5 ，3 i 5 ，1 5 ，5 ，7 5 6 第二章系统的总体功能及硬件部分介绍 像素帧，垂直搜索范围3 1 5 ，1 5 5 ，7 5 像素帧； 4 ) 对外部s d r a m 存储器容量需求较小； j ) 支持多分辨率以及扫描速率： n t s c ：( 7 0 4 ，6 4 0 ，5 4 4 ，4 8 0 ，3 5 2 ) x4 8 0o r3 5 2x2 4 0 帧频为3 0 或2 9 9 7 t l z p a l ：( 7 0 4 ，6 4 0 ，5 4 4 ，4 8 0 ，3 5 2 ) x 5 7 6o r3 5 2 x 2 8 8 帧频为2 5 h z ； 6 ) 集成了视频预处理与后处理功能；预处理器接收i t u rb t 6 0 14 ：2 ：2 与d 1 输入格式； 7 ) 8 1 m 工作频率； 8 ) 内建的可编程预处理滤波器：可编程的半水平分辨率( h h r ) ，2 3 水平分辨率 滤波器： 9 ) 编码参数可编程：i 帧与p 帧的间隔；用户定义的量化矩阵；平均比特率；有 效图像区域选择： 1 0 ) 视频解码器：对符合m l m p 的m p e gi i 与m p e gi 视频进行解码，支持全dj ， 2 3 d 1 ，1 2 d 1 ，变长解码，视频流语法分析与解码，错误发现及处理； 1 1 ) 运动预测：支持基于帧、场、1 6 x 8 以及双基预测的运动补偿模式，完成半像 素和双向插补错误检测处理。 2 芯片内部单元介绍 s m 2 2 1 0 的内部结构如图2 2 所示： 图2 2 s v 1 2 2 1 0 内部结构框图 各单元的功能如下： a ) 视频引擎单元( v g u ) ：是s m 2 2 1 0 的核心处理单元，它在s l i c e 层以下处理数 7 第二章系统的总体功能及硬件部分介绍 据，进行d c t 和反d c t ，量化与反量化，变长编解码和运动补偿。i d c t 输出 符合i e e e 一1 8 0 0 精度的要求。 b ) 视频流单元( v s u ) ：在s 1 i c e 层以上处理位流数据。在编码时，v s u 负责在 压缩的位流中插入视频头信息。在解码时，它解出基本位流( e s ) 与显示时 间戳( p t s ) 。由打包的基本流( p e s ) 得到的p t s 信息被放入用于音视频同步的 基本流e s 用户数据域内( u s e rd a t af i e l d ) 。除了p e s 外，v s u 还能提取出 e s ，并将其放入解码缓冲区中。 c ) 细化与判决单元( r d u ) 包含两个功能：一、将由m e u 产生的粗精度的运动矢 量细化到半像素精度：二、自适应的选择最适宜的运动类型，运动补偿模式， d c t 编码模式。 d ) 运动估计单元( m e u ) ：计算场模式或帧模式的全像素精确度运动矢量，可阻 进行前向或后向估计。前向估计用于p 帧的宏块，双向估计用于b 帧的宏块。 e ) s d r a m 控制单元：为所有的功能单元提供对片外s d r a m 存储器的接口，支持 3 0 帧秒的视频编码速率。 f ) 微控制器单元( m c u ) ：内部的r i s c 处理器调度各子单元，完成全局的同步。 它由h i u 从主机下载微码，并运行，调度的芯片工作。 g ) 主机接口单元( h i u ) ：支持嵌入式系统通常的设计要求。用于与主机控制器 的通讯。主机接口可以通过p c i 接口与基于p c 的主机系统相连。 h ) 预处理单元：选择输入视频的有效区域并进行变换，i n v e r s et e l e c i n e ( i n v e r s et e l e c i n e ，简单的说，i v t c 就是将d v d 中的2 9 9 7 6 f p s ( n t s c ) 或 2 5 f p s ( p a l ) 的隔行信号还原为胶片的2 3 9 7 6 f p s 的逐行信号。使用i v t c 可以 有效的消除影片的“拉丝( i n t e r l a c e ) ”现象，还可以平滑的减少每秒内的帧 数，以获得画面质量与码流的最佳比例) 、预滤波，为方便后面的编码处理而 进行数据排列，使随后的编码工作得以高效实现。 i ) 后处理单元：由s d r a m 中的重建帧生成符合i t u rb t 6 0 14 ：2 ：2 格式的序列， 拥有用于插补成i t u rb t 8 0 1 以及i t u rb t 6 5 6 格式的滤波器，完成水平、 垂直缩放以及格式的转换。 2 3 2u s b 接口控制芯片c y 7 c 6 4 6 1 3 c y p r e s s 的e z u s bf x ，序列是c y t c 6 4 6 x x ( 我们用的是c y 7 c 6 4 6 1 3 ) ，它是 该公司生产的第二代全速u s b 芯片。与第一代的e z u s b 产品相比，在保留原有 特点( 包括：智能u s b 核，增强的8 0 5 1 核，8 k 字节的r a m ) 的同时，还具有更 高的集成度和更加优良的性能。 1 芯片特点 8 第二章系统的总体功能及硬件部分介绍 a ) 单芯片高度集成了u s b 收发器、智能串行接口引擎、和增强的8 0 5 1 微处理器； i2 c 控制器( 适于低速l o o k b s 和高速4 0 0 k b s 两种标准) ； b ) 软特性：8 0 5 1 内核从内部的r a m 启动，而相应的程序既可以通过u s b 电缆下 载也可以从e e p r o m 载入； c ) 端点丰富：4 个批量中断端点，每个端点都支持最大长度为6 4 字节的包： 1 6 个同步端点，对应2 k 字节的缓冲区，可以由这1 6 个同步端点共用； d ) 集成了工业标准的8 0 5 1 核，可以在4 8 m h z 或者2 4 m h z 时钟下工作。并且增加 下述特性：四个时钟每周期、两个u a r t ( 通用异步收发器) 、3 个计数器时 钟、扩展了的中断系统、两个数据指针； e ) 增强的i o 端口：i o 端口寄存器直接映射到特殊功能寄存器、端口位可以 通过8 0 5 1 位寻址指令来控制； f ) 有四个集成的通用8 位f i f o ：每个有6 4 字节、可以与1 6 比特总线之间自动 变换、可以使用外部提供的时钟、与a s i c 和d s p 芯片接口易实现； g ) d m a 控制器：可以在内部f i f o 、存储器和端口之间快速地传输数据，( 内部传 输的每个字节只要一个时钟即2 0 8 n s 即4 8 m b s 传输速率) 、可以使用外部 r a m 做为附加的f i f o ( 通过地址数据复用的总线来寻址) ； h ) 通用可编程接口g p i f ：允许直接连接到大部分的8 位或者1 6 位并行接口、 有可编程的波形描述符，可用配置寄存器的方法来定义波形、支持多r e a d y 信号输入和c o n t r o l 信号输出； 2 芯片各部分介绍 1 ) 微处理器 c y 7 c 6 4 6 x x 为减小电磁干扰而使用1 2 m h z 晶体，内部振荡和锁相回路对其 进行倍频达到4 8 m h z ，提供给u s b 串行接口引擎( 8 i e ) 和8 0 5 1 微处理器使用。 8 0 5 1 内核可以工作在2 4 m h z 或4 8 m h z 。该微处理器是工业标准8 0 5 1 的增强版。4 个时钟为一个操作周期。两个数据指针和一个增强的中断系统。两个通用异步收 发器，三个计数时钟和2 5 6 字节的r a 寄存器。与标准8 0 5 11 0 接口不同，它 的1 0 控制寄存器在外部存储空间。c y 7 c 6 4 6 x x 保存了这部分地址空间用于与 e z u s b 系列后兼容，通过使用8 0 5 1 特殊功能寄存器( s f r ) ，实现对i o 寄存器的 控制，这种方法减小了对i o 口的访问时间。 8 0 5 1 程序和数据存储于内部的8 k br a m 中。r a m 中的代码和数据是通过u s b 电缆下载进去的，这就为c y 7 c 6 4 6 x x 提供了软操作特性，而无须r o m 或f l a s h ， 同时也方便了程序代码的升级。 2 ) u s bs i e ( 串行接口引擎) c y 7 c 6 4 6 x x 使用了e z u s b 系列的增强s i e 。s i e 可以进行u s b 总线枚举和运 9 第二章系统的总体功能及硬件部分介绍 用预定义的端点和设置进行默认u s b 设备的创建。 在8 0 5 1 的控制下，可以使用s i e 的特性来简化u s b 固件的开发。端点0 的 s e t u p 数据被置于r a m 内分离的8 - b y t e 空间中，便于访问。通过使用特殊的s e t u p 数据指针，g e t d e s c r i p t o r 请求得以简化。8 0 5 1 仅负责将描述符地址装载到 1 6 - b i t 寄存器，而余下的工作，比如将描述符划分到各个包中，通过端点0 来 响应i n 令牌，以及提供必要的握手等等，由s i e 负责。当s i e 进行这些u s b 总 线转移工作时，8 0 5 1 仍可以做其他的工作。 3 ) 端点 c y 7 c 6 4 6 x x 拥有控制、批量、中断端点。其中每种端点都拥有6 4 一b y t e 的缓 冲，用以满足u s b 协议所规定的最大的数据包尺寸，可以进行u s b 的高速吞吐。 其中一对端点作为特殊的端点0 ，拥有分离的e p o i n 和e p o o u t 缓冲，用以简 化编程。1 4 个额外的6 4 一b y t e 缓冲可以用作批量或中断端点。这些端点也可以 通过使用成对端点的机制，成为双缓冲。双缓冲允许8 0 5 1 在其中一个缓冲在接 收或发送u d b 总线数据时，访问另一个缓冲。 c y 7 c 6 4 6 x x 还拥有1 6 个同步端点占有1 0 2 4b y t e 的双缓冲( 总共为2 k b ) 同步端点缓冲被作为f i f o 来访问。 端点数据可以通过8 0 5 1 直接维护，或通过使用c y 7 c 6 4 6 x x 的内部d m a 系统 与外界传输数据。 批量数据可存储于6 4 b y t e 的随机访问缓冲，该缓冲可作为f i f o 寻址，通过 特有的自动指针访问。每个端点拥有一个独立的中断向量，因而仅将服务程序 的地址放入中断跳转表，中断服务程序会自动调用，因而大大减小了资源开销和 程序时延。 4 ) 缺省的u s b 状态机 当c y 7 c 6 4 6 1 3 与u s b 总线连接时，它的i c 端口没有与e e p r o m 相连，智能 s i e 会将u s b 设备枚举为一个通用的u s b 设备，它拥有一些默认的设置。这些设 置包括v i d ( 供应商i d ) 、p i d ( 产品i d ) 、d i d ( 设备t d ) ，以及端点的默认状态。 5 ) i b n ( 1 n b u l k - n a k ) 中断 c y 7 c 6 4 6 x x 有一个中断，用来指示某个端点已经接收到了一个i n 令牌，因为 没有收到有效数据，s i e 不做出应答。中断请求是为e p l i n e p 7 i n 而设，并且预 先保留的向量已经被添加到u s b 中断向量表之中。 6 ) s l a v ef i f o 许多高带宽的应用，往往设计在u s b 芯片与外部逻辑之间添加f i f o ，用以匹 配数据的速率，或者平滑u s b 数据的传送。c y t c 6 4 6 x x 将这个连接逻辑移到了内 部的s l a v ef i f o 。这个f i f o 同时提供了两个重要的接口，外部时钟和总线带宽 】0 第二二章系统的总体功能及硬件部分介绍 变换。 使用外部时钟，外部逻辑器件( 如d s p 或a s i c ) 可以使数据同步于自己的时 钟，输入出到s i a v ef i f o ，而不是用c y t c 6 4 6 x x 提供的时钟来同步。该f i f o 可以被同步( 使用脉冲和时钟信号) 或异步控制( 仅使用脉冲信号) 。s l a v ef i f o 数据可以通过两个8 位总线访问，这两条总线也可以同时作为单一的1 6 位数据 总线使用。1 6 位连接以及快速的双字节模式的使用，使得8 位到1 6 位数据总线 的转换更加快速。简便的f i f o 标志位设置( 空，满，可编程) 提供了对f i f o 数据流的控制。 7 ) d m a 控制器 鉴于u s b 的数据源和目标地址非常多，如端点缓冲，s l a v ef i f o 以及内部 外部r a m 缓冲，因而快速的在它们之间移动整块的数据至关重要。使用内部的 d m a ，8 0 5 1 可以设置源、目标地址、以及传输长度寄存器，而后开始一个d m a 传 输。最大的d m a 传输速率发生在内部资源之间，比如端点缓冲和s l a v ef i f o 之 间，最大的速率是4 8 mb y t e s 。 8 ) g p i f g p i f 是一个灵活的8 或1 6 位并行接口，由用户编程设置，类似于操作一个 有限状态机。它允许c y t c 6 4 6 x x 进行局部总线控制，并且可以执行很多协议如 a t a p i ，打印机并行口等等。 g p i f 含有6 个可编程控制( c t l ) 输出，6 个地址( a d r ) 输出，和6 个通用 r e a d y ( r d y ) 输入。数据总线的宽度可以是8 或1 6 位。每个g p i f 向量定义了 控制输出的的状态，或是完成一个r e a d y 输入( 或多输入) 识别与处理。一系列 的g p i f 向量组成了一个单一的波形，用以完成c y t c 6 4 6 x x 与外部逻辑之间数据 传输的控制。 3 c y 7 c 6 4 6 1 3 在系统中的作用 本系统通过该u s b 接口控制芯片完成对其余芯片的初始设置，和实时工作的 控制，因而对于它的配置使用尤其重要。它的工作使用了两种数据传输方式，对 于其它芯片的控制信息和程序微码采取控制传输方式，而对于m p e g 一2 位流传输 则采用同步传输方式。 2 3 3 系统其它硬件部分的介绍 1 视频解码芯片s a a 7 1 1 4 该芯片为p h i l i p s 公司的多制式模拟视频解码器。输入信号可为c v b s 或y c 信号，输出信号为标准的i t u rb t 6 0 1 b t 6 5 6 的数字格式。 第二二章系统的总体功能及硬件部分介绍 2 视频编码芯片b t 8 6 0 b t 8 6 0 可以接收s m 2 2 1 0 解压后的标准的i t u - rb t 6 0 1 b t 6 5 6 数字视频信 号，完成p a l n t s c 制编码。 3 s d r a m 本系统用了四片1 6 m b i t ( 2 m b ) s d r a m ，通过6 4 条数据线和1 2 条复用地址 线与s m 2 2 l o 芯片相连，并根据n t s c p a l 制式不同，调节对s m 2 2 1 0 的4 m b 一8 m b 可用存储空间。 4 e e p r o m 用于存储u s b 控制芯片的v i d 、p i d 、d i d ，以便设备上电时，被主机所识 别。 5 c p l de p m 3 0 6 4 芯片 该芯片用于s m 2 2 1 0 与u s b 控制芯片之间的握手信息转换，例如d m a 请求、 响应信息。 6 高频调谐器f 1 1 2 5 6 p h i l i p s 公司的f 1 1 2 5 6 高频调谐器。f 1 1 2 5 6 高频调谐器是专为多媒体计算 机视频调谐功能设计制造的，它通过一根7 5q 的射频天线接收电视信号，并解 调出全电视信号。f 1 1 2 5 6 具有以下特点：符合c c i rd k 规范；可调谐全部电视 频段；锁相环控制调谐；可输出视频信号、伴音信号和第二伴音中频信号：由 1 2 c 总线控制调谐、地址选择，以及读出自动频率控制( a f c ) 的状态信息。 7 摄像头 摄像头采用电荷耦合器件( c c d ，c h a r g ec o u p l e dd e v i c e ) 。它是由大量独立 的光敏元件组成的半导体材料。照射到c c d 上的光线被各光敏元件分别转换成电 荷，每个元件上的电荷量取决于它所受到的光照强度。这些信息传送到模数转 换器上得到数字信号，然后转换为有一定电视制式的视频信号输出。c c d 摄像头 的特点是体积和重量都很小，功耗和工作电压都比较低，还有不怕振动和寿命长 等优点。此外，还具有很好的性能参数，如分辨率、动态范围和灵敏度等。 8 i2 c 总线 本系统u s b 芯片作为i2 c 总线系统中的主控器件，设置和控制其他1 2 c 器件， 包括模拟视频编、解码芯片、高频调谐器和e e p r o m 。对于芯片s a a 7 1 1 4 、b t 8 6 0 ， 除下载初始化微码外，还可应用户要求，实时控制一些特定寄存器，实现对亮度、 1 2 第二章系统的总体功能及硬件部分介绍 饱和度等的控制；高频调谐器的调谐参数，以及e e p r o m 中存放的u s b 芯片的v i d 、 p i d 和v i d ，都是通过该总线来传输的。 1 3 第三章系统软件体系的研究 第三章系统软件体系的研究 3 1 系统软件的整体结构 系统软件由应用程序、d i r e c t s h o w 组件、w d m 驱动程序、以及设备固件组成， 总体层次如图3 - 1 所示。位于该结构上层的应用程序调用了系统动态链接库 ( d l l ) 和d i r e c t s h o w 中的过滤器( f i i t e r s ) 组件，后两者通过w i m o w s 驱动 程序( w d m ) 完成对u s b 设备的控制。 3 21 9 1 ) m 驱动程序简介 3 2 1w d m 驱动程序概念 应用程序 啐m 争 iw d m 驱动程序 i 系统硬件 图3 - 1 系统软件结构框图 w d m ( w i n d o w sd r i v e rm o d e l ) 模型是从w i n n t 3 5 1 和w i n n t 4 的内核模式设备 驱动程序发展而来的。w i ) m 主要的变化是增加了对即插即用、电源管理、w i n d o w s m a n a g e m e n ti n t e r f a c e ( w m i ) 和设备接口的支持。w d m 模型的主要目标，是实现 能够跨平台使用、更安全、更灵活、编制更简单的w i n d o w s 设备驱动程序。它采 用了“基于对象”的技术，建立了一个分层的驱动程序结构。w d m 首先在 w i n d o w s 9 8 中实现，在w i n d o w s 2 0 0 0 中得到了进一步的完善，并在后续开发的 w i n d o w s 操作系统中都将存在，比如w i n d o w sm e 和w i n d o w sx p 。w d m 模型的引 入减轻了设备驱动程序的开发难度和周期，逐渐规范了设备驱动程序的开发，已 经成为设备驱动程序的主流。 w d m 模型主要采用分层的方法，模仿面向对象的技术，先进行逻辑上的“分 1 4 第三章系统软件体系的研究 层”，然后将标准的实现和底层细节“封装”起来，形成“基类”，客户程序通 过“继承”的方式来扩展“基类”的功能，完成所需要的实现。在系统中既使用 对象又使用类和继承等机制，而且对象之间仅能通过传递消息实现彼此的通信， 这样的方法才称为“面向对象的方法”。如果仅使用对象，则这种方法可以称为 “基于对象”的方法。“基于对象”的方法虽然不能得到“面向对象”的所有优 点，