（计算机应用技术专业论文）基于p2p的视频传输技术研究与应用.pdf

摘要 基于p 2 p 的视频传输技术研究与应用 摘要 随着网络技术的快速发展和网络应用的不断扩展，网络视频传输 的应用已成为近年来研究的一个热点，它将逐步成为人们工作、学习 和生活必不可少的部分，在网络上传输实时视频需要多方面的技术相 配合，其中包括编码技术、缓冲技术、压缩技术以及传输技术等。数 据量大是视频信息的突出特点，较小的时延抖动是视频通信最基本的 要求，高效快速的视频压缩技术及捕捉图像的速率成为影响视频传输 实时性的关键所在。 p 2 p 网络打破了传统的客户机服务器模式，在p 2 p 网络中每个节 点的地位都是相同的，每个节点既充当服务器，为其他节点提供服务， 同时也充当客户机，享用其他节点提供的服务。p 2 p 网络为充分挖掘 计算机空闲的计算能力提供了可能，实现了网络资源的全面共享与合 作。p 2 p 以其相对于c s 模式的巨大优势，不仅激发了信息技术领域科 研人员的研究热情，也调动了普通人对p 2 p 的期望，这些因素使p 2 p 成 为热门的前沿研究领域 本文首先阐述了p 2 p 网络的概念和流媒体技术的发展趋势，分析 了传统视频传输应用系统的不足，结合现代视频技术、通信技术及p 2 p 网络的技术特点，提出了基于p 2 p 网络的视频传输系统方案。其次， 针对影响视频传输实时性的有关因素，对视频传输相关技术做了深入 北京化t 大学硕士学位论文 学习研究，以h 2 6 3 为基本编码压缩方法，给出了实时调整压缩质量 和捕捉速率以适应随时变化的网络带宽的策略，在此基础上，设计实 施了视频传输系统。最后，对网络视频传输系统的性能进行了定性 和定量分析与测试，并对该课题的后续工作进行展望。 室 关键词：p 2 p ，视频传输，w i n s o c k ，丢包率，压缩质量，捕捉速 i i 符号说明 c d n r t p u d p r s v p r t s p r g b c c d c m o s j p e g 【p e g p c m v f w 符号说明 c o n t e n td e l i v e r yn e t w o r k 内容分发网络 r e a l t i m et r a n s p o r tp r o t o c o l实时传输协议 u s e rd a t a g r a mp r o t o c o l用户数据协议 r e s o u r c er e s e r v a t i o np r o t o c o l 资源预留协议 r e a lt i m es t r e a m i n gp r o t o c o l 实时流化协议 r e db r e e nb l u e三原色 c h a n g ec o u p l e dd e v i c e电荷耦合器件 c o m p l e m e n t a r ym e t a l o x i d es e m i c o n d u c t o r 互补金属氧化物半导体组件 j o i n tp h o t o g r a p h i ce x p e r tg r o u p 联合图片专家组 m o v i n gp i c t u r ee x p e r tg r o u p运动图片专家组 p u l s ec o d em o d u l a t i o n 脉冲编码调制 v i d e of o rw i n d o w s w i n d o w s 视频软件开发包 x i 北京化工大学位论文原创性声明 y 8 8 1 8 3 6 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 作者签名： 日期： 关于论文使用授权的说明 a p 0 6 6 6 学位论文作者完全了解北京化工大学有关保留和使用学位论文 的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北 京化工大学。学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编 学位论文。 保密论文注释：本学位论文属于保密范围，在卫年解密后适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授 权书。 作者签名：丝2 叠 日期： 导师签名： 霉! j ! ! 蜀 日期： 0 p 6 8 占 第一章绪论 第一章绪论 1 1 p 2 p 的概念 p 2 p 是p e e r - t o - p e e r 的缩写，p 2 p 可以理解为“伙伴对伙伴”或“点对点”的 意思，p 2 p 网络也称之为对等网络。p 2 p 起源于最初的联网通信方式，是一种比 较古老的技术，如产生于1 9 7 9 年的u s e n e t 及1 9 8 4 年的f i d o n e t 都是基于p 2 p 技术的网络，但是目前p 2 p 己被赋予了新的含义，是旧技术新的应用模式。 在p 2 p 网络中，c l i e n t 和s e r v e r 的概念消失了，取而代之的是s e r v e n t s ( s e r v e r + c l i e n t s ) 。最早的p 2 p 应用是在网络资源共享方面。n a p s t e r 是最早的商业p 2 p 软件( 一个m p 3 共享程序) ，用户在一夜问遍布全球，最终由于法律原因停止使 用，但这却开启了p 2 p 应用的大门，p 2 p 软件、相应的协议以及更深入地研究也 随之发展起来。由于p 2 p 技术所具有的特点，它在文件交换、对等计算、协同工 作、即时通讯、搜索引擎、网络游戏、基于i n t e r n e t 的文件存储系统、尤其在 流媒体传输方面的应用越来越受到重视。 目前，p 2 p 网络还没有形成统一的标准。2 0 0 0 年8 月成立了p 2 p 工作组，成员 包括i n t e l ，i b m 和h p 公司等。发展对等网络的其他主要障碍还有版权问题、网络 带宽问题、管理问题和安全等问题，如何连接电话、手机、家电、工业设备等也 是p 2 p 网络需要解决的问题嘲【”。 1 2 传统网络技术与p 2 p 网络的比较 传统的c s 模式以服务器为中心，由服务器统筹控制信息的流向，提供服务 和资源，这种模式在过去很长一段时间内很好地解决了互联网上的有效信息共享 的问题，但也存在服务器负载过重，信息数据流向过于依赖于服务器的问题，由 于互联网用户的数量猛增，服务器已经越来越明显地成为网络的瓶颈。同时一个 可靠的服务器，无论从硬件和软件的角度讲都是相当昂贵的，这也增加了互联网 上资源的成本。此外，c s 模式的覆盖面窄，即使在搜索引擎的帮助下也很难达 到网络的边缘。正如图1 1 中所示，c l i e n t 在网络中是彼此孤立的。 而在p 2 p 网络模式中，c l i e n t ( p e e r ) 则拥有更灵活的共享资源的模式，如图 1 - 2 所示，在网络中的每一对结点都可能相互访问到彼此，直接共享资源，p 2 p 北京化工大学硕士学位论文 1 3p 2 p 的优势 图l ，2p 2 p 网络模式 f 噜1 - 2p 2 p n e t w o r km o d e l 与传统的网络模式相比，基于p 2 p 技术的网络模式有以下一些特点：首先 是分布式和去中心化，p 2 p 本质上是一种分布式计算模型，整个p 2 p 的应用功能 分散在各个p 2 p 节点( p e e r ) 中完成；其次，在网络上，p 2 p 采用叠加的方式，和 底层的网络保持无关性；最后是对称性，p 2 p 中每个节点既是客户端，也是服务 器，功能的提供是对称的，这是p 2 p 和传统的客户服务器模式的最大差别j 。 由于p 2 p 的这些特点，使得p 2 p 的应用具有和传统的应用不同的特点，它 的扩展性强，实现方式灵活多样，部署的成本相对较低。因此，p 2 p 网络得到越 第一章绪论 来越多的应用和重视并迅速风行，基于p 2 p 的文件交换已经成为互联网的主流 应用之一。 1 。4 p 2 p 网络模型盯1 1 4 1 集中目录式结构 集中目录式p 2 p 结构是最早出现的p 2 p 应用模式，因为仍然具有中心化的 特点也被称为非纯粹的p 2 p 结构。用于共享m p 3 音乐文件的n a p s t e r 是其中最 典型的代表，其用户注册与文件检索过程类似于传统的c s 模式，区别在于所有 资料并非存储在服务器上，而是存贮在各个节点中。查询节点根据网络流量和延 迟等信息选择合适的节点建立直接连接，而不必经过中央服务器进行连接。 1 4 2 纯p 2 p 网络模型 纯p 2 p 模式也被称作广播式的p 2 p 模型。它取消了集中的中央服务器，每 个用户随机接入网络，并与自己相邻的一组邻居节点通过端到端连接构成一个逻 辑覆盖的网络。对等节点之间的内容查询和内容共享都是直接通过相邻节点广播 接力传递，同时每个节点还会记录搜索轨迹，以防止搜索环路的产生。 1 4 3 混合式网络模型 混合式模型是在纯p 2 p 分布式模型基础上引入了超级节点的概念，综合了 集中式p 2 p 快速查找和纯p 2 p 去中心化的优势。该模型将节点按能力不同( 计算 能力、内存大小、连接带宽、网络滞留时间等) 区分为普通节点和搜索节点两类( 也 有的进一步分为三类节点，其思想本质相同) 。其中搜索节点与其临近的若干普 通节点之间构成一个自治的簇，簇内采用基于集中目录式的p 2 p 模式，而整个 p 2 p 网络中各个不同的簇之间再通过纯p 2 p 的模式将搜索节点相连起来，甚至也 可以在各个搜索节点之间再次选取性能最优的节点，或者另外引入新的性能最优 的节点作为索引节点来保存整个网络中可以利用的搜索节点信息，并且负责维护 整个网络的结构。 1 。4 。4 结构化网络模型 北京化工大学硕士学位论文 所谓结构化与非结构化模型的根本区别在于每个节点所维护的邻居是否能 够按照某种全局方式组织起来以利于快速查找。结构化p 2 p 模式是一种采用纯 分布式的消息传递机制和根据关键字进行查找的定位服务，目前的主流方法是采 用分布式哈希表( d h t ) 技术，这也是目前扩展性最好的p 2 p 路由方式之一。 1 5p 2 p 应用范围 由于p 2 p 所具有的技术特点，很多计算机公司、研究部门都认为该技术蕴含 着巨大的商业和技术潜在价值，并从不同的角度应用和研究该技术。目前主要的 应用角度有：文件交换、对等计算、协同工作、即时通讯、搜索引擎、网络游戏、 基于i n t e r n e t 的文件存储系统、操作系统等”。 1 5 1p 2 p 文件交换 这是p 2 p 最初的应用和基本功能之一，可以说文件交换的需求直接引发了 p 2 p 技术热潮。n a p s t e r 抓住人们希望通过互联网共享m p 3 音乐文件的需求，以p 2 p 技术实现了自由的文件交换体系，从而引发了网络的p 2 p 技术革命。通过p 2 p 来 搜索和下载与传统的方式最大的区别就在于不是从其它网站的服务器搜索与下 载资源，而是从任何一个在线网友的机器里直接下载，当然其它网站的服务器也 可以看作是一个对等点，这样真正让个人电脑实现了与服务器的平等。 1 5 2 对等计算 人们一直在尝试通过并行技术、分布式技术将多个网络节点联合起来，利用 闲散计算资源来完成大规模的计算任务。而p 2 p 对于对等计算的优势就在于每个 对等点不再只是单纯的接收计算任务，它还可以根据自己的情况( 比如分到的任 务太多) 再搜索其他空闲节点把收到的任务分发下去。然后中间结果层层上传， 最后到达任务分发节点。对等点之间还可以直接交换中间结果，协作计算。按照 这种方式进行，可以合理整合闲散的计算能力和资源，使得总体计算能力得到大 规模提升，获得更高的计算性能价格比。 1 5 3p 2 p 协同工作 4 第一章绪论 协同工作是指多个用户之间利用网络中的协作计算平台互相协同来共同完 成计算任务，共享各种各样的信息资源等，这使得在不同地点的参与者可以在一 起工作。p 2 p 技术使得互联网上任意两台p c 都可建立直接的通讯联系，而不再需 要中心服务器，降低了对服务器存储以及性能的要求，也降低了对网络吞吐量和 快速反应的要求，从而大大节约了成本，使低成本的协同工作成为可能，最终帮 助企业和关键客户，以及合作伙伴之间建立起一种安全的网上工作联系方式。 1 5 4 搜索引擎 搜索引擎是目前人们在网络中搜索信息的主要工具，目前的搜索引擎的搜索 模式往往由一个机群在互联网上“盲目”读取信息，然后按照某种算法根据关键 字将信息保存在一个海量数据库内，当用户提交搜索请求时，再在海量数据库内 部进行搜索。这种机制虽然能尽快获得搜索结果，但不能保证搜索范围的深度和 结果的时效性。p 2 p 网络模式中节点之间动态而又对等的互联关系使得搜索可以 在对等点之间直接地、实时地进行，既可以保证搜索的实时性，又可以达到传统 目录式搜索引擎无可比拟的深度( 一传十，十传百，理论上将包括网络上所有开 放的信息资源) 。 1 5 5 即时通讯 所谓即时通讯，其实指的就是诸虫i i o i c q ；i c q ，q q 等被称为在线聊天的软 件，与i r c ( i n t e r n e t 在线聊天系统) 、b b s 或w e b 聊天室比较，p 2 p 的即时通讯软 件不仅可以随时知晓对方在线与否，而且交流双方的通讯完全是点对点进行，不 依赖服务器的性能和网络带宽。尽管目前的即时通讯技术一般都具有中心服务 器，但中心服务器仅是用来控制着用户的认证、资料等基本信息，并且帮助完成 节点之间的初始互联工作。 统计资料显示，到2 0 0 5 年第三季度，中国即时通讯用户数量增长到8 1 5 2 万，比去年增长3 8 。中国即时通讯市场，三大厂商优势明显。腾讯q 0 市场 份额高达7 9 6 ，m s nm e s s e n g e r 占有1 0 0 8 的市场份额，新浪u c 占据了2 2 3 的市场份额。【l o 】 1 6p 2 p 网络的发展趋势 1 技术方面 北京化工大学硕士学位论文 p 2 p 的发展就是要利用客户端的处理能力，实现客户端之间的点到点通讯， 实现通讯与服务端的无关性。目前计算机技术的发展和宽带网络的进一步普及， p 2 p 技术的应用将越来越显现出它的优势。它可以充分利用互联网的边缘资源， 即用户的计算能力、存储能力和带宽，甚至计算机硬盘的内容。由于p 2 p 网络的 非中心化和自发组织的体系结构特性，使其具有更好的健壮性。也正是p 2 p 网络 的灵活性和易操作性提升了互联网用户的共享和参与热情，从而带动互联网的进 一步发展。目前利用p 2 p 技术开发的软件涉及到通信、互动游戏、媒体播放、即 时通讯等多种网络应用。从另外一个角度，p 2 p 作为一种新兴的技术，也可以为 网络运营商带来新的机遇。首先，利用p 2 p 技术可以对现有的一些业务和网络进 行优化，提高性能，降低成本，例如p 2 p 和c d n 技术的结合就是一个很好的例子， 可以将p 2 p 流量尽量限制在局部范围内，从而减少结算费用：其次，结合运营商 的业务，通过积极探索p 2 p 的新的运营模式和赢利模式，可以开发可管理的、可 赢利的、可良性发展的p 2 p 应用，满足用户需求。 2 应用方面 中国的p 2 p 市场正处在自由竞争阶段，进入市场的企业无论是规模还是实 力，都不相上下。因此，在较长的一段时期，中国的p 2 p 市场将延续群雄逐鹿的 竞争局面。互联网实验室认为，当f i i i p 2 p 行业标准尚未形成，而p 2 p 的相关应用 又及其广泛，技术门槛与经营门槛都相对较低，是这种竞争局面长期存在的主要 原因。在尝试了p 2 p 在即时通信、音乐共享与下载等方面的产品开发与经营后， p 2 p 在中国的发展将会以探求p 2 p 更多的商业应用为核心，在这方面，国外许多 p 2 p 企业就走在了前面。无论是协同办公，还是分布式计算，国外的p 2 p 企业都 有过比较成功的探索，为国内p 2 p 企业提供了许多值得借鉴的经验。而国内立足 于这两方面应用的p 2 p 企业，数量很少，规模也远不及国外的竞争对手。事实上， 面向企业的p 2 p 应用，在中国市场是大有可为的。此外，在中国，电子商务的市 场发展潜力无穷，在互联网实验室新近推出的 ( p 2 p 的现状及发展趋势研究报告 中有数据显示：n 2 0 0 3 年底，中国的电子商务市场b 2 b 矛i i b 2 c 的交易总额达至f j 4 0 亿美元之巨，b 2 b ( b u s s i n e s s t o b u s s i n e s s ) 的年均增速为1 9 4 ，而b 2 c ( b u s i n e s s t oc u s t o m e r ) 的年均增速是2 7 4 。这样广阔的发展前景，势必为p 2 p 在电子商 务领域的应用带来无限商机。 总之，p 2 p 是互联网应用发展的必然趋势，从长远来看，只能引导，不能堵 截。对于运营商而言，p 2 p 也是有利有弊，目前是挑战大于机遇，通过积极的应 对，可以变挑战为机遇。可以预期，随着其技术发展的日趋成熟和完善，p 2 p 网 络必将会捌有广阔的应用前景。 6 第一章绪论 1 7 流媒体基本概念 一般来说流媒体系统包括以下5 个方面的内容1 ： ( 1 ) 编码工具：用于创建、捕捉和编辑多媒体数据，形成流媒体格式。 ( 2 ) 流媒体数据：经过编码和流化处理后的媒体数据流或文件。 ( 3 ) 服务器：存放和控制流媒体数据的传输。 ( 4 ) 网络：适合多媒体传输协议甚至是实时传输协议的网络。 ( 5 ) 播放器：供客户端浏览流媒体文件。 这5 个部分有些是服务器( 发送端) 需要的，有些是客户端( 接收端) 需要的。 而且不同的流媒体标准和不同公司的解决方案会在某些方面有所不同。实现流媒 体传输传统的方法都需要专用服务器和播放器，其基本结构如图1 3 所示“。 r t p 图1 3 传统流媒体系统基本结构 f i g 1 - 3s t a d i t i o n a ls t r e a mm e d i as y s t e ma r c h i t e c t u r e 1 8 本课题的主要研究工作及论文结构 传统视频传输应用系统中，多采用b s 结构，采用这种结构的视频传输系统 中，随着客户数量的增加，服务器的负荷随之加重，当客户端达到一定数量时， 服务器负荷过重从而成为视频传输的瓶颈，从而使整个系统的图像质量、视频实 时眭和连续性都难以保证。本论文结合p 2 p 网络的技术特点提出了一种基于p 2 p 结构的实时视频传输系统，并在此基础上开发了视频传输程序。因为网络带宽会 随时变化，因此在程序中通过测试视频包在传输过程中的丢包率来调整视频压缩 质量和捕捉图像的速率来控制数据传输量，最大可能的适应随时变化的网络带 宽。在带宽不足的情况下，通过降低图像的清晰度和视频的连续性从而减少数据 流量来保证视频的实时性，当网络带宽充足时，即满足实时性的要求，又能保证 视频的清晰和连续。 本论文首先了解p 2 p 网络和流媒体的概念，研究了p 2 p 网络的应用领域和p 2 p 第二章视频传输频传输应用系统多以数字视频处理技术为基础，利用图像数据压缩的国际 标准( j 1 1 蚕m p e g 1 或m p e g 一4 ，雾g i 黄? j 嘞篙蜊憷愕增强僻壤。坷塌倒罄。 壅瑗獐垣埘公工濮墨黾弼谚峨脚薅哏毽疆透澄；簿墨 | 片消铆瞪捌鳓璇獭追商澎 1 1 ；峨臻嫩删卿哐 受浮哮篷毫趔期谁嵩点理寸羽嗄例烈增i 国蕉曼童嵫喧型增 毽直接输出数字视频信号，经过压缩处理，再通过网络将数据传输到对方。 数字视频信号具有频谱效率高、抗干扰能力强、失真少等模拟信号无法比拟 的特点，同时也具有信号处理数据量大、占用资源多的问题，正由于这个原因， 造成数字视频传输应用系统虽然具有很多的优点，但其实际应用范围不能得到更 大的扩展。只有对数字视频信号实现更有效地压缩，使之在通信和存储方面的开 销降到最低，它的优点才能表现出来，数字视频应用才有可能全面发展起来。 2 1 流媒体技术 流媒体技术并非单一的技术，而是多媒体压缩技术和网络传输技术等的融 合。包括了流媒体的编码、发布、传输、解码、播放等环节“。在这些环节中需 要解决多项技术问题有：第一，多媒体数据尤其是视频数据必须经过编码压缩处 理才能适合流式传输，需要的预处理工作包括高效的压缩算法以及流式信息的加 入。第二，流媒体的传输方式有多种，需要了解不同的特点，根据应用的要求选 择单播、组播等不同方式。第三，流的传输需要合适的传输协议，t c p 的特点决 定了它不适合传输实时数据。一般采用r t p (r e a l t i m et r a n s p o r t p r o t o c 0 1 ) u d p ( u s e rd a ta g r a mp r o t o c 0 1 ) 来传输实时的多媒体数据。流媒体有一定 的传输质量要求，r s v p ( r e s o u r c er e s e r v a t i o np r o t o c o l ，资源预留协议) 等协议为流 媒体传输提供质量保证。 流式传输的过程一般是这样的“”：用户选择某一流媒体服务后，w e b 敦l l 览器与 w 曲服务器之间使用ht t p t c p 交换控制信息，以便把需要传输的实时数据从原 始信息中检索出来；然后客户机上的w e b , i 览器启动客户端程序，使用h t t p 从 w 曲服务器检索相关参数初始化。这些参数可能包括目录信息、媒体数据的编码 类型或相关的服务器地址。客户端和服务器通过r t s p 交换传输所需的控制信息。 与c d 播放机或v c rs 所提供的功能相似，r t s p 提供了操纵播放、快进、快倒、 暂停及录制等命令的方给客户端，客户端播放输出。9 北京化工大学硕士学位论文 2 2 视频音频采集技术 视频音频采集就是将视频源和音频源的模拟信号通过处理转变为数字信息， 并将这些数字信息存储在电脑存储器的过程。这种由模拟到数字的转换是通过视 频采集卡上的采集芯片进行的。通常在采集过程中，对数字信息还进行一定形式 的实时压缩处理，较高档的采集卡依靠特殊的处理芯片进行硬件实时数据压缩处 理，而那些没有实时硬件压缩功能的卡，也可以通过电脑上的c p u 进行软件压缩 处理。 2 ，2 ，1 数字视频的采样格式 将模拟视频信号转化为数宇视频信号包括不少技术问题。模拟视频的数字化 主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。模拟视频一般采 用分量数字化方式，先把复合视频信号中的亮度和色度分离，得到y u v 或y i q 分 量，然后用三个模数转换器对三个分量分别进行数字化，最后转换成r g b ( r e d ，b r e e n ，b l u e ，三原色) 空间。根据电信号的特征，亮度信号的宽度是色度信 号带宽的两倍。因此其数字化时可采用幅色采样法，即信号的色差分量的采样率 低于对亮度分量的采样率。用y u ：v 来表示y u v 三分量的采样比例，则数字视 频的采样格式分别有4 ：1 ：1 、4 ：2 ：2 和4 ：4 ：4 - - 种。电视图像既是空间的函数， 也是时间的函数，而且又是隔行扫描式，所以其采样方式比扫描仪图像的方式要 复杂的多。分量采样时采集到的隔行样本点，要把隔行样本组合成逐行样本，然 后进行样本采样点的量化，y u v 至t j r g b 色彩空间的转换等等，最后才能得到数 字视频数据【”】。 2 2 2 摄像机与视频采集卡 视频源在视频传输应用系统中主要采用摄像机。按感光器件类别分，摄像机 使用大多是c c d ( c h a n g ec o u p l e dd e v i c e ，电荷耦合器件) 年 i c m o s ( 金属氧化物 半导体组件) 两种，其中c c d 是应用在摄像、图像扫描方面的高端技术组件， c m o s 则大多数应用在一些低端视频产品中。c c d 图像传感器是c c d 摄像机的核 心部分。现场景物经摄像头在摄像机内的c c d 图像传感器靶面上成像，使c c d 图像传感器输出反映现场图像内容的电信号。该电信号经摄像机内部电路处理 后，即可输出能为监视器所接收的视频信号。 摄像机的主要技术指标有像素值、分辨率、最低照度、信噪比、白平衡等。 j 0 第二章视频传输关键技术 像素值是影响摄像头质量的重要指标，其值越高拍摄到的影像越清晰。目前主流 产品的像素值一般应在1 0 0 万左右，最高达1 3 0 万。不过，像素值并不能完全决 定影像的质量，它必须和电脑系统相配套，因为它需要更宽的数据传输通道和更 快的数据处理能力；否则，可能出现影像捕捉的延迟、停顿现象。另外，像素值 越高，需处理、存储的数据越多，因而对于存储设备的要求也就相应地高。 分辨率就是摄像头解析辨别图像的能力。它和c c d 或c m o s 的品质直接相 关。有关分辨率，主要考虑捕捉静态画面时的分辨率( 照像解析度) 和捕捉动念 画面时的分辨率( 视频解析度) 。现在主流摄像头的分辨率可达1 2 8 0 x 9 6 0 。在某 些产品的说明书上，可能会标明更高的分辨率，但是，可能是这些产品通过使用 优化软件所能达到的“插值”分辨率。 另外还有一种网络数字摄像机，它可将模拟信号转换为基于t c p i p 网络标准 的数据包，通过r j 4 5 接口直接输送到网络上，是可实现即插即用观看的网络摄像 机。这种摄像机不需要专用的监控主机或p c 机，直接接入l a n 或通过i n t e m e t 接 入，就可以轻松实现实时的视频传输。也就是说，网络摄像机= c c d 摄像头+ 计 算机十视频采集卡+ 网卡+ 操作系统+ 软件。 2 2 3 音频采集 音频采集是通过将声波波形转换成一连串的二进制数据来再现原始声音的， 实现这个步骤使用的设备是模数转换器( a d ) 它以每秒上万次的速率对声波进 行采样，每一次采样都记录下了原始模拟声波在某一时刻的状态，称之为样本。 将一串的样本连接起来，就可以描述一段声波了，把每一秒钟所采样的数目称为 采样频率或采样率，单位为h z ( 赫兹) 。采样频率越高所能描述的声波频率就越 高。采样率决定声音频率的范围( 相当于音调) ，可以用数字波形表示。 2 3 视频音频编码解码技术 流媒体信息的压缩编码技术是多媒体计算机、多媒体通信、多媒体数据库等 领域的关键技术之一。数字计算机面临的是数值、文字、语言、音乐、图形、动 画、静图像、电视视频图像等多种媒体承载的由模拟量转化成数字量信息的存储 和传输的问题，这些信息数字化后，数据量极大，如不经过压缩，这些庞大的数 据将占用大量的带宽，会严重影响网络视频传输应用中的实时性。因此，运用数 字信号处理技术对视频音频信号的压缩是视频音频在现有网络条件下进行实时 传输首要解决的问题。 北京化工大学硕士学位论文 2 3 1 视频压缩的基本方法 数据之所以能够压缩是基于原始信源的数据存在着很大的冗余度。随着数字 通信技术和计算机技术的发展，数据压缩技术日臻完善，适合各种应用场合的编 码方法不断产生。目前常用的压缩编码方法可以分为两大类：一类是无损压缩法， 也称冗余压缩法或嫡编码法；另一类是有损压缩，也称嫡压缩法“1 。 1 帧内和帧间压缩 帧内数据是指一帧画面内水平和垂直方向取样点的集合，或称图像空间。把 只利用空涮冗余度的技术归类为帧内编码技术。帧内编码的例子有帧内预测编码 ( d p c m ) 、二维离散余弦变换( d c t ) 、矢量量化( v q ) 、子带编码和塔形编码等。 由于帧内编码不涉及时间维的信息量，不能获得如帧间编码那样高的压缩水平。 在帧间方法中，需要同时考虑空间和时问的冗余度。然而，帧内编码的实现相对 而言比较简单，编码器中不需要用以处理相邻帧数据的存储器，不需要在1 个帧 的间隔时间内处理来自多帧的信息。 2 预测编码 预测编码的原理是由邻近的像素值预测当前的像素值，然后对当前的像素和 预测像素的差值进行量化和编码。考虑到在高性能和复杂性之间的折衷，通常用 于帧内预测的邻近像素的个数并不多( 不超过4 个) ，使用更多的像素并不会显著 改进预测性能。对于帧问预测，一般只用相邻帧的对应像素进行预测。图像的相 关性越大，预测误差就越小，取得的压缩比也就越大。相对说来，d p c m 是一种 比较容易实现的压缩方法，但在较低的速率时，其压缩能力一般不如变换编码好。 3 变换编吗 正交变换的理论证明，通过某种正交变换，可以把数据从图像域映射到变换 域中去，总能量不变，但其分布则发生改变，集中分布在少数区域，形成一种更 紧凑的形式。这使得图像在变换域中可以用更少的比特数表示，以此获得压缩。 尽管正交变换有许多种，但实用中大都选用二维d c t ( 离散余弦变换) 进行变换 编码。这是因为其性能优越，接近最佳的k l 变换。将一幅图像分割为多个相邻 小方块，对每个单独的图像方块进行d c t 变换。图像块尺寸的选择是在图像质量、 压缩效率和实现难度之间进行折衷而决定的。在实际应用中，常选8 8 或1 6 1 6 的图像块。 4 变长编码 它包括2 部分，即二维游程编码和霍夫曼编码。图像经d c t ( 离散余弦变换) ， 变换和量化后形成为数众多的零系数，而且这些系数大部分集中在高频部分。为 第二章视频传输关键技术 了充分利用这一点，在进行游程编码时，对8 8 图像块的d c t 系数采用曲折扫描 顺序处理，以期获得较长的连零值，有利于其后的游程编码。游程编码将曲折扫 描后的系数变成若干对( 游程一幅值1 数据这里，游程是指连零的个数，幅值是指 非零系数的值。 5 运动估计 为了提高图像的压缩比，在帧间预测时采用了运动估计的方法。在前帧中的 一个运动物体在现帧中运动了v ，如果采用通常的帧问预测的方法，前后帧对应 位置的像素相减，这一部分的帧差必然较大。然而，通过计算该运动物体在前后 两帧之问的相对位移( l 动矢量) 来估计其运动的大小，可以使图像数据( 一般为1 个图像块) 最好地和前一帧图像相匹配( 这一最佳匹配的运动矢量也需要送到解 码器) 。这样，现帧中的运动物体和前帧对应的部分的帧 差要比没有运动估计的情形下两帧相同位置时的帧差小。在对有运动估计的帧差 进行压缩编码时，其压缩比当然会有所提高。 2 3 2 新型高效视频编码技术 以上传统的视频编码算法都是构架在香农信息论的基础上的。在广播数字 化、网络宽带化、通讯无线化、存储高密化的大趋势下，流媒体技术对传统信息 理论提出了重大挑战，核心问题是如何传输与存储以视频音频为主的海量数据。 因此，数字视频音频编解码技术研究组在流媒体领域的研究主要集中在开发新 型高效的视频编码技术上，目前的研究内容有：基于传统混合编码器框架的高效 视频技术，新型的精细可伸缩视频编码，基于3 d 小波的可伸缩编码，编码优化 控制技术，基于对象模型的视频编码，分布式视频编码技术等“。 1 基于传统混合编码器框架的高效视频编码技术 尽管现有的视频编码器的性能已经有了显著的提高，但其基本结构仍然是运 动补偿预测、正交变换和熵编码器技术的组合，传统视频编码器存在的问题( 如 方法干扰问题) 仍然存在。因此针对视频编码系统的结构框架，给出设计高效视 频编解码器的一般性方法尤为重要。此外，编码系统中每个技术模块的优化空间 依然存在。如对于运动补偿和预测编码，采用基于块匹配的运动补偿与主运动补 偿相结合的策略可以进一步提高预测精度。传统的主运动估计算法极为复杂，可 以通过块运动矢量恢复全局运动参数的方法，一方面可以避免全局运动估计参数 的计算，减轻编码器的负担，另一方面还可以减少需要编码的运动矢量的数目， 提高编码效率。在图像边缘，采用纹理自适应的图像边缘填充算法，提高运动补 偿的预测精度。在多参考帧预测时，通过低复杂度的图像拼接减少预测及编码模 第二章视频传输关键技术 生成的全景图。因为s p r i t e 对象是由视频序列某个对象所有出现部分拼接的结果， 所以s p r i t e 可以直接重构该视频对象或对其进行预测补偿编码。研究组对s 研t e 编 码技术方面的研究包括静态s p r i t e 生成，基于多方向预测的静态s p r i t e 编码，高分 辨率动态s p r i t e 编码。其中，研究组开发的静态s 砸t e 生成算法已经被m p e g 一4 标 准的第7 部分( 1 4 4 9 6 7 ) 采纳。 基于模型的编码可以看作是一种特殊的基于对象的编码，此时对象的结构 更复杂，除了在对象的边界存在形状特征外，在对象的纹理区域也存在一定的结 构，这些结构信息通过网格模型的内部节点和边来表示。我们的研究目的是将传 统的基于块的编码方法同基于模型的编码方式相结合，采用基于图像内容的2 d 网格模型对即将编码的当前图像做出预测，然后利用传统的视频编码原理再次进 行运动估计和运动补偿编码。由于参考帧采用预测后的图像，使得在相同的码率 下重构图像的信噪比明显高于传统的视频编码技术，如m p e g 4 标准及 h 2 6 4 a v c 标准。 6 分布式视频编码技术 分布式视频编码技术主要应用领域是无线传感器网络。无线传感器网络是由 大量的集成了传感器、数据处理单元和通信模块的微小节点构成的全分布式的自 组织网络。在传感器网络中应用d s c 技术，对多个信源应用独立编码器进行编码， 得到的多个独立码流送入同一个联合解码器，这个解码器充分利用码流之间的相 关性对所有输入码流进行解码。分布式视频编码避免了传感器之间的信息交互， 简化了传感器网络分布结构的设计，节省了由于信息交互带来的带宽需求。另外， d s c 技术是一种低复杂度编码端技术。我们都知道传统的视频压缩技术，如 m p e g 、 l 2 6 x ，编码端需求的计算量非常大，尤其是运动估计模块，需要大量 的c p u 与内存之间的交互，消耗了大部分电力和影响了系统运行速度。对于无线 传感器网络来说，在存储、计算、电力资源有限的发送端( 如无线视频监视系统， 移动摄像电话，无线摄像p c 等) 上难以应用高计算复杂度编码技术。利用d s c 技术可以实现：计算复杂度由编码器向解码器的转移，把复杂计算转移到位于网 络数据处理中心上的解码器上进行：在有限的传输带宽和传输功率下，高效的数 据压缩；对于由信道传输错误造成的丢包具有健壮性。 2 3 3 视频压缩标准 压缩基本上是这样一个过程：通过消除存在于视频信号里的冗余成分，来减 少图像或图像组的内容信息。这可以通过分析视频信号的统计预知性来实现。以 下分析目前流行的几种压缩标准。 第二章视频传输关键技术 m p e g 专家组于1 9 4 5 年出台了m p e g 一2 ，它的目的是支持高的图像分辨率， 包括符合i t u r r e e 6 0 1 ( c c i r 6 0 1 ) 格式的标准分辨率的数字电视和更高分辨率 的h d t v 。同时支持包括高速体育运动在内的活动图像并且m p e g 2 要求能够支 持更广泛的应用范围，既包括存储媒体中的d v d ，广播电视中的数字广播电视 和h d t v ，还可应用于交互式的视频点播( v o d ) 和准视频点播( n v o d ) 。此外， 还能够适配于a t m 这种新兴的宽带通信网。m p e g - 2 标准的处理链力可达到广播 级水平，即7 2 0x4 8 0 象素，且m p e g 一2 标准兼容m p e g 1 标准，适用于1 5 - - 8 0 m b i t t s 编码范围。 。 m p e g 2 标准与m p e g - 1 的主要区别在于”： ( 1 ) 能够有效地支持电视的隔行扫描( 先扫描每帧图像的奇数行，构成奇数场； 再扫描偶数行，构成偶数场) 格式，在运动补偿中添加了场间预测和双基预测等 模式，以改进对运动较快的物体预测的准确性和提高压缩比。 ( 2 ) 支持分层次的可调视频编码，这可适用于需要同时提供多种质量的视频 服务的情况。可调视频编码的层次不仅可以按空间分辨力，也可以按时间分辨力、 信噪比和数据比特的重要性等来划分。按照m p e g 2 标准c c i r 6 0 1 格式( 2 2 8 0 7 2 ( 3x 6 0 帧) 的信号可压缩至4 6 m b i t l s ，而h d t v 格式( 1 2 8 0 x7 2 0 6 0 帧) 的 信号可压缩至2 0 m b i t s 左右。 禾m p e g 一4 m p e g ，4 ”于1 9 9 9 年j 下式成为国际标准。m p e g - 4 是一个适用于低传输率应 用的方案。与m p e g 1 m p e g 一2 相比，m p e g 4 不仅是针对一定比特率下的视频、 音频编码，更加注重多媒体系统的交互性和灵活性。m p e g 4 标准主要适用于视 像电话( v i d e op h o n e ) ，视像电子邮件( v i d e oe m a i l ) 和电子新闻( e l e c t r o n i c n e w s ) 等，其传输速率要求低，在4 8 k - 6 4 k b w s 之间，分辨率为1 7 6 1 4 4 。m p e g 4 利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求用最少的数据获得最 佳的图像质量。 m p e g 4 技术包括两个主要部分“。1 ：视听对象的编码工具集和描述编码工具 和编码对象的句法语言。与传统的编码标准不同的是：接收者可以下载用于表示 视听信息的语法描述，并且具有很快被v l s i ( 超大规模集成) 技术所支持的特性。 m p e g 4 最基本的思想是基于对象的编码，编解码的基本单元是对象。对象 就是在一个场景中能够访问和操纵的实体。这种编码是一种基于内容的数据压缩 方式，以前的压缩算法只是去除帧内和帧间的冗余，m p e g 4 则要求对图像和视 频作更多的分析和理解。另外m p e g - 4 中对比特率的控制也可以基于对象，即使 是在低带宽的情况下，也可以利用码率分配方法，对于用户感兴趣的对象可以多 分配一些比特率，而对于用户不感兴趣的对象可以少分配一些比特率。这样图像 北京化工大学硕上学位论文 主观质量就可以得到保证。另外，m p e g 一4 在扩展性上具有很好的灵活性，可进 行时域和空域的扩展。它可根据现场带宽和误码率的客观条件，在时域或空域上 进行扩展，时域扩展是在带宽允许时在基本层上的增强层增加帧率，在带宽窄时 可在基本层中减少帧率，已达到充分利用带宽，使图像质量更好；在空域扩展时 是指对基本层中的图进行采用插值，增加或减少空间分辨率。 5 m p e g 一7 m p e g 一7 作为m p e g 家族中的一个新成员，正式名称叫做“多媒体内容描述 接口”( m u l t i m e d i ac o n t e n td e s c r i i ) l i ，i n t e r f a c e ) ，它将成为各种类型的多媒体信 息规定一种标准化的描述，这种描述与多媒体信息的内容本身在一起，支持用户 对其感兴趣的各种“资料”的快速、有效地检索。它的应用领域包括：数字化图 书馆、多媒体目录服务、广播式媒体选择和多媒体编辑等等。“。 6 h 2 6 4 j v t ( j o i n t v i d e o t e a m ，视频联合工作组) 于2 0 0 1 年1 2 月在泰 p a t t a y a 成立。 它由i t u t 和i s o 两个国际标准化组织的有关视频编码的专家联合组成。t 的工 作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良 好的网络适应性等目标。目前t 的工作已被i t u t 接纳，新的视频压缩编码标 准称为h 2 6 4 标准，该标准也被i s o 接纳，称为a v c ( a d v a n c e dv i d e oc o d i n g ) 标 准，是m p e g 一4 的第1 0 部分。 h 2 6 4 最具价值的部分无疑是更高的数据压缩比。在同等的图像质量条件下， h 2 6 4 的数据压缩比能比当i 猾d v d 系统中使用的m p e g 一2 高2 - 3 倍，比m p e g 一4 高 1 5 2 倍。正因为如此，经过h 2 6 4 压缩的视频数据，在网络传输过程中所需要的 带宽更少，也更加经济，h 2 6 4 是相当有前景的视频技术。 2 3 4 音频编码技术 与视频编码类似，音频编码也主要是通过合理的预测来降低传输的能量，这 样就会有比较好的压缩效果。目前主流音频编码方法有以下几种1 。 1 p c m 编码 p c m 脉冲编码调制是p u l s ec o d em o d u l a t i o n 的缩写。前面提到了p c m 大 致的工作流程，我们不需要关心p c m 最终编码采用的是什么计算方式，只需要 知道p c m 编码的音频流的优点和缺点就可以了。p c m 编码的最大的优点就是音 质好，最大的缺点就是体积大。常见的a u d i oc d 就采用了p c m 编码，一张光 盘的容量只能容纳7 2 分钟的音乐信息。 2 w a v e 第二章视频传输关键技术 这是一种古老的音频文件格式，由微软开发。w a v 是一种文件格式，符合 r i f f ( r e s o u r c ei n t e r c h a n g ef i l ef o r m a t ) 规范。所有的w a v 都有一个文件头，这个 文件头音频流的编码参数。w a v 对音频流的编码没有硬性规定，除了p c m 之外， 还有几乎所有支持a c m 规范的编码都可以为w a v 的音频流进行编码。 3 m p 3 编码 m p 3 作为目前最为普及的音频压缩格式，其发展已经有1 0 个年头了，它是 m p e g ( m p e g ：m o v i n gp i c t u r ee x p e r t sg r o u p ) a u d