（计算机应用技术专业论文）基于ip网络的远程数字实时监控系统研究.pdf

摘要 摘要 公共安全每人们的生活密不可分，而监控系统为人们提供了安全保证。视频监控系 统对于傈障工韭生产、人琵生活与社会安全具有重要意义。近年来，数字视频监控系统 已经成为监控领域的一个应用热点，例如，数字视频虢控为金融、商业、交通乃至住宅， 社区等领域安全防范和环境监控起到了不可忽视的作用。电信币在推动的全球眼，网通 的宽世界都是基于网络实时监控方案的。监控系统还能兼有协助管理的功能，能够有效 提高现代企业的管理水乎，有利于生产效率的提高，因此数字视频监控系统在现代社会 受到了广泛关注。在短短的十几年自j ，伴随着网络的发展与普及，视频监控系统历经本 地模拟监控和数字监控的发展已经到了网络数字视频监控阶段。 为了满足安防行业对远程实黠监控的需求，本文论述了一种基予i p 网络的远程数 字实时监控系统的设计与实现，系统采用双核结构的h 2 6 4 视频编码器，改善了视频编 码质量，提高了压缩比，降低了视频流数据量。使用基于目前现有的t c p i p 网络设计 了改进的刚r t c p 视频流实时传输协议栈传输数摆，很好的利用了现有网络资源，又 提高了网络的实时数据传输速率襄可靠性，解决了传统模拟监控系统数据量大、无法远 程传送的问题。本系统设计并实现了对现场的远程实时监控功能，是数字监控技术与现 代计算机网络技术、计算机多媒体技术的有机结合，它便于操作，有很强的实用性、先 进性与扩展性。 本文给出的监控系统主要围绕以下几点展开：系统的压缩编码标准h 2 6 4 、流媒体 与实时传输协议r t p l 盯c p 、系统总体设计、系统硬件结构设计和软件的设计与实现。 荚键词：嚣算机远程监控；数字实时监控；h 。2 6 4 ；流媒体；r t p r t c p 协议 人连交通人学l ：学硕卜7 何论艾 a b s t r a c t p u b l i cs a f e t yi si n s e p a r a b l ef r o mp e o p l e sl i f e ，a n dt h em o n i t o r i n gs y s t e mh a so f f e r e az s a f e t ya s s u r a n c et op e o p l e t h ev i d e om o n i t o r i n gs y s t e mh a v et h ei m p o r t a n tm e a n i n gt 0 。 s a f e g u a r di n d u s t r i a lp r o d u c t i o n ，t h el i v e so ft h ep e o p l ea n ds o c i a ls e c u r i t y i nr e c e n ty e a r s ，t h e d i g i t a lv i d e om o n i t o r i n gs y s t e mb e c a m ear e s e a r c hh o ts p o to ft h em o n i t o r i n gd o m a i n f o r e x a m p l e ，t h ed i g i t a l v i d e om o n i t o r i n ga l r e a d yb e c a m ei m p o r t a n tm e a n sf o rs a f ea n d m o n i t o r i n go ft h ed o m a i no ff i n a n c e ，t r a d e ，t r a n s p o r t a t i o na n de v e nh o u s i n g ，c o m m u n i t ya n d s oo n g l o b a le y ef o rt h ec h i n a - t e l e c o mi s b e i n gp r o m o t e d ，a n dw i d ew o r l df o rt h e c h i n a n e t c o mi s b e i n gp r o m o t e d ，a r ea l l b a s e do nt h en e t w o r kr e a l - t i m e m o n i t o r i n g s o l u t i o n a tt h es a m et i m e ，t h em o n i t o r i n gs y s t e mc a na l s oh a v et h ef u n c t i o nw h i c ha s s i s t st o m a n a g e ，c a nr a i s ee f f e c t i v e l yt h em o d e r ne n t e r p r i s e sm a n a g e m e n tl e v e l ，i sa d v a n t a g e o u si n t h ep r o d u c t i o ne f f i c i e n c ye n h a n c e m e n t ，t h e r e f o r et h ed i g i t a lv i d e om o n i t o r i n gs y s t e mh a s r e c e i v e dt h ew i d e s p r e a da t t e n t i o ni nt h em o d e r ns o c i e t y d u r i n gt e ns e v e r a ly e a r s ，f o l l o w i n g t h en e t w o r kd e v e l o p m e n ta n dt h ep o p u l a r i z a t i o n ，t h ev i d e om o n i t o r i n gs y s t e ma f t e rt h e d e v e l o p m e n to fl o c a ls i m u l a t i n gm o n i t o r i n ga n dt h ed i g i t a lm o n i t o r i n ga l r e a d ya r r i v e da tt h e n e t w o r kd i g i t a lv i d e om o n i t o r i n gs t a g e i no r d e rt os a t i s f yt h ed e m a n do fs a f e t yt r a d et or e m o t er e a l t i m em o n i t o r i n g , t h i sa r t i c l e e l a b o r a t e do n ek i n do ft h ed e s i g na n dr e a l i z a t i o no fr e m o t ed i g i t a lr e a l t i m em o n i t o r i n g s y s t e mb a s e do nt h ei pn e t w o r k ，t h es y s t e mu s e sh 2 6 4e n c o d e rw i t hd o u b l ec p us t r u c t u r e ， i m p r o v e dt h ev i d e os t r e a mq u a l i t y ，e n h a n c e dt h ec o m p r e s s i o nr a t i o ，r e d u c e st h ev i d e os t r e a m d a t aq u a n t i t y i td e s i g n e dt h ei m p r o v e dr t p r t c pv i d e os t r e a mr e a l t i m et r a n s m i s s i o n p r o t o c a ls t a c kt h a tb a s e do np r e s e n te x i s t i n gt c p i pn e t w o r kt r a n s m i t sd a t a ，h a sg r e a t l yu s e d t h ee x i s t i n gn e t w o r kr e s o u r c e ，a l s or a i s e dt h en e t w o r kr e a l t i m ed a t at r a n s m i s s i o ns p e e da n d t h er e l i a b i l i t y ，s o l v e dt h et r a d i t i o n a ls i m u l a t i o nm o n i t o r i n gs y s t e mt h eq u e s t i o no f d a t a q u a n t i t y ，u n a b l et om a k et h er e m o t et r a n s m i s s i o n t h i ss y s t e mh a sd e s i g n e da n dr e a l i z e d r e m o t er e a l t i m em o n i t o r i n gf u n c t i o nt ot h es c e n e ，i so r g a n i cs y n t h e s i so ft h ed i g i t a l m o n i t o r i n gt e c h n o l o g y ，t h em o d e r nc o m p u t e rn e t w o r kt e c h n o l o g y a n dt h e c o m p u t e r m u l t i m e d i at e c h n o l o g y ，i ti se a s yt oo p e r a t e ，h a st h ev e r ys t r o n gu s a b i l i t y ，t h es o p h i s t i c a t i o n a n dt h ee x t e n s i o n t h em o n i t o r i n gs y s t e mt h a th a sb e e ng i v e ni nt h i sa r t i c l em a i n l yo nt h ef o l l o w i n gs e v e r a l s p o t st ol a u n c h ：s y s t e m sc o m p r e s s e de n c o d i n gs t a n d a r dh 2 6 4 ，t h es t r e a mm e d i aa n d r e a l t i m et r a n s m i s s i o np r o t o c a lr t p r t c p ，t h es y s t e mw h o l ed e s i g n ，t h eh a r d w a r es t r u c t u r e d e s i g na n ds o f t w a r e sd e s i g na n dr e a l i z a t i o n 摘要 k e yw o r d s ：c o m p u t e rr e m o t em o n i t o r i n g ：d i g i t a lr e a l - t i m em o n i t o r i n g ：h 2 6 4 ： s t r e a mm e d i a ；r t e f r t c pp r o t o c o l ： i i i 大连交通大学学位论文版权使用授权书 本学位论文作者完全了解太重塞通太堂有关保护知识产权及保 留、使用学位论文的规定，即：研究生在校攻读学位期间论文工作的 知识产权单位属太整塞通太堂，本人保证毕业离校后，发表或使用 论文工作成果时署名单位仍然为太蓬塞通太堂。学校有权保留并向 国家有关部门或机构送交论文的复印件及其电子文档，允许论文被查 阅和借阅。 本人授权太整銮通太堂可以将学位论文的全部或部分内容编入 中国科学技术信息研究所中国学位论文全文数据库等相关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 、 又。 ( 保密的学位论文在解密后应遵守此规定) 学位论文作者签名：渌善薏 日期：妒c 1 年月甲日 导师签名：姊涉生 l 嗍：1 年 月争日 l 学位论文作者毕业后去向： 工作单位：腼、嵌：军饲，仰莨定螫纠诹f 酏司电话：惭力知夕陆j 通讯地址：休侦黔i 】呻砬角盈投曰 邮编： 谚均 电子信箱： k 刊一均q 圳，已们 大连交通大学学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢及参考 文献的地方外，论文中不包含他人或集体已经发表或撰写过的研究成 果，也不包含为获得太整塞通太堂或其他教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在 论文中作了明确的说明并表示谢意。 本人完全意识到本声明的法律效力，申请学位论文与资料若有不 实之处，由本人承担一切相关责任。 学位论文作者签名： 啄善麓、 日期： k 。3 年月铲日 绪论 绪论 一本课题研究背景 公共安全与人们的生活密不可分，而监控系统为人们提供了安全保证。在西方国家， 尤其是继美国9 1 1 事件以来，人们的公共安全更加依赖一种全方位的、实时的监控设备。 最早的视频监控系统是全模拟的视频监控系统，也称闭路电视监控系统( c a ) 。图 像信息采用视频电缆，以模拟方式传输，一般传输距离不能太远，主要应用于小范围内 的监控，监控图像一般只能在控制中心查看。全模拟视频监控系统以模拟视频矩阵和磁 带式录像设备v c r 为核心，一般由前端设备、传输电缆、切换控制设备以及显示设备 几个部分组成。正因为传统的模拟监控系统在铜缆介质上传输基带视频信号，具有传输 距离短、抗干扰能力差、图像存储检索不方便等缺点，已越来越不能适应当今数字化时 代的发展要求。 随着视频压缩技术以及计算机网络和通讯技术的不断发展，特别是网络带宽的不断 提高，使得可以克服模拟监控系统缺点的数字视频监控系统应运而生，并使它的不断拓 展成为现实和需要。数字化网络视频监控系统，是指监控系统的输入、控制、显示、存 储这四大部分均采用数字化图像压缩处理技术。它的另一特点是经过数字化压缩处理的 图像，可利用现有的网络技术，将现场图像传输到远端监控中心，然后进行监控和报警 处理。可以说数字化网络视频监控系统的两大技术核心就是图像压缩存储技术和网络传 输技术，围绕这两种技术在网络视频监控系统中的应用，就是数字化网络视频监控发展 的历程。 现在，数字视频监控已经成为金融、商业、交通乃至住宅、社区等领域安全防范的 重要手段，为这些行业的安全防范和环境监控起到了不可忽视的作用。学校、银行、车 站等地方都采用了数字化网络监控方案。国内这种趋势也越来越明显，电信正在推动的 全球眼，网通的宽世界都是基于网络实时监控方案的。并且，监控系统还能兼有协助管 理的功能，能够有效提高现代企业的管理水平，有利于生产效率的提高，因此数字视频 监控系统在现代社会受到了广泛关注。伴随着网络的普及，视频监控系统历经本地模拟 监控和数字监控的发展已经到了网络数字视频监控阶段。 1 国内现状 我国监控系统的发展是从上个世纪7 0 年代开始的，也经历了早期的一对一监视系 统、到多路切换控制系统、微处理器系统、多媒体监控系统，发展到现在的数字视频监 控系统。总的来说，视频监控市场经历了模拟监控、数字监控及网络化数字监控三个主 人造交通人。学l 学硕卜学何论史 要阶段。根据i d c 的市场调研，在过去的三年中，作为第一代视频监控技术的模拟监控， 由于在图像质量、监控范围上具有较大的局限性，市场份额已经遭受了较大程度的萎缩。 并且，中国视频监控市场受到“平安城市”项目、奥运安防项目以及各地、各行业安防 项目需求加速增长等因素的强劲刺激和拉动，数字视频监控系统的市场规模迅速扩大。 2 0 0 7 年，中国视频监控市场的总体规模已达1 8 1 亿美元，且未来将持续而稳定的快速发 展。伴随着市场的快速发展，浮现出了相应的问题与挑战，然而在这一过程中，也创造 了相应的机遇。 2 国外现状 国内数字监控发展之初是依赖于进口的国外芯片，所以国外发达国家的监控系统的 发展要早于国内。尤其是继美国9 1 1 事件以来，公共安全更加与人们的生活密不可分， 人们的公共安全更加依赖一种全方位的、实时的监控设备。根据j p f r e e m a na n d c o ，i n c 的分析，2 0 0 5 年全球网络视频市场将达到7 9 亿美元。目前在美国安装的模拟 摄像机超过2 0 0 0 万，其中1 5 0 万个是2 0 0 2 年出售的，到2 0 0 7 年网络摄像机已经占用 了全部摄像机市场的半以上1 1 1 。由于技术上的进步，基于i p 的网络视频监控系统逐渐 呈现出竞争力，美国等带宽资源丰富的国家的应用更多。 二网络数字监控的优势性以及现存问题 1 网络数字监控系统的优越性 网络数字监控系统的优越性有如下几个方面： ( 1 ) 网络足在计算机的基础上建立起来的，将画面分割、多画面混合、远程访问、 视频图像的记录全部集成在数字视频服务器中。视频摄像机只需要直接连到数字视频服 务器的接口即可，比模拟系统需要安装多个设备和通过电缆互连进行配置要容易许多弘j 。 ( 2 ) 网络数字视频监控系统提供远程访问能力，这意味着从世界上任何有通信线路 的地方，用户能够通过一个网络连接到他们的数字视频服务器【2 j 。 ( 3 ) 网络数字视频监控系统以数字监控主机为操作中心，通过监控软件来实现系统 的智能化控制，可以通过软件的控制，快速追踪最新通讯技术发展，并可以控制云台等 前端设备，可以更清楚的看到您想要看的活动场景。 ( 4 ) 可靠性是选择数字视频监控系统而不选择模拟视频监控系统的另一个关键因 素。数字监控系统把监控录像保存在大容量硬盘上，数字信号长期存储信息永不丢失， 图像质量不下降。它的运行是完全自动的，不需要人去介k 到。数字视频经过压缩后占 用带宽小，且数字信号在传输时容易进行加密，非法截取的信号无法还原为视频图像。 2 绪论 ( 5 ) 数字视频监控系统的潜在效益要比模拟视频监控系统大得多1 2 1 。系统设备立足 于用户对整个系统的具体要求，最大限度地发挥投资的效益，充分考虑软件、硬件技术 的成熟性和性能价格比，注重实用性；系统标准化模块化，易于升级和扩展。 2 现存问题 基于i p 网络的远程数字视频监控是现阶段研究的热点，他的特征性优点是可以远程 传输，应用前景广阔。然而，中国视频监控市场在快速发展的过程中，却也面临相应的 挑战，中国视频监控市场存在以下几方面的问题： 第一、目前中国的监控产品达到实用水平的不多，尤其是具有跨平台能力的产品尚 未发现，各厂家的产品( 编解码器码流) 不兼容。行业内仍然缺乏统一的具有强制约束 力的国家标准。中国市场仍存在国家标准与区域标准并存、不同的厂商联盟标准并存等 现象，并且缺乏有效的项目监管和检测机制。 第二、行业用户具体需求与项目实施之间存在一定的难度。视频监控系统将进一步 深入行业应用的具体需求。然而，在用户对于视频监控系统期望不断提升的同时等在项 目实施以及成本控制方面仍然存在一定的问题。 第三、对于网络视频在监控上的应用，人们最关心的是网络带宽对图像传输效果的 影响和网上信息安全保密问题。据第十四次c n n i c 调查结果显示，在我国拨号上网是 到目前为止用户上网的主要方式【3 1 。这就造成了网络带宽较小，传输视频流困难。这些 问题也是制约网络视频监控发展的瓶颈。 三本文主要工作及结构 基于网络的数字视频监控系统是一个涉及到计算机硬件、软件和网络等各方面技术 的综合集成系统。本文在利用数字监控原理进行设计的基础上提出了一种新型的基于i p 网络的远程数字实时监控系统的组网结构以及系统硬件和软件的设计与实现，并对所运 用的关键技术进行分析和介绍，同时在对系统关键技术深入研究的基础上进行了一定的 系统优化，使其更有利于视频监控。 我在本次课题中主要在h 2 6 4 视频压缩标准的理论研究及其在数字视频监控系统中 的应用、流媒体技术及系统所运用的传输协议介绍、系统总体设计以及系统的软硬件模 块设计和整合等方面做了一些工作，最后对数字监控的载体网络传输协议做了一定 的改进优化，使其传输效率得到了提高，从而更加适合网络传输及实时监控。系统设计 中，考虑了大量视频数据的实时处理、存储以及数据的实时传输等关键因素，本系统所 采用的芯片可以改善视频编码质量，所采用的传输协议可以提高网络的实时数据传输速 率。 人迎交通人学i ：。硕 j 。学f 亏论文 论文组织结构及主要内容： 绪论绪论介绍了课题的研究背景、意义、视频监控技术的发展历程，国内外的发 展现状以及本文的主要研究内容等。 第一章对系统采用的视频压缩编码标准h 2 6 4 进行理论研究和介绍，对其中的关 键技术h 2 6 4 的层次结构、h 2 6 4 的编解码器结构及工作原理等进行详细介绍与分析， 并对图像显示技术d i r e c t d r a w 进行了介绍。 第二章对流媒体和系统中采用的传输协议进行分析和介绍，详细介绍了流媒体的 概念、流媒体的传输原理、传输协议、流媒体的q o s 以及播放方式；详细介绍了传统的 传输协议t c p i p 以及实时传输协议r t p r t c p 。 第三章简要介绍设计本系统的优势，进行系统组网结构的设计，介绍系统的工作 原理，并分别介绍系统的各个子系统以及软硬件的分工。 第四章本章主要介绍系统硬件部分的设计与实现，把系统硬件部分分为视频采集 模块、视频压缩模块、视频存储模块、网络传输模块以及视频解压缩模块分别进行设计 和实现。 第五章本章主要介绍系统软件部分的设计与实现，把系统软件部分分为服务器、 客户端以及传输模块三部分分别进行设计与实现，并对系统传输协议栈进行了优化改 进，最后对系统进行测试，证明实验结果可靠。 结论总结课题研究，指出研究的缺陷与不足，并展望作者的下一步工作。 4 第一章数字图像斥缩j 显示技术 第一章数字图像压缩与显示技术 数字监控与模拟监控系统中的标志性区别是：数字视频监控系统采用编解码器对数 据信号进行压缩和解压缩，视频编解码技术成为远程实时监控中的关键技术之一，所以 数字监控系统的图像处理技术是本系统用到的关键技术之一，具有重要的意义。结合网 络传输技术，本文设计并实现了一种基于h 2 6 4 的远程数字实时监控系统。本节旨在对 h 2 6 4 视频编码标准和图像显示技术进行分析和研究。 1 1h 2 6 4 简介 h 2 6 4 是国际电联最新通过的新一代甚低码率视频编码标准。h 2 6 4 和以前的标准 一样，也是d p c m 加变换编码的混合编码模式。但它采用“回归基本 的简洁设计， 不用众多的选项，获得比h 2 6 3 + + 好得多的压缩性能；加强了对各种信道的适应能力， 采用“网络友好 的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，以 满足不同速率、不同解析度以及不同传输( 存储) 场合的需求【4 j 。 技术上，h 2 6 4 集中体现了当今国际编码技术的最新成果：在同等视觉品质下，压 缩比平均至少提高5 0 ；对网络传输具有更好的支持功能，支持交互式应用所需的低延 迟模式，支持随机帧索取，支持可变码率，支持多种分辨率；对信道时延的适应性强， 既可工作于低时延模式以满足实时业务，如会议电视等，又可工作于无时延限制的场合， 如视频存储等：具有较强的抗误码性能，可适应于不同网络中的视频传输，网络亲和性 好；在编码器和解码器中采用复杂度可分级设计，在图像质量和编码处理之间可分级， 以适应不同复杂的应用1 4 。 h 2 6 4 以其低码流、高质量的图像、容错能力强和网络适应性强等特点将会在远程 视频监控系统中的应用越来越广泛。h 2 6 4 标准实现编解码的压缩效率高，而且对网络 传输具有更好的支持功能，但是h 2 6 4 在提高编码效率的同时，其算法复杂度也大有提 高，因而要满足图像压缩的实时性要求，需要对现有的h 2 6 4 编解码器进行优化。从长 远来看，h 2 6 4 是未来发展的方向1 5 j 。 1 2h 2 6 4 的层次结构 视频的各种应用必须通过各种网络传送，这要求一个好的视频解决方案能处理各种 应用和网络接口。h 2 6 4 a v c 为了解决这个问题，提供了很多灵活性和客户化特性。 h 2 6 4 a v c 的设计方案包含两个层次，视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网 络抽象层( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 。视频编码层主要致力于有效地表示视频 5 人造交通人。z 硕 j 学f 妒沦交 内容，例络抽缘层格式化v c l 视频表示，提供头部信息，适合多种传输和存储媒体。 这样的结构便于信息的封装和对信息进行更好的优先级控制。图1 1 为h 2 6 4 的分层结 构图【6 j 图1 1h 2 6 4 分层结构 f i g 1 1h 2 6 4h i e r a r c h i c a ls t r u c t u r e 视频编码层独立于网络，分为v c l 编码器和v c l 解码器，负责高效的表示视频内容， 主要包括运动补偿、变换编码、熵编码等编码压缩单元，以及基于块的运动补偿混合编 码和块、宏块和片的语法句法定义等一些新特性。 1 3h 2 6 4 编码与解码器 1 3 1h 2 6 4 编码器结构及原理分析 h 2 6 4 编码器，经过帧问和帧内预测、d c t 变换、量化、环路滤波、熵编码，最终 将数字信号压缩成最终码流，详细流程如图1 2 所示1 7 l ： 6 第一章数字图像j i 缩。j 显示技术 图1 2h 2 6 4 a v c 编码器结构 f i g 1 2h 2 6 4 a v ce n c o d e rs t r u c t u r e h 2 6 4 a v c 编码器结构原理分析： 正向编码路径： 输入帧f n 为待编码图像帧。帧是以宏块为单位进行处理( 与原始的图像的1 6 x 1 6 映 象点相应) 。每个宏块都是通过帧内或帧间预测的模式编码。这两种模式都是基于一个 重构帧，形成预测宏块p 。在帧内预测模式下，p 是参考当前帧其他宏块n 的重构帧( 及 被编码解码和重构的宏块，在图的u f n ；注意未过滤的样品被用于形成p ) 形成。在帧 问预测模式下，p 通过参考一个或更多参考帧，通过运动补偿的方式形成的。在图表中， 参考帧为f n 1 ，即是前一个被编码的帧；然而，每个宏块的预测可能从一个或两个重 构的过去和将来( 时间序列) 帧被形成。 预测帧p 通过去掉冗余数据，保留不同内容，形成残差数据d n 。这些残差通过一 系列量化系数x 进行变换( 使用块变换) 。这些系数被重新定义，并进行熵编码。当然 这些系数还包括宏块预测模式，量化步长，运动矢量信息描述宏块怎样被运动补偿等， 在解码时也要用到，因此，要求的这些信息也要放到码流中。并通过网络抽象层( n a l ) 传输或存贮的。 重构路径： 为了构造进一步编码所需要的重构帧，量化宏块系数x 被解码。通过系数x 进行反 量化( q 1 ) ，并且反向变换( r 1 ) 生产一个不同的宏块d n 。这与原始的不同宏块d n 是不 7 人迎变通人l ：。学硕卜学忙沦丈 棚i 州的：量化过程对精度是有损的，并且因此d n 和d n 的内容不会完全一致。预测宏 块p 增加到d n 创造一被重构的宏块u f n ( 一被变形的原始的宏块的版本) 。通过滤波可 以减少块变形的影响，一系列宏块f n 就可以组成个完整的重构帧。 1 3 2h 2 6 4 解码器结构及原理分析 h 2 6 4 解码器经过反量化、反d c t 变换、运动补偿将码流还原成图像，详细流程如 图1 3 所示 叵) 一吨孙帧问 图1 3h 2 6 4 a v c 解码器结构 f i g 1 3h 2 6 4 a v cd e c o d e rs t r u c t u r e h 2 6 4 a v c 解码器结构原理分析： 解码器从n a l 接收压缩后的码流。数据元素通过熵解码和重新排序得到一系列量 化系数x 。这些数据通过反量化和反d c t 变换形成d n ( 这相同与在编码流程中的d n ) 。 使用码流中的一些关键信息，解码器创造一预测宏块p ，相同与编码过程中的预测p 。p 叠加到d n 产生解码块宏块u f n ，u f n 滤波后就是完整的解码图像。 通过上面的图和说明，我们可以非常清晰的看到，编码器的重构路径讨论可以保证 编码器和解码器使用相同的参考帧去创造预测帧p 。如果不这样，那么在编码器和解码 器的预测帧p 将是不相同的，导致在编码器和译码器之问的增长的错误或趋势。 1 4h 2 6 4 的其他相关标准 h 2 6 4 除了以上的一些技术亮点外，还有以下的一些相关技术标准【神l ： 帧内预测编码( i n t r a p r e d i c t i o n ) ：帧内编码用柬缩减图像的空间冗余。 帧l b j 预测编码( i n t e r p r e d i c t i o n ) ：与以往的标准一样，h 2 6 4 帧问预测编码使用运 动估计和运动补偿来消除时间冗余。 8 第一章数芦i 剞像脏缩o j 显示技术 整数变换和量化( t r a n s i t i o na n dq ) ：h 2 6 l 中建议的整数变换实际上接近于4 x 4 的d c t 变换，整数的引入降低了算法的复杂度，也避免了反变换的失配问题，4 x 4 的块 可以减小块效应。 熵编码( e n t r o p y e n c o d i n g ) ：视频编码处理的最后一步就是熵编码，h 2 6 4 提供了 c a v l c ( 基于上下文的自适应可变长编码) 和c a b a c ( 基于上下文的自适应二进制算 术编码) 两种方式的熵编码。c a v l c 用于亮度和色度残差数据的编码。 抗误码技术：h 2 6 4 新标准采用了多种用于增强压缩视频流抗误码能力的编码技术， 以保证恢复视频流的质量。在h 2 6 4 中主要使用了3 种新的抗误码技术：参数集、灵活 的宏块排列次序( f m o ) 和冗余片技术1 1 0 l 。 去块滤波：基于块编码的压缩算法的特点是偶尔产生可见的块结构，由于块边沿的 精度比内部差，块效应是目前压缩算法的常见人工瑕疵。h 2 6 4 a v c 定义了一个自适应 循环滤波器，滤波的强度通过几个语法元素控制。 1 5h 2 6 4 在视频会议中的应用 目前，大多数的视频会议系统均采用h 2 6 1 或h 2 6 3 视频编码标准，而h 2 6 4 的出 现，使得在同等速率下，h 2 6 4 能够比h 2 6 3 减小5 0 的码率。也就是说，用户即使是 只利用3 8 4 k b i t s 的带宽，就可以享受h 2 6 3 下高达7 6 8 k b i t s 的高质量视频服务。h 2 6 4 不但有助于节省庞大开支，还可以提高资源的使用效率，同时令达到商业质量的视频会 议服务拥有更多的潜在客户。 目前，已经有少数几家厂商宣布其视频会议产品支持h 2 6 4 协议，厂商们致力于普 及h 2 6 4 这个全新的业界标准。随着其它视频会议方案厂商陆续效仿他们的做法，我们 必将能全面体验h 2 6 4 视频服务的优势。 l 6d i r e c t d r a w 图像显示技术 经过解码后的视频图像需要在p c 上进行显示，系统的视频数据实时显示模块的设计 采用d i r e c t d r a w 技术，d i r e c t d r a w 技术是p c 机上的一种高效的图像显示技术。d i r e c t d r a w 是微软公司开发的一套图形处理接口，是d i r e c t x 技术的核心。它的使用方式与w i n d o w s 图形处理设备接口( g d i ) 类似，并且能够兼容g d i ，性能却远超g d i 。 d i r e c t d r a w 是为了提供更高性能的图形显示处理功能而开发出来的产品。 d i r e c t d r a w 是m i c r o s o f td i r e c t x d k 的主要部分之一，其概念类似于“直接写屏”。它允 许应用程序直接访问硬件和显示内存，直接对显示内存操作，支持硬件位块传输、硬件 覆盖、表面翻转，并且保持同口前的基于w i n d o w s 的应用程序和驱动程序兼容，通过该 9 人迕瓮通人# i z 硕 j 学f 汀论文 技术可加速图像的显示。d i r e c t d r a w 是一种软件接 ，它除了能直接对显示设备存取外， 还保持同w i n d o w s 图形设备接口g d i 兼容。d i r e c t d r a w 提供了一种设备无关性的方法， 使得基j ：w i n d o w s 的应用软件能直接获取显示设备的特性1 1 1 l 。 d i r e c t d r a w 最重要的一点在于它对不同的显示适配器具有一个共同的接口，利用包 含在硬件抽象层( h a l ) 的信息来决定显示适配器的功能。h a l 是由显示适配器厂商提 供的，它为不同的硬件厂一商所使用，d i r e c t d r a w 的丌发者为其提供了共同的接口。 d i r e c t d r a w 提供了以下一些以自仃只有通过对特定显示设备编写专门的代码才能获得 的好处1 1 2 j ： 1 、d i r e c t d r a w 能工作于各种各样的显示设备，从简单的s v g a 显示器到能够提供剪 切、拉伸和非r g b 格式支持的高级显示设备。 2 、d i r e c t d r a w 运行在w i n d o w s 2 0 0 0 x p 上，能够利用3 2 位内存的优越性和操作系统 提供的“平坦”内存模型。 3 、d i r e c t d r a w 可在全屏模式下应用多个后台缓冲区的页翻转。 4 、支持窗口模式和全屏模式下的剪切功能。 5 、支持三维z 缓冲区。 6 、支持由硬件参与的有深度信息的覆盖操作。 7 、提供对图像拉伸的硬件的存取。 8 、同时使用显示设备的标准和增强内存区域。 9 、动态调色板、独占式的硬件访问、分辨率切换等。 本章小结 本章从系统采用的压缩编码标准h 2 6 4 的简介开始，介绍了h 2 6 4 的编解码器结构 及编解码原理，介绍了h 2 6 4 的分层结构，以及h 2 6 4 在视频会议中的应用；在系统设 计部分采用了基于h 2 6 4 的编解码芯片h i 3 5 1 0 ，优化了系统的性能和兼容性。本章第二 部分对d i r e c t d r a w 图像显示技术进行了介绍，d i r e c t d r a w 技术是系统图像显示所运用的 技术。 l o 第：章流媒体及数字视频网络传输技术 2 1 流媒体技术 第二章流媒体及数字视频网络传输技术 2 1 1 流媒体技术概述 流媒体是一种新的媒体传送方式，是指编码后的多媒体数据通过网络实时的发送、 传输、接收、解码并播放的过程；是指在i n t e m e f f i n t r a n e t 中使用流式传输技术的连续时 基媒体【1 3 l ，如：音频、视频或多媒体文件。 在视频监控领域里面，一项重要的功能就是将对各个监控终端进行录像。录像文件 保存在数字录像服务器上，客户端如果想实时查看监控录像并将录像文件下载到本地则 需要流媒体技术作为支持保障。 因此，在我们的视频监控系统中的数字录像服务器就“扮演”着流媒体服务器的角 色，它将录像文件保存在服务器上，当远端客户选看录像时它就提供边下载边放像的功 能。流媒体技术具有十分广泛的应用领域，如在线直播、网络广告、视频监控、视讯点 播、远程教育等。 流媒体传输技术研究的内容主要包括：编码技术、传输协议和服务质量( q o s ) ，研 究。本系统的编码标准采用h 2 6 4 标准，传输协议和服务质量( q o s ) 下面章节将详细 介绍。 2 1 2 流媒体技术原理 流式传输的实现需要缓存。因为i n t e r n e t 以包传输为基础进行断续的异步传输，对 一个实时a v 源或存储的a v 文件，在传输中它们要被分解为许多包，由于网络是动 态变化的，各个包选择的路由可能不尽相同，故到达客户端的时间延迟也就不等，甚至 先发的数据包还有可能后到。为此，使用缓存系统来弥补延迟和抖动的影响，并保证数 据包的顺序诉确，从而使媒体数据能连续输出，而不会因为网络暂时拥塞使播放出现停 顿。通常高速缓存所需容量并不大，因为高速缓存使用环形链表结构来存储数据：通过 丢弃已经播放的内容，流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内 容。流式传输的实现需要合适的传输协议。由于t c p 需要较多的开销，故不太适合传 输实时数据。在流式传输的实现方案中，一般采用h t t p t c p 来传输控制信息，而用 r t p u d p 来传输实时声音数据1 1 3 l 。其基本原理如图2 1 所示。 人连交通人。l 。7 ：硕 学忙论支 图2 1 流式传输原理图 f i g 2 1s t r e a m i n gt r a n s m i t t i n gp r i n c i p l e 流式传输的过程描述如下【1 4 j ：( 1 ) 用户选择某一流媒体服务后，w e b 浏览器与 w e b 服务器之间使用h t r p t c p 交换控制信息，以便把需要传输的实时数据从原始信息 中检索出来；然后客户机上的w e b 浏览器启动a v p l a y e r 程序，使用h t r p 从w e b 服 务器检索相关参数对p l a y e r 程序初始化。这些参数可能包括目录信息、a v 数据的编码 类型或与a v 检索相关的服务器地址。( 2 ) a p l a y e r 程序及a v 服务器运行实时流 控制协议( r t s p ) ，以交换a v 传输所需的控制信息。与c d 播放机或v c r s 所提供 的功能相似，r t s p 提供了操纵播放、快进、快倒、暂停及录制等命令的方法。( 3 ) a 服务器使用r t p 邶d p 协议将a v 数据传输给a v 客户程序( 一般可认为客户程序 等同于h e l p e r 程序) ，一旦a v 数据抵达客户端，a 客户程序即可播放输出。 需要说明的是，在流式传输中，使用r t p 刖d p 和r t s p t c p 两种不同的通信协议 与a 服务器建立联系，是为了能够把服务器的输出重定向到一个不同于运行 a ，v h e l p e r 程序所在客户机的目的地址。实现流式传输一般都需要专用服务器和播放器。 2 1 3 流媒体传输协议 流媒体文件在i n t e r n e t 传输除了需要有基本的t c p f i p 协议的支持外，还需要有流媒体 传输控制、媒体数据传送、媒体播放控制等协议的支持下才能安全、准确地从网络服务 器端抵达客户端。 r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 即实时流传输协议，用于i n t e r n e t h 针对多媒体数 据流的一种传输协议。r t p 被定义为在一对一或一对多的传输情况下工作，其目的是提 供时| 日j 信息和实现流同步。 r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 即实时流传输控制协议，它和r t p 协议 一起提供流量控制和拥塞控制服务。r t c p 包中含有已发送数据包的数量、丢失数据包 1 2 第：章流媒体及数字视频网络传输技术 的数量等统计资料，服务器可以利用这些信息动念地改变传输速率，甚至改变有效载荷 类型。 r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 且 1 实时流协议，是由r e a ln e t w o r k s 和n e t s c a p e 共 同提出的，该协议定义了一对多应用程序如何有效地通过i p 网络传送多媒体数据。r t s p 在结构上位于r t p 和r t c p 协议之上，它使用t c p 或r t p 完成数据传输。 s d p ( s e s s i o nd e s c r i p t i o np r o t o c 0 1 ) f l u 媒体描述协议，它是服务器端生成的描述媒体 文件的编码信息以及所在服务器的连接等信息。客户端可以通过它来配置播放软件的设 置，如视音频解码器，接受视音频数据的端口等。 r s v p ( r e s o u r c er e s e r v ep r o t o c 0 1 ) 最1 资源预定协议，由于音频和视频数据流比传统数 据对网络的延时更敏感，要在网络中传输高质量的音频和视频信息，除带宽要求之外， 还需要其他更多的条件，使用r s v p 协议可以预留一部分网络资源( 带宽) ，能在一定程度 上为流媒体的传输提供q o s