（检测技术与自动化装置专业论文）基于arm平台的嵌入式数字视频监控技术研究.pdf

哈尔滨t 程大学硕士学位论文 摘要 数字视频监控系统是一门集计算机技术、通信技术和数字视频技术于一 体的综合系统，它充分利用大规模集成电路和网络的科技成果，体积小巧、 性能稳定、通讯便利，被广泛应用于交通、银行、医院、视频会议、无人监 控等诸多领域。 本系统基于a r m 微处理器平台，移植嵌入式l i n u x 操作系统，并完成 视频采集、压缩、传输等任务。为降低产品成本，系统采用a r m 9 微处理器 $ 3 c 2 4 1 0 作为主处理器，以u s b 摄像头作为视频采集设备，用软件对视频数 据进行m p e g - 4 压缩。 论文首先从整体上分析了嵌入式数字视频监控系统的总体设计方案，给 出了硬件框架和软件体系。其次在a r m 硬件平台成功构建了a r m l i n u x 嵌入 式系统，包括引导程序b o o t l o a d e r 的设计、修改配置l i n u x 内核以及制作j f f s 2 文件系统，完成u s b 数码摄像头的驱动o 在应用程序开发过程中，设计了基 于v i d e 0 4 l i n u x 的视频采集程序，采用m m a p ( 内存映射) 方式截取图片，分 析了m p e g - 4 编码模型x v i d 程序中的运动估计部分，研究了半像素快速搜 索算法，从而减少了搜索点数提高了运算速度。最后利用开源j r t p l i b 库实 现视频数据流的r t p 传送。 整个设计是在s 3 c 2 4 1 0 硬件平台上进行的，采用2 4 1 8 版本的l i n u x 内 核。其中m p e g - 4 编码优化测试是在a r md e v e l o p e rs u i t e ( a d s ) v e r s i o n l 2 中完成的。 本课题为在a r m 平台实现数字视频监控的设计做了有益的探索性尝试， 对今后进一步完成远程嵌入式视频监控系统的设计有着积极的意义。 关键词：数字视频监控；a r m ；l i n u x ；m p e g - 4 哈尔滨丁程大学硕+ 学位论文 a b s t r a c t d i g i t a lv i d e om o n i t o r i n ga n dc o n t r o ls y s t e mi s ai n t e g r a t e dt e c h n o l o g y , i n c l u d i n gc o m p u t e r , c o m m u n i c a t i o na n dd i g i t a lv i d e ot e c h n o l o g y , t a k i n g f u l l a d v a n t a g eo fl s ia n dn e t w o r k so fs c i e n t i f i ca n dt e c h n o l o g i c a la c h i e v e m e n t s ，t h e e m b e d d e dv i d e os u r v e i l l a n c es y s t e ma c h i e v e sv o l u m ed e l i c a t e ，p e r f o r m a n c e s t a b i l i t y , f a c i l i t a t et h es u r v e i l l a n c eo fc o m m u n i c a t i o n s ，w h i c hi su s e di nt r a f f i c ， b a n k ，h o s p i t a l ，v i d e oc o n f e r e n c e ，a u t o m a t i cm o n i t o rs y s t e ma n ds oo n t h ep r o j e c ti si na na mm i c r o p r o c e s s o rp l a t f o r m ，p o r t i n ge m b e d d e dl i n u x s y s t e mi ni t i tc o m p l e t e sv i d e oc a p t u r i n g ，c o m p r e s s i o n , t r a n s m i s s i o na n dc o n t r o l t a s k s t ol o w e rt h ec o s to f p r o d u c t s ，s y s t e mu s e sa r m 9 ( $ 3 c 2 4 1 0 a ) a st h em a i n p r o c e s s o r , u s bw e b c a ma sv i d e oc a p t u r i n ge q u i p m e n t ，a l s ou s e ss o f t w a r et o c o m p r e s st h ev i d e od a t ew i m m p e g 一4 a tf i r s t ，t h ea r t i c l e a n a l y z e dad e s i g np l a n o fe m b e d d e dd i g i t a lv i d e o s u r v e i l l a n c ef r o mt h ew h o l e ，i n t r o d u c e dt h eh a r d w a r ea n dt h es o f t w a r es y s t e m n e x tc o n s t r u c t e da r m l i n u xi nt h ea r mh a r d w a r ep l a t f o r ms u c c e s s l yi n c l u d i n g b o o t l o a d e rd e s i g n ，c o n f i g u r i n gl i n u xk e r n e la sw e l la sj f f s 2f i l es y s t e m i no r d e r t oc o m p l e t en e x tw o r k , t h ep a p e rh a sr e a l i z e dt h ed r i v e ro fu s bc a m e r a i nt h e a p p l i c a t i o np r o g r a m m i n g ，h a sf i r s td e s i g n e dv i d e og a t h e r i n gp r o g r a mb a s e do nt h e v i d e 0 4 l i n u x ，a n du s e sm m a p ot oc a p t u r e n e x th a se m p h a s i s l ya n a l y z e dx v i d c o d e ，m p e g 一4m o d u l e ，a n do p t i m i z i n gt h ec o d eo fm o v e m e n te s t i m a t ep a r t f i n a l l yu s e sj r t p l i bt oc a r r yv i d e os t r e a m a l ld e s i g ni sb a s e do n $ 3 c 2 410h a r d w a r ep l a t f o r m l i n u xk e r n e lv e r s i o ni s 2 4 18 a d s1 2 ( a r md e v e l o p e rs u i t e ) i su s e dt e s t i n gm p e g - 4c o d e t h ep a p e r h a sm a d et h eb e n e f i c i a le x p l o r a t i o nr e a l i z ed i g i t a lv i d e os u r v e i l l a n c es y s t e mb a s e d o na r m ，a n dh e l pt of u r t h e rs t u d yo ne m b e d d e dd i g i t a lv i d e os u r v e i l l a n c es y s t e m k e yw o r d s ：d i g i t a lv i d e om o n i t o r i n ga n dc o n t r o l ；a r m ；l i n u x ；m p e g - 4 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由作 者本人独立完成的。有关观点、方法、数据和文献的引用已在文中 指出，并与参考文献相对应。除文中已注明引用的内容外，本论文 不包含任何其他个人或集体己经公开发表的作品成果。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人 完全意识到本声明的法律结果由本人承担。 作者( 签字) ：参怯i 1 7 蕊 刁j 日期：砂1 年弓月，日 l 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文( 口在授予学位后即可口在授予学位1 2 个月后 口 解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：爹娅蟪导师( 签字) ：铜问嘲 日期：歹栅y 年弓月，9 日加尹手弓月p 日 哈尔滨丁程大学硕士学位论文 第1 章绪论 1 1 课题研究的背景、目的和意义 视频监控技术一直是人们关注的应用技术热点之一，它以其直观、方便、 信息内容丰富的特点被广泛应用于许多场合。视频监控系统是- i 1 集计算机 技术、通信技术和数字视频技术于一体的综合系统。随着信息化时代的到来， 数字技术的发展、图像数据压缩编码技术及标准的改进、芯片成本的不断下降， 极大的推动了监控技术的不断发展与更新。作为安全防范系统核心的闭路电视监 控与报警系统正面临着一场巨大的变革，取而代之的是数字视频监控系统“。 数字视频监控系统以计算机为中心，数字视频处理技术为基础，利用图 像数据压缩的国际标准( 如h 标准、m p e g 标准) ，结合监控系统的实际要 求及多年来不断完善的安防理论和经验，综合利用图像传感器、计算机网络、 自动控制和人工智能等技术，是一种新型监控系统。该系统实现了视频的数 字化、应用的多媒体化、管理的智能化，充分体现了现代信息技术与监控技 术的有机结合阁。正是由于数字视频监控技术具有传统模拟监控技术无法比 拟的优点，而且符合当前信息社会中数字化、网络化和智能化的发展趋势， 所以数字视频监控技术正在逐步取代模拟监控技术，广泛应用于各行各业， 同时也激发了广大科研工作者及相关商家的浓厚兴趣。 由于嵌入式系统体积小、指令精简、实时性处理能力强、处理速度快、 稳定性好、性价比高、可扩展性好等特点，因此使用嵌入式系统实现视频监 控技术，符合网络化、数字化、智能化的特点。 基于上述观点，研究并开发基于嵌入式系统的数字视频监控系统具有很 大的工程实际意义。本文选题是以某公司的数字视频监控产品为背景进行嵌 入式数字视频监控系统的研制开发工作。 1 2 嵌入式视频监控技术的发展 1 2 1 嵌入式视频监控系统的概述 从上个世纪9 0 年代以来，随着科学技术的迅速发展，人们的生产行为、 哈尔滨工程大学硕士学位论文 生活方式都发生了重大的变化，作为生产生活中非常重要的一项技术即视频 监控技术的重要性正在逐渐被人们所认识和重视。视频监控系统的演变，是 一个基于单片机系统从集中监控向基于嵌入式专用位处理器网络监控的发展 历史。早期的监控系统，采用大型仪表集中对各个重要设备的状态进行监视， 并通过操作盘来进行集中式操作。而计算机监控系统是以监测控制计算机为 主体，加上检测装置、执行机构与被监测控制的对象( 生产过程) 共同构成 的整体。在该系统中，计算机实现了生产过程的检测、监督和控制功能。在 现代企业的生产和管理中，大量的物理量、环境参数、工艺数据、特性参数 需要进行实时检测、监督管理和自动控制，而嵌入式监控技术与多媒体网络 技术的结合，使得这些现场参数、数据可以通过由直观的视频图像数据来获 取。 随着生产力的进步，设备的分布越来越离散。单一的、各自独立的监测 系统已不能适应工业化的需求，于是便产生了分布式系统。这种系统以计算 机网络为基础，嵌入式硬件设备为平台，使系统资源分配趋于合理。但是由 于目前运行的绝大多数分布式监测系统还只是在局域网上，通常的测控仅局 限于同一地点，所以具有一定的地域局限性。i n t e m e t 能实现资源的共享，从 而使人们有能力解决以前在极有限的资源下很难解决的问题，为视频监控系 统的发展提供了有利的条件。视频监控是本地计算机通过网络系统如 i n t e r n e t i n t r a n e t ，对远端进行监视和控制，完成对分散控制网络的状态监控及 设备的诊断维护等功能。我们通常把能够实现远程监控的通信媒体、嵌入式 软件、硬件系统称为嵌入式视频监控系统。 1 2 2 嵌入式视频监控系统发展状况及分析 视频监控系统经历了本地模拟信号监控系统、基于p c 插卡的数字监控 系统、基于嵌入式技术的网络数字监控系统等发展过程p 1 。 1 本地模拟信号监控系统。本地图像监控系统主要由摄像机、视频矩阵、 监视器、录像机等组成，利用模拟视频线将来自摄像机的视频连接到监视器 上，利用视频矩阵主机，采用键盘进行切换和控制，录像采用使用磁带的长 时间录像机；远距离图象传输采用模拟光纤，利用光端机进行视频的传输。 2 哈尔滨工程大学硕十学位论文 传统的模拟闭路电视监控系统有很多局限性：首先，有线模拟视频信号的传 输对距离十分敏感；其次，有线模拟视频监控无法联网，只能以点对点的方 式监视现场，并且使得布线工程量极大；另外，有线模拟视频信号数据的存 储会耗费大量的存储介质( 如录像带) ，查询取证时十分烦琐。 2 基于p c 插卡的数字监控系统。基于p c 机的远程图像监控系统由p c 机插视频卡构成，在监控现场，有若干个摄像机，各种检测、报警探头与数 据设备，通过各自的传输线路，汇接到监控终端机上，该终端可以是一台p c 机，也可以是专用的工业机箱。基于p c 的视频监控系统终端功能较强，便 于现场操作。但稳定性不好，视频前端( 如c c d 等视频信号的采集、压缩、 通讯) 较为复杂，可靠性不高，p c 机也需专人管理，特别是在环境或空间不 适宜的监控点，这种方式不理想。 3 基于嵌入式技术的网络数字监控系统。基于嵌入技术的监控系统不需 处理模拟视频信号的p c ，而是把摄像机输出的模拟视频信号通过嵌入式视频 编码器直接转换成i p 数字信号。嵌入式视频编码器具备视频编码处理、网络 通信、自动控制等强大功能，直接支持网络视频传输和网络管理，使得监控 范围达到前所未有的广度。除了编码器外，还有嵌入式解码器、控制器、录 像服务器等独立的硬件模块，它们可单独安装，不同厂家设备可实现互连。 数字化视频监控的优点是克服了模拟闭路电视监控的局限性；首先，数字化 视频可以在计算机网络( 局域网或广域网) 上传输图像数据，基本上不受距 离限制，信号不易受干扰，可大幅度提高图像品质和稳定性；其次，数字视 频可利用计算机网络联网，网络带宽可复用，无须重复布线；另外，数字化 存储成为可能，经过压缩的视频数据可存储在磁盘阵列中或保存在光盘中， 查询十分简便快捷。基于嵌入式设备的监控系统的优点是；由于这种系统的 硬件是一个同处理器和操作系统捆绑较为紧密、功能专一、专门设计的独立 的设备，不像插卡系统那样受通用计算机系统中其它软件硬件的影响，因此性能 上更稳定，且便于安装、维护，易于实现系统的模块化设计，便于管理、维护。 1 2 3 嵌入式视频监控系统与网络多媒体的结合 基于b r o w s e r s e r v e r 和c l i e n t s e r v e r 的远程监控系统是以网络作为通信 哈尔滨工程大学硕士学位论文 j i 台的监控系统，以t c p i p 技术为基础，结合网络多媒体技术，具有简单、 敝等优点，己经成为信息网络的一种最普遍应用的信息交互平台。利用网 髓信技术、s o c k e t 技术、j p e g 和m p e g 视频数据编解码技术及面向对象 锨件技术实现了整个系统的系统管理、用户管理、视频监控、图像显示及 捂等模块，其优点是充分利用了现有的局域网资源和广域网资源，以最高 舭能价格比，以信息的实时获取和实时控制为中心，实现信息、资源及任 拍综合共享和全局一体化的管理。例如监控系统将设备运行情况以视频图 韵形式提供给服务器，并由服务器发送到各个节点客户机，工作人员在客 胤端( 一般为远端) 便可了解整个系统的工作状态及运行情况。简单地讲， 魅业来说就是充分利用现代技术解决实时视频数据的采集、传输和处理以 胜行实时控制的问题。正是它的这些优点使得它得以飞速发展。 随着网络技术的不断发展，远程监控将更多地应用在企业生产过程的管 种，专业技术人员可以通过互联网来管理和维护生产过程，优化生产工艺， 掘茼设备的可用率，最终降低生产成本，提高效益。 n 4 前景与展望 嵌入式监控领域经历了一场新的革命，它结合了现代控制技术、图形图 徽术，其目标是随时随地为人们提供直观、无缝、高质量、易用、廉价的 镳资源，使其能真正进入人们的生活。嵌入式视频监控系统的技术水平也 砌期的模拟信息传输与控制飞速发展到了数字化、网络化信息传输与控制。 目前视频监控技术的主流是应用i n t e m e t 技术，在t c p i p 协议和w w w 僦的支持下，结合成熟的视频编解码技术，合理组织软件结构，使工作人 员匿过访问嵌入式远程服务器来迅速获取自己权限下的所有视频信息并及时 黜响应。将来，嵌入式系统的发展会越来越迅速，越来越成熟，这项新技 枢早必将用于远程视频监控系统上，是监控系统未来发展方向之一。嵌入 飙频监控系统可以使信息实现本地化处理，改善服务器性能，可以使每一 假备具备上网与服务功能，即每一个设备都可以独立进行服务，从而大大 籀监控的质量和范围。 视频网络通信技术在测控系统中的应用还渗透到了传感器领域，将网络 4 哈尔滨工程大学硕士学位论文 接口芯片与智能传感器集成起来，并把通信协议固化到智能传感器的r o m 中，导致了网络传感器的产生。网络传感器继承了智能传感器的全部功能， 并且能够和计算机网络进行通信，因而在现场总线控制系统中得到了广泛的 应用，成为现场级数字化传感器。国外有不少仪器公司已研制出了各种各样 的网络化传感器。国内在网络传感器方面的研究尚处于原理研究阶段，还没 有成型的网络化传感器出现。 1 3 论文的主要工作与结构安排 本文以视频监控这个课题为核心，以嵌入式系统为平台，以视频数据流 为研究对象，构建基于a r m 的嵌入式系统平台，加载u s b 数码摄像头，对 采集到的视频数据压缩，并深入研究视频压缩的算法及优化，最后用r t p 协 议完成数据流的传输。本文主要工作内容及结构安排如下： 第一章为绪论，说明了课题的背景、目的和意义，阐述了视频监控系统 的发展及研究现状。 第二章介绍嵌入式数字视频监控系统的相关技术：包括视频采集、视频 压缩、视频传输技术及流媒体技术。 第三章总体规划嵌入式数字视频监控系统，着重设计嵌入式视频监控系 统的软硬件结构及开发环境，分析嵌入式微处理器a r m 的体系结构以及 l i n u x 内核的层次结构，并讨论嵌入式开发环境的建立等。 第四章设计嵌入式视频监控系统的视频采集与压缩模块，包括u s b 数码 摄像头驱动的加载，并讨论在嵌入式系统上实现m p e g - 4 源码的方法，以及编 译安装j r t p l i b 库实现用r t p 传送视频流。 第五章对整个系统进行测试，分析测试结果。 最后总结全文的研究成果，并对下一步的工作进行展望。 5 哈尔滨工程大学硕士学位论文 第2 章数字视频监控技术 数字视频监控系统以计算机为中心闸，数字视频处理技术为基础，利用 图像数据压缩的国际标准( j p e g ，m p e g 1 或m p e g - 4 ) ，综合利用图像传感器、 计算机网络、自动控制和人工智能等技术的一种新型监控系统。数字视频监 控系统将摄像机获得的模拟电视信号转变为数字视频信号以便于计算机处 理，或者由数字摄像机直接输出数字视频信号，在计算机显示器上显示多路 活动图像的同时，可将各路信号分别存储于计算机的硬盘内或在网络上进行 传输。 数字视频信号具有频谱效率高、抗干扰能力强、失真少等模拟信号无法 比拟的特点，同时也具有信号处理数据量大、占用频率资源多的问题，正是 这个原因，造成数字视频监控系统虽然具有很多的优点，但却迟迟难以实用 化。只有对数字视频信号实现有效地压缩，使之在通信和存储方面的开销与 模拟信号基本相同时，它的优点才能表现出来，而且需要能够实现其压缩功 能的芯片成熟，成本大幅度降低，只有在这种情况下，数字视频监控系统才 能有可能全面发展起来。 下面将分别从视频采集技术、视频压缩编码技术、视频信息数字化传输 技术和流媒体技术四个方面来进行介绍。 2 1 视频采集技术 视频采集就是将视频源的模拟信号通过处理转变为数字信息，并将这些 数字信息存储在电脑硬盘的过型习。这种模拟数字转换是通过视频采集卡上 的采集芯片进行的。通常在采集过程，对数字信息还进行一定形式的实时压 缩处理，较高档的采集卡依靠特殊的处理芯片进行硬件实时数据压缩处理； 而那些没实时硬件压缩功能的卡，也可以通过电脑上的c p u 进行软件压缩处 理。 2 1 1 数字视频的采样格式 模拟视频的数字化包括不少技术问题嘲，如电视信号具有不同的制式而 6 i ； = 蚤撩强阍 协， 2 1 2 摄像机与视频采集卡 视频源在监控系统中主要采用摄像机。按感光器件类别分，现在市场上 摄像机使用大多是c c d 和c m o s 两种，其中c c d ( c h a n g ec o u p l e dd e v i c e ， 电荷耦合器件) 是应用在摄像、图像扫描方面的高端技术组件，c m o s 则大 多数应用在一些低端视频产品中。摄像机的主要技术指标有分辨率、最低照 度、信噪比、白平衡等。c c d 图像传感器是c c d 摄像机的核心部分。现场景 物经摄像头在摄像机内的c c d 图像传感器靶面上成像，使c c d 图像传感器输 出反映现场图像内容的电信号。该电信号经摄像机内部电路处理后，即可输 出能为监视器所接收的视频信号。 另外还有一种网络数字摄像机，它可将模拟信号转换为基于t c p i p 网络 标准的数据包，通过r j 4 5 接口直接输送到网络上，是可实现即插即用观看的 网络摄像机。这种摄像机不需要专用的监控主机或p c 机，直接接入l a n 或通 7 哈尔滨工程大学硕士学位论文 过i n t e m e t 接入，就可以轻松实现实时的本地监控或远程监控。换句话说，网 络摄像机= c c d 摄像头+ 计算机+ 视频采集卡+ 网卡+ 操作系统+ 软件。 视频采集卡是用来获取、处理、增强视频图像的设备，它可以从视频摄 像机或视频网络上获取视频图像。由于视频有大量的数据和很高的实时要求， 所以视频采集卡是多媒体应用中必不可少的硬件设备，同时它也是最复杂的 多媒体设备之一。 2 2 视频压缩技术 目前，在众多视频编解码算法中，影响最大并被广泛应用的国际标准是 h 2 6 x 系列和m p e g 标准。m p e g 是国际标准化i s o i e c 下的一个制定动态 视频压缩编码标准的组织，它为视频压缩编码技术的标准化、实用化做出了 巨大的贡献。 2 2 1h 2 6 x 系列编码 1 h 2 6 1 刀 h 2 6 1 是c c i t 指定的国际上第一个视频压缩标准，主要用于电视电话和 会议电视，以满足i s d n 日益发展的需要。h 2 6 1 标准的名称为“视听业务速 率为p x 6 4 k b s 的视频编译码”，又成为p x 6 4 k b s 标准( p = l ，2 ，3 0 ) 。p = i ， 2 时仅支持四分之一通用交换格式( q c i f ) 的视频格式( 1 7 6 x 1 4 4 ) ，用于帧 低速的可视电话；p 2 6 时可支持通用交换格式( c i f ) 的视频格式( 3 5 2 x 2 8 8 ) 的电视会议。h 2 6 1 视频压缩算法的核心是运动值预测和d c t 编码，其许多 技术( 包括视频数据格式、运动估算与补偿、d c t 变换、量化和熵编码) 都 被后来的m p e g 1 和m p e g 2 所借鉴和采用。 2 低速率图像编码方案h 2 6 3 及h 2 6 3 + 嗍 h 2 6 3 是i t u t 关于低于6 4 k b s 比特率的窄带通道视频编码建议，其目 的是能在现有的电话网上传输活动图像。由于h 2 6 3 是面向低速通信的，所 以必须在帧频和图像失真之间作出选择。h 2 6 3 是在h 2 6 1 建议的基础上发 展起来的，其信源编码算法仍然是帧间预测d c t 混合编码，但h 2 6 3 与h 2 6 1 不同的是，它采用半象素的分辨率进行运动补偿，它处理的图像格式可以覆 8 哈尔滨工程大学硕士学位论文 盖从s u b q c i f 到1 6 c i f ，而且，h 2 6 3 还提供了4 种可协商选择的编码方法： 无限制范围的运动矢量、基于语法的算法编码方法、先进预测和f b 帧。h 2 6 3 建议草案于1 9 9 5 年1 1 月完成。 虽然在低比特率、低分辨率的应用中h 2 6 3 有它的优点，但它也有一定 的局限性。对此，最近i t u t 对h 2 6 3 进行了修改，提出了h 2 6 3 建议。h 2 6 3 建议增加了许多新技术，以扩大建议的应用范围，提高重建图像的主观质量 以及加强对编码比特率的控制。 3 h 2 6 4 9 1 【1 0 h 2 0 0 3 年i t u t 和i s o i e c 成立的联合视频专家组丁v t ( j o i n tv i d e ot e a m ) 制定了h 2 6 4 a v c 时成为了m p e g 4 的第十部分，它采用了简洁的设计思路， 不用众多的选项，获得了比以往更高的压缩性能，在同等图像质量条件下比 h 2 6 3 节省了5 0 的码率。h 2 6 4 有很好的适应时延的能力，通过不同的约束 条件，h 2 6 4 可以工作在低时延模式下以适应实时通信应用，也可以工作在 无时延限制模式下以达到最佳压缩性能。同时h 2 6 4 在提高图像传输的容错 性方面做了大量的工作，提供了较强的抗误码性能，适用于丢包率高，干扰 严重的无线信道视频传输。 2 2 2m p e g 系列编码 1 m p e g - l 1 9 9 2 年i s o i e c 公布了m p e g 1 ，是基于一般地段应用的视频，音频编解 码标准，它主要针对c i f 格式( 3 5 2 x 2 8 8 ) 和每秒3 0 帧的图像质量，将视频信 号和相应的伴音在可以接受的质量要求下编码成1 5 m b p s 的数据流，视频质量 与家用录像机( v h s ) 的模拟视频质量相当。类似于h 2 6 1 标准，m p e g - 1 也 采用了帧间预测和二维d c t 变换，同时对直流分量进行了预测差分编码。同 时m p e g 1 引入了双向预测帧( b 帧) 的新编码类型。 2 m p e g 2 1 9 9 4 年i s o i e c 和i t u t 共同制定了m p e g 2 标准，视频编码部分就 h 2 6 2 。它的成功之处在于提出了通用的压缩编码方法，定义了不同的档次和 等级，可以满足不同图像分辨率及其相应的存储成本和处理器速度的需要， 9 哈尔滨工程大学硕士学1 1 f 7 = 论文 同时m p e g 2 在兼容m p e g 1 的同时增加了基于帧场的运动补偿，空间可收缩 鳊码，时间可收缩编码，质量可收缩编码以及容错编码等新的编码技术。 b l p e g 2 主要应用于d v d 数字视频和高清数字电视广播等领域。 3 m p e g 一4 【1 习l | 习 1 9 9 9 年i s o i e c 制定了m p e g - 4 标准，主要针对窄带传输，高画质压缩， 交互式操作以及将自然物体与人造物体相融合的表达方式，同时还特别强调 广泛的适应性和可扩展性。m p e g 4 引入了一个关键的概念：视听对象a v o ( a u d i o v i s u a lo b j e c t ) ，a v o 是m p e g - 4 位支持基于内容的编码而提出的， t v o 是听觉，视觉或者视频内容的表示单元。a v o 的提出是多媒体通信具有 了高度的交互能力和很高的编码效率。但基于对象的编码技术尚有障碍，因 此该技术目前尚为得到普遍的应用。 m p e g - 4 是针对视频会议、可视电话的低速率编码标准，它融入了基于 内容的检索与编码，可对压缩数据内容直接访问；于2 0 0 1 年指定完毕的 m p e g 7 标准被称为“多媒体内容描述接口”，这种标准化的描述可以加到任 何类型的媒体信息上。不管视频信息的表达形式或压缩形式如何，具有这种 标准化描述的多媒体数据均可被检索。m p e g 7 的应用领域主要是数字化图 书馆和广播式媒体。 m p e g - 4 采用基于对象的编码理念，在编码时将一幅景物分成若干个在 时间和空间上相互联系的视音频对象，分别编码后，经过复用传输到接收端， 然后对不同的对象分别解码，从而组合成所需的视频和音频。m p e g 4 中对 比特率控制可以基于对象，这样在不同的网络带宽状况下，可以利用比特分 配方法，对于用户感兴趣的对象可以多分配一些比特率，而对于用户不感兴 趣的对象可以少分配一些比特率，使得对不同的对象采用不同的编码方法和 襄示方法成为可能，保证了图像主观质量；同时基于对象的编码方式有利于 不同数据类型间的融合，方便的实现了对于各种对象的操作及编辑。 m p e g - 4 由以下三个主要部分构成： ( 1 ) i s o i e c1 4 4 9 6 1 系统( s y s t e m ) 该部分详细描述交互式地视听场景通信系统，指定根据视听信息和相关 场景描述信息来产生交互方式地方法、交互命令、场景和对象节点地语法与 语义，并且说明了m p e g - 4 地整个工作流程以及每一部分在整体框架中地角 1 0 哈尔滨工程大学硕士学位论文 色与作用，各部分之间协调和通信地方法。 ( 2 ) i s o i e c1 4 4 9 6 2 视频( v i s u a l ) 该部分详细描述视频流的语法与语义，视频数据的编解码技术，以及根 据用户需求和网络传输码率的不同而设计不同的视频内容编码框架和针对每 种框架的分级。 ( 3 ) i s o i e c l 4 4 9 6 2 音频( a u d i o ) 该部分描述了在综合许多种不同类型的音频编码基础上，设计完整的音 频编码和合成框架，创建了交互数字化音频的新技术。此外还定义了可以应 用到所有需要使用先进的语音压缩、合成、控制和回放等应用领域的标准。 系统、视频、音频是m p e g - 4 研究的内容，其中系统部分是m p e g 4 的整体 模型，也是m p e g 4 各部分之间相互连接的“大脑”和“灵魂”。其他各部分与 系统部分结合起来设计，就可以实现基于对象的分层分级视音频编码、视音 频数据同步、交互式操作、动态视音频跟踪和智能化自适应调整策略。 m p e g 4 在技术实现上没有对每个细节做详细的规定，提出的概念和思 想很多没有明确具体的技术规范，正在不断的调整和扩充。目前i s o i e c l 4 4 9 6 技术文档发展到从i s o i e c l 4 4 9 6 1 到i s o i e c l 4 4 9 6 - 1 9 ，其中i s o e c l 4 4 9 6 4 以后得技术文档都是针对前三个文档涉及到的具体技术做详细说 明和规定。如：i s o i e c1 4 4 9 6 - 4 一致性( c o n f o r m a n c e ) 标准用来指定测试， 验证是否比特流和解码满足系统、视频、音频、d m i f 的需求；i s o i e c l 4 4 9 6 1 0 高级视频编码a v c ( a d v a n c e dv i d e oc o d i n g ) ；i s o i e c l 4 4 9 6 1 3 对象属性智 能化管理和保护的扩展i m p e ( i n t e l l e c t u a lp r o p e r t ym a n a g e m e n tp r o t e c t i o n e x t e n d e d ) 等。 2 2 3 视频压缩算法的选择 m p e g - 4 的压缩方法不同于m p e g - 1 2 或h 2 6 3 + 系列标准，不再局限于 某种算法。为实现更好的多媒体内容互动性及全方位的存取性，它采用开放 的编码系统，可随时加入新的编码算法模块，同时也可根据不同应用需求现 场配置解码器，以支持多种多媒体应用。表2 1 比较了目前常用的视频压缩 标准及应用情况【1 4 1 。 哈尔滨1 二程大学硕十学位论文 表2 1 视频编码标准及其应用 码率应用 m p e g 1 视频 0 8 k b p s - i 5 m b p sv c d ，c d - r o m ，i n t e r n e t 3 m b p s - 10 m b p sm p m l 数字广播 m p e g 2 视频 16 m b p s 5 0 m b p sm p h l d v d ，d v h s m p e g 系列 5 0 m b p s - 1 0 0 m b p s 4 2 2 p m l h l 专业视频处理 1 0 k b p s - 3 8 4 k b p ss p l i 2 3 c e l l a r , i n t e m e t 1 0 k b p s - 2 m b p sc p l i 2 m p e g - 4 视频 交互式电视 2 m b p s - 3 8 m b p sm p ：l 2 3 4 5 0 m b p s 一1 2 0 0 m b p s s t u d i o l 2 3 4 视频剪辑 h 2 6 1 6 4 k b p s - 1 5 m b p s视频电话( i s d b 0 h 2 6 x 系列 h 2 6 3 1 0 k b p s - 3 8 4 k b p s视频电话( p s t n ，i n t e r a c t ) h 2 6 4 以小于1 m b i t s s数字电视、卫星广播、3 g p p 与m p e g 1 2 和h 2 6 3 + 比较，m p e g - 4 在低比特流式传输上有更多的优 势。m p e g - 4 压缩率最高，同时又保持了清晰的画质。m p e g - 4 动态分配码 流，根据画面的复杂程度和变化程度调整码流。m p e g - 4 向h 2 6 x 学习借鉴 的错误回复工具可以提供高抗误码性，有助于低比特视频信号在高误码率环 境下的存储和传输。 。 m p e g - 4 最重要的特征是提出了对象( o b j e c t ) 的概念，将多媒体数据分 为不同的视频对象( v o ) 和音频对象( a o ) ，从而具备了如下优点： ( 1 ) 对不同的对象可采用不同的编码算法，可以进一步提高压缩率； ( 2 ) 各个对象相对独立，提高了多媒体数据的可重用性； ( 3 ) 允许用户对单个的对象进行操作( 例如改变某个对象的位置、颜色、 大小等，甚至删除某个对象) ，提供了前所未有的交互性； ( 4 ) 允许在不同的对象之间灵活分配码率，对最重要的对象可分配较多 的字节，对次要的对象可分配较少的字节，从而可能在较低的码率下获得较 高的效果； ( 5 ) 可以很方便的集成自然的与合成的视频音频对象。 1 2 哈尔滨工程大学硕士学位论文 因此，选择更为优越的m p e g - 4 视频压缩算法嗍。 2 3 视频传输技术 t c p 协议不适合视频传输。t c p 协议是面向连接的协议，被用于各种网 络上提供有序可靠数据传输的虚电路服务。如果在丢包率较高、网络状况不 好的情况下，用t c p 协议进行适时的视频音频通信几乎是不可能的。主要有 以下两方面的原因： ( 1 ) 重传机制 当检测到数据包丢失或错误时，它就会要求发送端重新发送，然而这将 需要一个甚至更多的周期( 根据t c p i p 的快速重传机制，这将需要三个额外 的帧延迟) ，这种重传对于实时性要求较高的视音频数据通信来说几乎是灾难 性的，因为接收方不得不等待重传数据的到来，从而造成了延迟和断点( 音 频的不连续或视频的凝固等等) 。 ( 2 ) t c p 的拥塞控制机制 t c p 的拥塞控制机制在探测到有数据包丢失时，它就会减小它的拥塞窗 口。而另一方面，音频、视频在特定的编码方式下，产生的编码数量( 即码 率) 是不可能突然改变的。 2 3 1u d p 协议 u d p ( 用户数据报协议) 是建立在网际协议的基础之上的，提供无连接 的、开销最小的、快速但不可靠的端到端通信服务。为了适应分层体系结构 的需要，与i p 数据报格式类似，u d p 数据报也有数据包头和封装数据两部 分组成，如图2 1 所示。 u d p 有如下优点【1 6 】： 图2 1 报头格式 1 3 哈尔滨t 程大学硕士学位论文 ( 1 ) 发送数据之前不需要建立连接，发送数据完毕后不需要释放连接， 因此减少了开销和发送数据之前的时延。 ( 2 ) u d p 不使用拥塞控制，不保证可靠的交付，因此主机不需要维持具 有许多参数的、复杂的连接状态表。 ( 3 ) u d p 用户数据报只有8 b 的首部开销，比t c p 的2 0 b 首部要短。 ( 4 ) 由于u d p 没有拥塞控制，因此网络出现的拥塞不会使源主机的发 送速率降低。 2 3 2r 1 1 p 协议 r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 数据协议负责对流媒体数据进行封 包并实现媒体流的实时传输，每一个r t p 数据报都由头部( h e a d e r ) 和负载 ( p a y l o a d ) 两个部分组成，其中头部前1 2 个字节的含义是固定的，而负载 则可以是音频或者视频数据。 r t p 包头中的时间戳和顺序号是该协议的精华之处，它使得在出现网络 拥塞或延时时，丢弃数据包，而数据的接收方却仍然能够根据时问戳和顺序 号对丢失的或已混乱失序的数据包进行重新组合，使得传输得以延续而不会 产生过分的延迟。r t p 协议采用了应用层分帧( a p p l i c a t i o nl e v e lf r a m i n g ， 简称a l f ) 这一现代通信协议的设计思想，该协议有别于传统的数据传输协 议( 如t c p 等) ，允许其用户了解、调整甚至指定连续媒体的打包方案。这 样虽然r t p 协议本身对于报文丢失、次序颠倒等数据传输过程中的差错不作 任何处理，也不提供维持实时数据内部约束关系的同步机制，而且r t p 协议 版本号补齐位扩展位 c s r c 标记载荷类型序列号 ( v ) 2 位( p ) 1 位( x ) l 位 数4 位 ( m ) 1 位( r t ) 7 位( s n ) 1 6 位 时间戳( t i m e s t a m p ) ( 3 2 ) 位 同步源标识( s s r c ) ( 3 2 ) 位 c s r c 标识符0 2 ) 位 载荷数据 a y l o a a ) 图2 2r t p 报文结构 1 4 哈尔滨- t 程大学硕士学位论文 也不要求底层网络具有实时数据传输所需的q o s 服务。在考虑具体应用特点、 网络环境等因素的基础上，我们选用最为恰当的方法灵活地完成差错控制、 同步控制等任务以更好地满足实时应用的要求。r t p 数据报的头部格式如图 2 2 所示。 2 3 3r t c p 协议 r t c p ( r e a l t i m et r a n s p o r , c o n t r o lp r o t o c 0 1 ) 是设计和r t p 一起使用的 进行流量控制和拥塞控制的服务控制协议。 当应用程序开始一个r t p 会话时将使用两个端口：一个给r t p ，一个给 r t c p 。根据协议规定，r t p 和r t c p 选用不同的网络端口号，r t p 选择一个 偶数位的端口号，而r t c p 则选用下一个奇数位的端口号。r t p 本身并不能 为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制， 它依靠r t c p 提供这些服务。在r t p 的会话之间周期的发放一些r t c p 包以 用来传监听服务质量和交换会话用户信息等功能。r t p 和r t c p 配合使用， 它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网 上的实时数据。 2 3 4 网络传输协议的选择