（通信与信息系统专业论文）网络视频监控系统的研究与实现.pdf

上二诲交通人学硕 学位论文 网络视频监控系统的研究和实现 摘要 随着多媒体技术、计算机技术和网络技术的发展，使得数字化 音视频数据的网络实时传输和控制成为可能。网络视频监控系统就 是在这种情况下出现的。它是一种以计算机技术、图像视频压缩技 术和视频数据实时传输技术为核心的新型数字视频监控系统，具有 附属设备少，造价低、操作简单、维护方便等特点。 网络视频监控系统的优点正好克服了传统的模拟闭路电视监控 的局限性：首先，数字化视频可以在计算机网络( 局域网或广域网) 上传输图像数据，基本上不受距离限制，信号不易受干扰，可大幅 度提高图像品质和稳定性；其次，数字视频可利用计算机网络联网， 网络带宽可复用，无须重复布线，还便于集中监视、集中控制；另 外，数字化存储成为可能，经过压缩的视频数据可存储在磁盘阵列 中或保存在光盘中，查询十分简便快捷。寸厂一一 本课题对网络视频监控系统的设计与实现做了全面而详细的分 析与研究，设计并实现了一种先进的网络视频监控系统w i t n e t v i d e os y s t e m ，解决了传统的模拟闭路电视监控的局限性，并且在 同类网络视频临控系统产品中也处于领先地位，有很大的市场潜力。 段从一开始就参与了该项目的开发与设计，主要负责视频服务 1 器端的设计与实现j 我们分析了网络视频监控系统的市场与技术背 j 。k 一 第i 匾 l 海交通大学硕士学旺沦文 景及意义，并根据用户的需求及目前的技术提出了整个项目的整体 框架一一一个分布式的面向对象的多媒体通信系统，并决定采用成 熟的m p e g - 1 音视频压缩技术，在视频传输上也采用了先进的r t p 协 议。伍个系统采用了c o r b a 技术来对分布式的设备进行控制和管理， 并且服务器端都采用了完全公开源代码，而且具有很强的稳定性、 实时性、嵌入性的l i n u x 操作系统。 服务器端m p e g - 1 视频压缩卡的驱动是整个项目的基础，该驱 动程序的稳定性与高效性直接影响到整个系统的性能c 由于硬件没 、一一6 有保证音视频的同步，7 我们在驱动程序中采用了一个有效的同步机 制解决了音视频的同步问题，使得应用程序不仅能从驱动程序中得 到音视频数据，还能得到音视频数据的同步信息，以合成系统流。 我们根据整个系统的特点，在r t p 的基础上设计了自己的网络 实时传输协必加i t n e t v i d e 。m u l t i c a s t p r o t o c 0 1 ) ，不仅能有效 的进行排序、纠错和多播，还能保证多媒体通信的实时性要求，并 提供了一些多媒体通信及本系统中特有的辅助信息。 运动检测与报警是视频监控系统中所特有的，也是及有应用价 值的技术。j 我们通过对数字化的视频数据的分析来进行运动检测， ， 采用了基于运动矢量的运动检测方法。f 该方法不需要完全解码m p e g 码流，而是利用了m p e g 码流中特有的运动矢量来进行运动检测，不 仅能有效的检测到运动，而且还能区分摄像头和物体的运动。厂矿 对于视频的存储与点播，我们提供了多种录像策略，同时根据 本系统的特点，设计了自己的文件系统( n e t v c r 文件系统) 以及自 上海交通太学顺上学泣论史 己的流格式( w m f ) 。向e t v c r 文件系统克服了传统文件系统处理实时 多媒体文件的缺点，满足了视频信息高容量、高读写速率的需求。w , i f 流格式借鉴了微软的a s f 流格式，是一种更高层次的流格式，用来 封装不同的流和相关信息，使得我们系统中的视频存储和点播变得 更加容易和统一j 7 关键字：m p e g ，r t p ，c o r b a ，运动检测，视频存储，视频点播 海交通上学顿t 学位论文 r e s e a r c ha n di m p l e m e n t a t i o no f n e t w o r kv i d e 0s u r v e i l l a n c es y s t e m a b s t r a c t w i t ht h ed e v e l o p m e n to fm u l t i m e d i at e c h n o l o g i e sa n dn e t w o r k t e c h n o l o g i e s ，i th a sb e e np o s s i b l et ot r a n s p o r ta n dc o n t r o ld i g i t a la u d i o a n dv i d e od a t ao nn e t w o r ki nr e a lt i m e n e t w o r kv i d e os u r v e i l l a n c e s y s t e m i san e w d i g i t a lm o n i t o r i n gs y s t e m b a s e do n c o m p u t e r t e c h n o l o g i e s ，v i d e oc o m p r e s s i o nt e c h n o l o g i e s a n dr e a lt i m et r a n s p o r t t e c h n o l o g i e s n e t w o r kv i d e os u r v e i l l a n c es y s t e mc a no v e r c o m et h es h o r t c o m i n g o ft r a d i t i o n a la n a l o gc l o s e c i r c u i tt e l e v i s i o ns u r v e i l l a n c es y s t e m f i r s t ， d i g i t a l v i d e oc a nb ed e l i v e r e do v e r c o m p u t e rn e t w o r k t h e d a t a t r a n s p o r tw i l ln e v e rb ec o n f i n e db y d i s t a n c ea n dt h es i g n a lw i l ln e v e r b ed i s t u r b e de a s i l y , s ot h eq u a l i t ya n ds t a b i l i t yo fv i d e op i c t u r ew i l lb e p r o m o t e dg r e a t l y s e c o n d l y ，d i g i t a lv i d e oc a ns h a r et h eb a n d w i d t ho f t h en e t w o r k ，s ow en e e d n tt o l a y o u td u p l i c a t e dl i n e s t h ev i d e o m o n i t o r i n ga n dc o n t r o l c a r lb ee a s i l yc e n t r a l i z e d i na d d i t i o n ，d i g i t a l 。datac a nb es t o r e di nd i s ka r r a y so rc o m p a c td i s k s i t se a s yt ob e n d e x e d a f t e rt h ec a r e f u l a n a l y z i n g a n dr e s e a r c ho fn e t w o r kv i d e o 籀1 v “ l 海交通大学领士学位论文 s u r v e i l l a n c e s y s t e m ，w ed e s i g n e d a n d i m p l e m e n t e d a na d v a n c e d n e t w o r kv i d e os u r v e i l l a n c es y s t e m ，w i t n e t - v i d e os y s t e m i ts o l v e st h e s h o r t c o m i n g o ft h et r a d i t i o n a lc c t v m o n i t o r i n gs y s t e m ，a n d h a sal a r g e m a r k e tp o t e n t i a l i p a r t i c i p a t e di n t h ep r o j e c tf r o mt h e b e g i n n i n g ，a n dm a i n l yt o o k c h a r g e o ft h e d e s i g n a n d i m p l e m e n t a t i o n o ft h ev i d e os e r v e r w e a n a l y z e d t h em a r k e ta n dt e c h n o l o g y b a c k g r o u n d o fn e t w o r kv i d e o s u r v e i l l a n c e s y s t e m ，a n da c c o r d i n gt o t h e r e q u i r e m e n to fu s e r s ，w e p r o p o s e daw h o l e a r c h i t e c t u r eo fo u t p r o j e c t ad i s t r i b u t e d o b j e c t o r i e n t e dm u l t i m e d i ac o m m u n i c a t i o ns y s t e m t h es y s t e ma d o p t e dt h e m p e g lc o m p r e s s i o nt e c h n o l o g y , i u 甲m u l t i m e d i at r a n s p o r tp r o t o c o l a n dc o r b at e c h n o l o g y t h ev i d e os e r v e ri sb a s e do nt h el i n u x o p e r a t x o ns y s t e m t h ed r i v e ro ft h em p e g ie n c o d e rc a r di st h eb a s eo ft h ep r o je c t t h es t a b i l i t ya n de f f i c i e n c yo ft h ed r i v e ra f f e c tt h ep e r f o r m a n c eo ft h e w h o l e s y s t e m b e c a u s e t h eh a r d w a r ed o e s n t g u a r a n t e e t h e s y n c h r o n i z a t i o no f t h ea u d i oa n dv i d e o ，w ed e s i g n e dan e wm e t h o dt o s o l v et h ep r o b l e mi nt h ed r i v e r t h e nt h ea p p l i c a t i o n sc a r lg e tn o to n l y t h ea u d i oa n dv i d e od a t af r o mt h ed r i v e r , b u ta l s ot h es y n c h r o n i z a t i o n i n f o r m a t i o no ft h ea u d i oa n dv i d e od a t a a c c o r d i n gt ot h ec h a r a c t e r i s t i c o fo u rs y s t e m ，w ed e s i g n e dan e w r e a l t i m et r a n s p o r tp r o t o c o l ( w i t n e t - v i d e om u l t i c a s tp r o t o c 0 1 ) b a s e d 第v 页 l 一海交通大学颇匕学泣论史 o nt h er t p o u rp r o t o c o lc a nn o to n l ys o r ta n dc o r r e c tt h er e c e i v e d p a c k e t s ，b u ta l s og u a r a n t e et h ed e m a n do f r e a l t i m e a tt h es a m et i m e ， t h e p r o t o c o lp r o v i d e ss o m ea u x i l i a r y i n f o r m a t i o no f t h ev i d e od a t a a c t i v i t yd e t e c t i o n i sav a l u a b l e t e c h n o l o g y i nv i d e os u r v e i l l a n c e s y s t e m o u ra c t i v i t yd e t e c t i o nm e t h o d i sb a s e do nt h em o t i o nv e c t o r si n m p e gd o m a i n t h i sm e t h o dn e e d n tt od e c o m p r e s st h em p e gs t r e a m a n du s e st h em o t i o nv e c t o r si nt h e 【p e gs 订e a mt od e t e c tm o t i o n s i t c a nn o t o n l y d e t e c tt h em o t i o n ，b u ta l s o d i s t i n g u i s h t h em o t i o no f c a m e r aa n d o b j e c t s w ep r o v i d es e v e r a l s t r a t e g i e s f o rv i d e os t o r a g ea n dd e s i g n e do u r o w nf i l e s y s t e mm e t v c r f i l e s y s t e m ) n e t v c rf i l es y s t e mc a l l d e a l 。 w i t ht h eh i g hc a p a c i t ya n dh i g hs p e e do fm u l t i m e d i ad a t aw h i c ht h e t r a d i t i o n a lf i l e s y s t e mc a n t d e a lw i t h w ea l s od e s i g n e da na d v a n c e d s t r e a mf o r m a tc a l l e dw m fr e f e r r e dt om i c r o s o f t sa s ki t sah i g h e r l e v e ls t r e a mf o r m a tt oe n c a p s u l a t ed i f f e r e n ts t r e a m sa n dm a k eo g l rv i d e o s t o r a g ea n dv o d e a s i e r k e yw o r d s ：m p e gr t p , c o r b a ，a c t i v i t yd e t e c t i o n ，v i d e o s t o r a g e ，v o d 第v 1 页 匕海交通人学硕士学位论文 第一章绪论 随着多媒体技术、计算机技术和网络技术的发展，使得数字化音视频数据 的网络实时传输和控制成为可能。网络视频监控系统就是在这种情况下出现的。 它是一种以计算机技术、图像视频压缩技术和视频数据实时传输技术为核心的 新型数字视频监控系统，具有附属设备少，造价低、操作简单、维护方便等特 点。适用于银行、邮电、交通、电力、水电、仓库、教学、医疗、军事、公安 等系统。网络视频监控系统的应用领域非常广泛，而且市场需求也十分巨大。 1 1 网络视频监控系统 1 1 1 研究背景 i n t e r n e t 的出现，推动了世界信息产业的迅速发展。据国际数据集团 ( i n t e r n a t i o n a ld a t ag r o u p ，i d g ) 统计，信息技术和电信营业额相当于全球农 产品、汽车和纺织品全球贸易额的总和，并仍在大幅度增长。 中国网络的发展速度世界少有，1 9 9 7 年中国信息产业的经济规模跃居世界 第七，1 9 9 8 年电话总量屠世界第二，有线电视用户居世界第一。上网人数9 9 年底已达1 0 0 0 万人，一年之间增长五倍，据预测二年内将增长到2 5 0 0 万人2 0 0 5 年将达6 0 0 0 万人。 随着网络的高速发展，正朝着宽带化与多元化发展，人们己不满足于相互 间简单的信息交换，对多媒体技术在网络上的应用提出了更高的要求。网络带 宽的增长可以容纳越来越多的多媒体信息。信息技术与信息产品的发展也顺应 了这个大的潮流。 反观传统的产业，也正在进行着网络化的变革。传统的视频监控系统正朝 着监控网络化进军，传统的电信业务如电话，也正在向i p 语音发展，诸如种种 都浣明了一点，网络化进程是必然的趋势。 在这样的大环境下，技术的发展也正在日益的成熟，相关的标准以及协议 电正在出台。产品的专业化发展也正成为i t 业内产品的发展趋势，不仅提高了 产品的专业性，而且及大降低了产品的维护成本。 正是在这样的背景下，开发网络视频实时传输系统成为必然。它的重点在 于解次视频图象在网络上的压缩与传输，以提供高质量的多媒体图象，并使浚 系统能成为可应用于多种环境与领域的产品。 1 1 2 研究意义 网络视频临控系统是一种典型的网络视频实时传输系统。网络视频监控系 统的优点正好克服了传统的模拟闭路电视监控的局限性： 首先，数字化视频可以在计算机网络( 局域网或广域网) 上传输图像数据基 本上不受距离限制，信号不易受干扰，可大幅度提高图像品质和稳定性； 其次，数字视频可利用计算机网络联网，网络带宽可复用，无须重复布线， 还便于集中监视、集中控制： 第l 页 二海交通大学硕l 学位论文 另外，数字化存储成为可能，经过址缩的视颁数掘可存储在磁黼阵列中或 傈仔往光盘中，查咖十分简便陕捷。 1 1 2 研究目标及内容 本课题的目标就是为了顺应这个时代发展的潮流，研究斤门：发一个h 络视 频：锰控系统。它的主要内容育： i 、爵视频的炙时压缩技术： 2 、音况频的同步技术； 3 、视频的实时传输技术： 4 、网络质量对视频传输的影响： 5 、视频的延时与缓存控制； 6 、 见频的运动榆测与报警： 7 、视频的存储与点播： 8 、嵌入式软、硬件平台的集成： 9 、分前i 式设备的通讯与控制。 青倪频的实叫爪缩和传输技术是整个网络多媒体系统的核心。十网络带 宽总是一个何限的资源，因此我们要采用适当的音视频压缩算法( 如m p e g ) 使得多媒体数据尽量占用较少的网络带宽但是同日十又要保汪图像和晤卉质晕： 能够满足具体应用的需求。 刺f 实日1 j 龃控，l i t 十对音m 颧数据的实时性要求很高，我f f j 必需要有实1 1 , 1 爪辅( 一般采用艇什压缩) 和吱时抟输技术【如r t p ) ，使得最后的总延时尽量 小，这佯j 能够及时反映监 见现场的情况。另外视频的运动榆测与报警、存储 与点播在视频临控中也有很人的炙用价值，埘于丌发一个完整的刚络视频：控 系统这些功能是不可缺少的。 在h 络视频临控系统中，视频服务器是核心硬件它提供视频的模数转换、 爪缩和传输，一般在视频服务器卜采用嵌入式操作系统( 如l i m t x ) 术完成软、 潮什半台的集成。整个州络视频临控系统中可以存在多台视频服务器，它们分 仿庄网络的捧个部分，这就需要有一个管理机制( 比如c o r b a ) 水管理和控 制这毡分札式的没备，使得整个系统更加完簿。 1 2 各章节内容 水殳j 1 分为八章： 第一章俐述了本课题的研究背景、e 杯卡u 内容，以及各章仃的内存。 第二章简述了图像压缩的基本原理，并分析和比较丁几种典犁的图像编码 标准，最后对本系统采用的图像压缩标准m p e g 1 作了进一步的阐述。 第二章简述了网络多播原理并介绍了著名的实时传输阱议r t p 办议， 以殷与该饥改紧密相连的i 个协议r s v p 、r t c p 、r t s p 协议。 第四章佯细阐述了我们实观的网络视频监控系统( w i t n e t - v i d e os y s t e m ) 的改汁原理，包括系统的框架与基本组成部分、音视频的合成与灾时传输、分 布式设备的通砒与控制；我们在r t p 的基础卜，根据浚监控系统的特点，改汁 和提m 丁自己的吱时传输协议l w i t n e t - v i d e om u l t i c a s tp r o t o c 0 1 ) 。 ：漕血章介绍了在我们的系统l ir 是如何驱动实时视频爪缩卜n 0 ，电就足展底 艨的驱动剃序的丌发；并b 3 _ 使用了一个巧妙的音观顿同步机制柬保证应用韩! 序 旃2 页 = 海交通大学硕士学位论文 能得到同步的音视频流，并且有足够的信息来把音视频流合成系统流。 第六章介绍了两种在m p e g 编码域进行运动检测和报警的方法：一种是基 fd c 图像的视频分析，只简述了如何得到d c 图像：另一种是基于运动矢量 的运动检测方法，也是本系统中所采用的，这种算法不汉能检测到运动，还能 区分摄像头和物体的运动，有很高的实用价值。 第七章介绍了本系统中所用的视频存储和点播技术，阐述了我们根据本系 统特点设计的视频存储文件系统( n e t v c r 文件系统) 和w m f 流格式。 第八章对本课题进行了回顾和总结，并提出了未来的改进和发展方向。 第3 页 上_ 海交通大学硕士学位论文 第二章音视频的实时压缩技术 2 1 数字图像压缩编码原理简介 图像的数据量非常大。按照c c i r 6 0 1 建议的数字电视标准，亮度信号的取 样率为1 3 5 m h z ，色度信号为6 7 5 m h z 每个取样值用8 比特，于是其比特率 达到2 1 6 m b s 。高清晰度电视的比特率高达i 18 8 g b s ，若不对此压缩，即使4 次群( 1 3 9 2 6 4 m b s ) 也放不下一路高清晰度电视信号。 图像数据压缩之所以可以实现，是因为原始图像中存在很大的冗余度。有 相关性就有冗余度，传输前将冗余度去掉，称之为压缩编码。压缩编码可分为 帧内图像编码( i n t r a f r a m ec o d i n g ) 和帧间图像编码( i n t e r f r a m ec o d i n g ) 。所谓 帧内编码是仅利用空间相关性对一帧图像编码，帧间图像编码则是利用时间相 关性对一个图像序列进行编码。帧内编码主要是用变换编码方法，帧间编码主 要用预测编码。 2 1 1 帧内编码 用于帧内编码的变换编码是一种线性变换，变换的基函数是行一列可分离 的。对于变换期望的性质是要减少变换系数的相关性。适当选择基函数，可以 使系数的相关性减小。另外通过变换将大部分能量集中于一部分变换系数，从 而可以除去其它大多数系数也不会严重影响图像。能量是否集中还和信号本身 的性质有关，幸好普通的图像经变换运算减小象素幅度之间的相关性后具有能 量集中的性质。 考虑过许多不同的变换方法用于变换图像编码，它们集中能量的效率和计 算方面的要求各不相同。离散k l 变换是所有线性变换中能量集中效率最高 的，但是实践很困难，因此需要另外寻找一种合适的变换方法。 1 9 6 0 年离散傅氏变换( d f t ) 被认为是一种适合的变换，因为它有固定的 基函数组，可以用f f t 算法对它作快速运算。尤其重要的是，普通图像经d f t 变换能量的主要部分集中于低频区域，所以当时把d f t 作为首先考虑的变换编 码方法。但后来发现离散余弦变换( d c t ) 的性能更好。d c t 具有能量更加集 中的优点而且不会牺牲其它方面的质量，如已经有的高效算法仍然适用。而 且d c t 和d f t 关系密切。除了d f t 和d c t ，还有许多其它的变换也都考虑过， 如哈特曼、离散正弦等，但从计算效率和能量集中这两方面来看，d c t 仍被看 作是最佳选择。 在变换编码中，一幅图像可分为许多子图像或图像块，每个块分别编码。 一次对一个块的图像编码，这样编码器可以自适应于局部图像的特点。同时， 对于子图像编码减少了存储和计算方面的要求，由于每次处理一个块的图像， 就没有必要储存整幅图像。而且在一个多处理的环境下，图像块的变换可以平 行计算。虽然较小的图像块计算会更有效，并且可以让我们设计的编码器能自 适应于局部的图像特性，但图像块的大小不能无限制地减小，因为当我们将 个图像分成比较小的片段进行变换时对图像象素强度之间的相关性的利用就差 第4 页 海交通大学硕上学位论文 了。所以用于图像变换编码的i 刽像块的大小通常为8 x 8 或1 6 x 1 6 ，不宦阿小。 图像块住经过变换编码后由于能量集中，选择一小部分的变换系数分配 码字，而另部分系数被丢弃。可以采用两种不同的方法柬决定敞丢弃的系数。 一种称之为分区编码，另一种称之为阈值编码。分区编码中只对于在一个特定 区域中的系数进行编码。分区的形状和大小会受到变换方法的不同，有效位的 多少等多种凶素的影响。在闽值编码中，变换系数要和一个闽值相比较，超过 这个阕值的被编码。从集中能量的观点看，阈值编码要比分区编码优越。对系 数位置作编码的通常方法足流程( r u nl e n g t h ) 编码。 d c t 变换后的系数最后要经过熵编码柬进步减少冗余度。对于不同概率 的符号分配不同长度的码字，即町变长编码( v l c ) 。哈大曼编码( h u f f m a n c o d i n g ) 是种效率高方法简单的可变长编码。已经广泛用于例像压缩。 2 i 2 帧间编码 帧f u l 编旧主要用的是预测编码( p r e d i c t i v ec o d i n g ) ，又称差值编码( d i 腑r e n t i a l p c m ) 。预测编码是根据已编码的过去象素束预测当| j l 象素并对冀预测误差进 行编码。这种编码方法利用了图像之问的相关性和视觉的差值灵敏度。 帧m 预测编码利用前一帧柬估计当前帧。对于运动图像，为了使预测误差 尽可能小，从l 町达到减少码率的目的就一定要采用适当的预测方法，这个方 法就是运动处理。 运动处理要有两个过程。第一个过程是对返动物体的位移作d 估计，即对 运动物体从上一帧到当前帧何移的方向和象素数作出估计，也就是要求出运动 矢最，这个过程叫做运动估计( m o t i o ne s t i m a t i o n ) 。第二个过程是按照运动矢 量：降上一帧作化移，求出对当的帧的估计这个过程称之为运动补偿( m o t i o n c o m p e n s a t i o n ) 。 运动估讣通过当前帧和过去帧的匹配搜索产牛运动矢量，用这个矢量对过 土帧进行运动补偿，得到当前帧的估计，这个估汁值和当前帧的差值经量化、 编码后与运动矢量一起被送到接收端，用于解码。 返= 山估计一j 。分为两种第一种是按块进行的运动估计，即先将图像分成m x n 小块再按缚一块作计算，弗假定在同一块中的象素具育同样的能移。这个方 浊的优点是接收端莺建图像比较简孽，缺点是发送运动信息增加了所需数据的 码率，并且当一个块的图像象素_ 井小具何同样的化移时，预测误差仍然很人。 第二种是以象素为基础的运动估计算法，也就是运动矢量是对每一象素作估计 它可以克服以块为基准的缺点，但是硬什吱旌报复杂。所以运动估计人都数采 刑按块估计的方法，称块匹配法( b m a ) 。块匹配浊是将一帧图像分成m x n 个 蒙素的备个小块通常是n x n 个象累的方块。假定每帧的最火化移为w 个象 袭，邶么当时块的象素就席在卜一帧的( m + 2 w ) x ( n + 2 w ) 的窗1 2 1 内搜索十日麻的 匹配块。 2 2 几种典型图象编码标准及比较 使过上的儿1 年叫，多媒体技术得到了巨大发展，观代计算= 机和网络不汉 能处理文本干u 图形而且能处理运动图象以及音频信号。为丁满足可视通讯发 展的要求，国际标准化组织相继制i ：r 了系列图象固际标准，例如静止图象压 缩标准j p e g 运动图象压缩标准h 2 6 1 ，h 2 6 3 ，m p e g i ，m p e g 2 以及正在制 第5 贾 上海交通大学硕士学位论丈 订的m p e g 4 等，这些标准的制订满足了特定硬件环境、新的压缩算法以及不 同网络的要求。现有的压缩标准大都是针对某一特定的应用环境而言，实际上 选择一个满足特定应用要求的压缩标准是很难的。现在没有一个最好的普遍适 用的压缩算法，因为在有些环境下要求能实时快速地压缩，例如可视电话。而 在另外一些环境下压缩可以是非实时的，只要能实时地的解码就行例如v o d 系统。 多媒体通讯的最终目的是为了满足最终用户的q o s 要求。所谓q o s 就是满 足最终用户满意程度的综合性能表现，多媒体通讯系统设计人员在设计时需要 考虑各种各样的系统环境约束，例如网络带宽，缓冲大小，网络延时等，这样 才能选择恰当的技术和标准来实现系统。 2 2 1h 2 6 1 图象编码标准口i h 2 6 1 图象压缩标准制定于1 9 9 0 年1 2 月，最初用于在i s d n 上进行可视电 话通讯。它能处理p x 6 4 k b p s ( 其中p = i ，2 ，3 0 ) 运动图象数据流，主要用于可 视电话和可视会议电话系统。 h 2 6 1 只支持两种图象格式，即c i f 和q c i f ，c i f 格式主要用于和电视信 号兼容。所有的h 2 6 1 编码器都要支持q c i f 格式但c i f 格式是可选项。表2 1 是h 2 6 1 图象编码标准图象格式的比较。h 2 6 l 能达到的最大帧速是3 0 帧秒。 h 2 6 1 不支持隔行扫描的图象，和m p e g 一样，h 2 6 1 支持c c i r 6 0 l 的2 ：1 ：1 的 采样格式，对于q c i f 图象来说，没有压缩过的原始数据如果以每秒2 9 9 7 进行 采样，则数据的速率为9 1 1 5 m b i t s s 。在相同的条件下c i f 的速率为3 6 4 5 m b i t s s ， 若要在解码端达到1 0 帧秒，则所需要的压缩比为l ：4 7 5 。这种压缩比用现有的 技术是能够达到的。 c i f o c i f 行帧列触行，帧列，帧 亮度信号y 2 8 83 5 21 4 41 7 6 色度信号c b 1 4 41 7 67 28 8 色度信号c r 1 4 41 7 67 28 8 表2 - ih 2 6 1 图象编码标准图象格式比较 h 2 6 l 采用分层结构来编码，每一帧图象由一定数量的g o b 组成( 对于c i f 来说g o b 为1 2 ，对于q c i f 来说g o b 为3 ) ，接着每个g o b 再分解为3 3 个 m b ，最后每个m b 由4 个8 x 8 的亮度信号和两个8 x 8 的色度信号组成。 h 2 6 1 图象质量一方面决定于图象格式( q c i f 和c i f ) ，另一方面和传输的 网络带宽有关，带宽越高，图象质量越好，为了防止逆变换的积累误差，h 2 6 1 规定宏块每1 3 2 次需要更新一次。 在编码算法方面，h 2 6 1 图象压缩标准在这几个标准中是最简单的。它有两 种编码模式，一是帧内编码方式，利用d c t 变换、量化、h u f f m a n 编码对【 帧进行编码，还有一种帧间编码方式，它类似于m p e g 的p 帧编码，利用帧间 图象的相似性进行压缩，主要是利用帧间运动补偿技术，传送帧间运动补偿的 差值，如果这个差值小于某个预值，对应的宏块就不再编码，而只传相关的运 动矢量。在 l 2 6 l 帧间图象编码的d c t 和变长编码之间加入了一个低通滤波器， 以便消除剩下的高频信号噪声。在h ，2 6 1 中量化是一个线性函数，步长大小 可以根据传输缓冲区中数据的大小来动态改变，因此h 2 6 l 编码器的输出是固 第6 页 海变通大学硕士学世论文 止述率的，图象质量依赖于图象的内容及运动信息。 2 2 2h 2 6 3 图象编码标准 h 2 6 3 图象压缩标准制定十1 9 9 6 年，主要用十低码率图象传输例如h 3 2 4 可观电话系统，传输带宽一般在2 8 8 k b p s i ：t 0 h 2 6 3 图象压缩标准的制订参考了h 2 6 1 其中大部分编码结构和算法与 1 1 2 6 【是柑同的。丰要的小同点在于图象格式，比特流的歼销以及块状效应的 ： ! i 除等方面。 虽然h2 6 3 是h 2 6 1 图象编码标准的扩展，但- 二者在制订时的目标是完令 不同的，h 2 6 l 产目标比特率是p x 6 4 k b p s 。h 2 6 3 的目杯比特率低十6 4 k b p s ， 这卜要是由于二者传输的介质4 i 同。i 2 6 l 丰要用于i s d n ，h 2 6 3 主要用于p s q l n 或无线传输信道。另外二者所支持的图蒙格式也不一样，h 2 6 1 只支持q c i f 和 c i f 两种图象硌式，而h 2 6 3 除了这两种以外还支持s u b q c i f ，4 c i f 和1 6 c i f 璺象格式。h 2 6 1 和h 2 6 3 主要不同点如r ： ( 1 ) 半象素预测 和m p e g 类似，h 2 6 3 运动矢量的精度为半象素。这样更有利十提高逗z 力 f 冒豫质量。 ( 2 ) 不受限制的运动矢量模式 采j h 这种模式的h 2 6 3 的运动矢量可以指向图象帧的外边。 ( 3 ) 8 x 8 返动矢量块 传统的运动矢量一般采用1 6 x 1 6 而d c t 块的大小为8 x 8 。利用h 2 6 3 的 高级模式可以采用8 x 8 运动矢量块。 ( 4 ) 基于晤法的算术编码 这也是h 2 6 3 的选项之一用它柴代替h u f f m a n 编码可以显著减少要传输 的比特数。 ( 5 ) g o b 结构不同 为了提高容错能力，拇个g o bh 包含一个宏块的行。 ( 6 ) 没有b c h 轫：志 山于h 2 6 l 的检错和纠错方法小适用于h 2 6 3 ，所以将b c h 标志去掉。 ( 7 ) 不同的宏块寻址方式 h 2 6 3 寻址的几：销较小，而且它们在宏块缎角_ i 同的可变长编吗表。 ( 8 ) 环路滤波器 卜i2 6 i 采用环路滤波器来消除块状效应，h 2 6 3 由于采用半象素搜索，并且 采用可蕈叠的运动补偿方法，所以不再需要环路滤波器。 ( 9 ) 不同的可变长编码表 h 2 6 3 景化后的系数是用( r u n ，l e v e l ，l a s t ) 束编码，f i ih 2 6 1 是用( f u r l ，l e v e l ) 和块结束符e o b 柬编码。显然h 2 6 3 的编码效率史高些。 ( 1 0 ) 运动矢量的预测 运动矢量采用d p c m 编码，f 哇是h 2 6 3 在接收采用半象素双向插值来预测 与前值，即h 2 6 3 的预测值是前面三个运动矢呈的中值。 鱼表2 - 2 ，h 2 6 3 支持5 种图象格式，它们是c i f 、q c l f 、s u b - - q c f 、4 c i f 、 16 c i f 。日前通过电皤线进行图象传输在保证一定图象质量的前提卜一般不会超 过1 0 帧秒。图象质量的凋整是通过量化器束进行的，同时秆i 所使用的带宽有。 关。系统缴q o s 包括带宽、信噪比以及信号的衰减和同步等。 前7 丽 上海交通大学颤士学位论文 cf q c i f s u b - q c i f 4 c i f1 6 c i f 行撇列帧行，帧列帧行，帧列帧行，帧列帧行 贞列l 愤 亮度信号 2 8 83 5 21 4 41 7 69 61 2 85 7 67 0 41 1 5 21 4 0 8 y l 色度信号 j 4 4】7 67 28 84 86 42 8 83 5 25 7 67 0 4 c b 包度信号 1 4 41 7 67 28 84 86 42 8 83 5 25 7 67 0 4 c r 表2 - 2h 2 6 3 图象编码标准图象格式比较 2 2 3m p e g - 1 图象编码标准h m p e g 1 制定于1 9 9 3 年，它能达到1 2 m b i t s s 的压缩比，最初制订的目标 是在数字存储媒体上进行运动图象的存储和检索，另一目标是和h 2 6 l 以及静 止图象压缩标准j p e g 兼容。应用范围包括图象游戏，图象邮件以及可视电话。 m p e g 1 的制定参考了j p e 0 和h 2 6 l 图象压缩标准，m p e g 1 适用于对称和不 对称的图象压缩，采用y u v 图象格式，其中亮度信号分辨率不超过7 6 8 x 5 7 6 个象素。和h 2 6 1 和h 2 6 3 不同，m p e g 1 支持多种画面长宽比，而且图象的 刷新频率也要编码到数据流中。8 种频率分别为2 3 9 7 6 h z 、2 4 h z 、2 5 h z 、2 9 9 7 h z 、 3 0 h z 、5 0 h z 、5 9 9 4 h z 和6 0 h z 。同时标准还规定了解码缓冲区太小不能超过 3 7 6 8 3 2 比特。帧速率不超过3 0 帧秒。 m p e g 1 编码的数据流结构特点，允许随机访问编码数据流，而且还支持快 放和快倒功能，另外m p e g 1 还能进行声音和图象信号的同步。 和h 2 6 l 一样，m p e o 1 也采用d c t + m c + v l c 的编码方法，不同的是 m p e g 1 采用p b 方式，更有效地减小了空间冗余。m p e g 1 有4 种帧模式： i 帧：类似于h 2 6 1 的i 帧，它的编码不依赖于其它帧，它主要用于减少空 间冗余，压缩效率最低，但它可以随机访问，因此可以用于解码独立的帧，而 不需要解码整个数据流。 p 帧：编码和解码时依赖于前一个i 帧或前几个p 帧。p 帧主要用于减少时 间冗余，它只传送帧间的差值。它的效率要比i 帧高。 b 帧：b 帧编码和解码时需要前一个i 帧或p 帧以及下一个i 帧或p 帧。由 于b 帧利用了下一个i 帧或p 帧，因此它的效率是最高的。 d 帧：d 帧也是用帧内编码，主要用于快进和快退模式它只利用了图象 的低频部分。 2 2 4m p e g - 2 图象编码标准1 7 m p e g 2 可以支持的码率为。它支持隔行扫描方式的图象，并且支40mbs 持h d t v 。m p e g 2 还支持多种图象格式，例如4 ：2 ：0 ，4 ：2 ：2 等。在图象 制式方面，m p e g 2 除支持n t s c 、p a l 等电视图象制式以外还支持用户自定 义的图象制式。 m p e g 2 和m p e o - 1 最大的不同点在于m p e g - 2 支持伸缩性编码，可伸缩 性包含三个方面的内容，一是空间可伸缩性，它是指同一个数据流中可以包含 不同分辨率的图象，例如c i f 格式( 3 5 2 x 2 8 8 ) 3 6 0 x 2 4 0 象素等。二是数据率 可伸缩性，它可以低速或高速地进行图象数据的回放。在m p e g l 中可以利用 d 帧来处理快速回放，但m p e g 2 不使用d 帧，有了数据率的可伸缩性，可以 利用i 帧来进行快速回放。三是幅值的可伸缩性，它指不同的象素具有不同的 第8 页 l 辟交通= 学坝士学位论文 分辨： 三力。法是利用不同的量化步k 来处耻d c t 系数。这就是所谓的分层蚓象 编码。分脏编码n j 以用于数据分离，以便能以更低的错谟来传输更重要的数挑 。 和h 2 6 1 、h 2 6 3 、m p e g l 不同m p e g 2 可以采用可变比特率编码，这 样图象质量就不会仅仅受图象序列运动大小的j i ；l 呐。采用几j 变比特率编码比陶 定比特率编码效率更高。m p e g 一2 另外个 醴重要的编码思想是采用分层编码 方法，低分辨率的圈象信息往低编码臌，而高分辨率的编码数抛在高编码从。 采j ：h 这种分层结构的好处在于能根摒用户的需要和网络的能力柬选择蚓象分辨 牢。每- w - 编码数捌流都出一系列q o s 参数来表