（计算机科学与技术专业论文）面向3g的h264avc压缩视频通信技术研究.pdf

浙江大学博士学位沦文 摘要 摘要 第三代移动通信系统( 3 g ) 的出现使在无线网络中提供各种视频业 务成为可能。由于原始视频信号数据量巨大，必须经过压缩才能在无线 网络中传输。i t u t 和i s o 联合开发的最新视频编码标准h 2 6 4 a v c 由 具有压缩效率高、网络适应能力强等特点，使其成为3 g p p 3 g p p 2 支持 的视频编码标准。而无线信道具有时变、误码率高以及网络带宽资源有 限等特点，使在3 g 网络中传输的f 2 6 4 a v c 压缩视频流具有不同的特点。 本文首先简要介绍了h 2 6 4 a v c 视频编码的基本原理，以及其在3 g 网络的传输和模拟，分析了l 2 6 4 a v c 视频流的传输协议栈和离线模拟 模型。然后对3 g 无线传输中h 2 6 4 a v c 的容错技术和容错策略做出，详 细的分析，给出了不用视频业务中的容错策略和容错工具选用的一般原 则。其次根据3 g 网络的特点阐述了h 2 6 4 a v c 的码率控制方法，实现了 + 种基于e b r 的码率控制方法。最后分析了h 2 6 4 a v c 在面向3 g 终端用 户时必须解决的致性验证、专利费用等实际问题。 本文取得的研究成果主要在以下几个方面： a 1 提出了一种适合于3 g 无线信道的双向视频传输模拟模型 在h 2 6 4 a v c 标准提出之初，v e c g 专家组就提出了一种离线环境 p 的3 g 无线信道的模拟模型( m i p 软件) ，因为其简单方便，所以大量应 用于各种实验中。但是其缺点也是很明显的，即只能用来测试单向视频 传输业务，不能用来测试双向视频业务。本文结合m i p 软件和h 2 6 4 a v c 参考软件，提出了种双向视频传输的模拟模型。在这个模型中，充分 利用了双向视频传输时的反向信道来反馈视频传输的结果，在编码器端 采用多参考帧的情况下，编码器可以根据反馈的结果对参考帧进行相应 改变，从而提高编码视频的容错能力。该模型町阱模拟在不同的时延和 不同的反馈参数下的传输效果，其模拟能力和有效性也在文中得到了验 证。 浙江大学博士学位论文 捕g b 1 针对h 2 6 4 a v c 视频流在3 g 无线信道中的传输，提出了编码器端 容错工具选择的基本策略 编码器端的容错对各种视频应用来说都是很重要的， l 2 6 4 a v c 中 编码器端可以选用的容错工具相对来说也最多，但是如何有效利用和选 择这止! 容错工具并没有一个统一的标准。本文分析了编码器端的各种容 错工具及其在3 g 无线信道上的适用性，在大量比较实验的基础上提出 一种编码器端容错工具选择的基本策略，即在这种高误码率和带宽有限 的环境中，在编码时候不仅要考虑到容错方案的纠错能力，而且要充分 考虑到码率的限制，应当充分利用宏块间的空问相关性，提高视频编码 的效率，复杂的f m o 方式和随机帧内编码宏块刷新反不利于视频质量 的提高。 c ) 针对3 g 无线信道中的码率控制，提出了一种实现e b r 码率控制算 法的方案 传统的基于v b r 的码率控制算法要求在一段较长的时间内编码器 的输出能达给定的比特率，每帧图像占用的比特数可以按照复杂度的大 小在较长的时间内动态地进行调整。而基于e b r 的码率控制算法要求每 帧图像输出给定的片数，而每个片的输出比特数不能超过指定的大小， 这就使得e b r 算法的实现方法与v b r 算法的实现方法有很多不同。本 艾提出了种自适应动态分片的策略来实现e b r 编码，首先对g o p 中 酋个i 帧和p 帧进行一种反馈性的编码方法来确定合理的分片位置，其 分片结果作为g o p 中余下p 帧的参考。g o p 中剩余p 帧的分片基于m a d 的预测来进行，这里m a d 的预测采用一种类似于j v t 参考软件中的线 性预测模型。本文采用的这种分片方法，在保证编码效率的同时，相对 f 简单的固定分片方法来说，能有效地提高信道资源的利用率，提高了 视频编码的质量。 关键词：视频通信3 g 系统容错技术码率控制视频编码h 2 6 4 a v c 浙江大学博士学位论文 a b s t r a c t t h ee m e r g i n go ft h i r dg e n e r a t i o nm o b i l es y s t e m ( 3 g ) m a k e sv a r i o u sv i d e o a p p l i c a t i o n si nw i r e l e s se n v i r o n m e n tp o s s i b l e o r i g i n a lv i d e od a t am u s t b e c o m p r e s s e df o rt r a n s m i s s i o ni nw i r e l e s sn e t w o r kb e c a u s eo fi t sh i g hb a n d w i d t h t h en e w e s tv i d e oc o d i n gs t a n d a r dh 2 6 4 a v cd e v e l o p e db yi t u ta n di s o ， w h i c hh a st h ec h a r a c t e r i s t i co fh i g hc o m p r e s s i o nr a t ea n dr o b u s ta d a p t a b i l i t yf o r d i f f e r e n tn e t w o r k s ，w a ss e l e c t e db y3 g p p 3 g p p 2a so n eo ft h ev i d e oc o d e ct o o l s j n3 ( 1b e c a u s eo fw i r e l e s sn e t w o r k sc h a r a c t e r i s t i co ft i m ev a r i a t i o n h i g hb i t e r r o rr a t ea n dl i m i t e db a n d w i d t h s oh 2 6 4 a v cu s i n gi n3 gn e t w o r kh a ss o m e s p e c i a lp o i n t s i nt h i sp a p e r , f i r s t l yw ei n t r o d u c e dt h eb a s i cv i d e oc o d i n gt h e o r i e sa n dv i d e o c o d i n gt o o l so fh 2 6 4 a v c ，a n dt h e nw ep r e s e n t e dc o m p r e s s e dh 2 6 4 a v cv i d e o t r a n s m i s s i o ni n3 gw i r e l e s sn e t w o r k t o g e t h e rw i t ht h e0 m i n ev i d e ot r a n s m i s s i o n s i m u l a t i o ni n3 gw i r e l e s sn e t w o r k s e c o n d l yw es t u d i e dt h ee r r o rr e s i l i e n c et o o l s a n de r r o rr e s i l i e n c es c h e m e so fh 2 6 4 a v ci n3 gw i r e l e s sn e t w o r k h e r ew e f o u n ds o m eb a s i cp r i n c i p l e sf o re r r o rr e s i l i e n c et o o l ss e l e c t i o n ，a n da l s o p r e s e n t e ds o m ee r r o rr e s i l i e n c es c h e m e sf o rv a r i o u sv i d e oa p p l i c a t i o n si n3 g t h i r d l yw ea d d r e s s e dt w od i f f e r e n tr a t ec o n t r o lm e t h o df o r3 qa n dw ef o c u s e do n t h er e a l i z a t i o no far a t ec o n t r o lm e t h o db a s eo ne b rt e c h n o l o g y a tl a s tw e i n t r o d u c e ds o m ea p p l i c a t i o nt o p i c s ，s u c ha sh 2 6 4 a v cc o n f o r m a n c e ，p a t e n t l i c e n s ea n dt h ec o m p a r i s o no f h 2 6 4 a v ca n da v s p 7 i nt h i sp a p e r , w eg o ts o m ea c h i e v e m e n t sl i s t e da sf o l l o w s ： a ) av i d e oc o m m u n i c a t i o ns i m u l a t i o nm o d e lw a sp r e s e n t e d ，w h i e hw a s s u i t a b l ef o rb i d i r e c t i o n a lc o n v e r s a t i o h a lv i d e ot r a n s m i s s i o ns i m u l a t i o ni n3 g w i r e l e s sn e t w o r k a f t e rt h eb i r t ho fh 2 6 4 a v cv i d e oc o d i n gs t a n d a r d ，v c e ge x p e r t sh a v e p r e s e n t e da no f n i n em o d e lf o rv i d e ot r a n s m i s s i o ns i m u l a t i o ni n3 gw i r e l e s s n e t w o r k i tw a sw i d e l yu s e db e c a u s eo fi t ss i m p l i c i t ya n dc o n v e n i e n c ef o rr i s e b u tt h es h o r t c o m i n g so ft h i sm o d e lw e r eo b v i o u s ，b e c a u s ei tw a sn o ts u i t a b l ef o r u s ei nb i d i r e c t i o n a lc o n v e r s a t i o n a lv i d e ot r a n s m i s s i o ns i m u l a t i o n h e r ean e w m o d e lw a sp r e s e n t e d w h i c hu s e dr e v e r s ec h a n n e lo fb i d i r e c t i o n a lt r a n s m i s s i o nt o t r a n s m i tf e e d b a c ki n f o r m a t i o nt ov i d e oe n c o d e r , a n dt h e nv i d e oe n c o d e rc a nm a k e c h a n g e sa c c o r d i n g l ya n di m p r o v ee r r o rr e s i l i e n c ea b i l i t yo fo u t p u tv i d e os t r e a m 浙江大学博士学位论文a b s l r a c t t h i sm o d e lc a l lw o r ku n d e rd i f f e r e n tt i m ed e l a ya n dd i f f e r e n tp a r a m e t e r s ，a n di t s v a l i d i t ya n da b i l i t yw a sp r o v e di nl a t t e re x p e r i m e n ti nt h i sp a p e r b 、s o m ee r r o rr e s i l i e n c e s e l e c t i o np r i n c i p l e sf o rh 2 6 4 a v ce n e o d e rw e r e p r e s e n t e df o rv i d e ot r a n s m i s s i o ni n3 g w i r e l e s sn e t w o r k e r r o rr e s i l i e n c ei ne n c o d e ri si m p o r t a n tf o ra l lv i d e oa p p l i c a t i o n s ，a n d t t 2 6 4 1 a v ch a sp r o v i d e dm a n ye r r o rr e s i l i e n c et o o l s ，b u th o wt os e l e c ta n dm a k e f 、u l lu s eo ft h e s et o o l sd o e s n th a v es o m eb a s i cs t a n d a r d i nt h i sp a p e r ，w e a n a l y z e dv a r i o u se r r o rr e s i l i e n c et o o l sa n dt h e i ra p p l i c a b i l i t y i n3 gw i r e l e s s n e t w o r k ，a n dt h e nw ep r e s e n t e ds o m ee r r o rr e s i l i e n c et o o l ss e l e c t i o np r i n c i p l e si n t h i ss i t u a t i o n ，t h a ti s ，i nt h i se r r o r p r o n ea n db a n d w i d t h l i m i t e de n v i r o n m e n t ，w e s h o u l dn o to n l yc o n s i d e re r r o rt o o l s r e c t i f i c a t i o na b i l i t yb u ta l s oc o n s i d e rt h e l i m i t a t i o no fb i tr a t e ，s ow es h o u l dm a k ef u l lu s eo fs p a t i a lc o r r e l a t i o no f m a c r o b l o c k st oi m p r o v ee n c o d i n ge f f i c i e n c y ，a n dc o m p l e xf m os t y l e sa n d r a n d o mi n t r am a c r o b l o c k sr e f r e s h i n gw e r ed i s a d v a n t a g e o u sf o rv i d e oe f f i c i e n c y i m p r o v e m e n t c ) a ni m p l e m e n ts c h e m ew a sp r e s e n t e df o rv i d e or a t ec o n t r o lb a s e do ne b r t e c h n o l o g yo fh 2 6 4 a v c l r a d i t i o n a lv b rr a t ec o n t r o lm e t h o dc a ns m o o t ht h eo u t p u to ft h ee n c o d e ri na r e l a t i v e l yl o n gt i m et or e a c ha l lo b j e c t i v eb i tr a t e ，s ot h eo u t p u tb i tr a t eo fe a c h f r a m em a y v a r ya c c o r d i n gt oi t sc o d i n gc o m p l e x i t y b u te b r r a t ec o n t r o lm e t h o d s p l i to n ef r a m ei n t of i x e ds l i c e s ，a n dt h eo u t p u tb i tr a t e o fe a c hs l i c ec a n n o t e x c e e daf i x e ds i z e ，s ot h ei m p l e m e n tm e t h o do fe b rr a t ec o n t r o li sd i f f e r e n t f r o mt h ev b rr a t ec o n t r 0 1 t h i sp a p e ri m p l e m e n t e da ne b rr a t ec o n t r o lm e t h o d b a s e do nd y n a m i cs l i c es t r u c t u r e t h ef i r s tif r a m ea n dpf r a m ei nag o pa r e e n c o d e db yat r y a n d t e s tm e t h o d ，t h e nt h ef o l l o w i n gpf r a m e si nt h eg o pa r e e n c o d e db yam a d p r e d i c a t i o nm e t h o d ，h e r ew eu s eal i n em o d e lt op r e d i c tm a d v a l u ef r o mp r e v i o u spf r a m e c o m p a r e dw i t hs i m p l es l i c em e t h o d ，o u rm e t h o d c a ne f f i c i e n t l yu s ec h a n n e lr e s o u r c e sa n dg e t sab e t t e re n c o d i n gq u a l i t y k e y w o r d s ：v i d e oc o m m u n i c a t i o n ，3 gs y s t e m ，e r r o rr e s i l i e n c et e c h n o l o g y ，r a t e c o n t r o l ，v i d e oc o d i n g ，h 2 6 4 a v c 浙江大学博士学位论文图表目录 图表目录 阁l d s c q s 测试系统，3 圈l2 混合视频编码模型的基本流程4 图l3 视频压缩技术的发展历史6 阁21h 2 6 4 1 a v c 与m p e g 4 编码性能比较1 2 图22 压缩视频序列经p l r = 1 0 3 g 无线信道传输后的结果1 3 图23h2 6 4 a v c 编码器框图1 4 圈2 4h 2 6 4 a v c 解码器框图1 4 图25h 2 6 4 1 a v c 定义的档次，1 5 斟264 4 亮度块帧内预测模式 1 8 图2 71 6 1 6 亮度块( 8 8 色度块) 帧内预测模式1 9 罔28 树状帧间预测结构1 9 罔29 分数像素值的计算2 1 图2 1 0 亮度块1 4 像素精度运动补偿，2 2 蚓2 1 i 宏块中残差块的扫描传输顺序 2 4 圈21 2 环路滤波的顺序2 7 h2 i3 环路滤波系数的确定2 8 目2 ，1 4 垂直边界和水平边界周围用来做环路滤波的点2 8 圈3 1c d m a 2 0 0 0 分组域系统结构3 3 隆3 2w c d m 3 分组域系统架构，3 3 圈3 3u m t s 用户平面协议栈结构3 8 陶3 ，4u m t s 无线空中接口协议模型3 9 强3 ，5 简单i p 时c d m a 2 0 0 0 系统提供数据业务时西议栈结构4 0 蚓3 6h 2 6 4 a v c 语义分层结构4 l 煳37n a l 单元头结构4 2 网3 8r t p 包头结构4 2 隔3 9c d n a 2 0 0 0 系统中n a l 单元封装过程示意图4 3 陶31 0u m t s 系统中n a l 单元封装过程示意图4 3 幽3 1 】离线模拟模型操作流程图4 5 斟3 ，1 2c d y t a 2 0 0 0 系统中m i p 软件丢包过程4 6 吲3l3 双向视频传输模拟模型操作过程4 9 幽3 ，143 g 离线环境双向视频传输模拟系统框架图 5 0 陶4l 参数集逻辑结构5 5 图4 2j m 参考软件中的分片方式示意图5 6 4 3q c i f 格式图像中各种f m o 方式5 7 浙江丈学博士学位论文图表目录 蚓4 4f e c 技术在r t p f u d p i pm b m s 业务中的传输机制5 8 罔45 片中宏块进行错误隐藏的顺序5 9 网4 6 帧内编码宏块的错误隐藏示意图6 0 圈47 帧问编码宏块的运动矢量的预测6 l 幽4 8a r q 重传机制示意图6 2 幽49 编码器视频传输容错方案示意图6 5 图4l 0c a r p h o n e 序列在不同容错方案下的解码结果6 7 图4 f o r e m a n 序列在不同容错方案下的解码结果，6 8 圈4 12 积向视频传输容错方案6 9 陶413 双向视频传输模拟结果( f o r e m a n 序列，7 6 0 帧，1 0 f p s ) 一7 0 阉4 i 4 邶粥业务中f e c 实验结果，7 2 图5l t r d 缓冲区参考模型7 5 圈52v b r 模式中编码器典型输出7 7 幽5 3v b r 视频流在3 g 无线信道e 的传输( r l c p d u ：1 6 0 b y t e s ) ，7 8 幽5 4e b r 编码器典型输出8 0 陶5 5f b r 视频流在3 g 无线信道上的传输8 0 罔56c d m a 2 0 0 0 系统中每帧输出组合图8 2 图5 7 视频序列中首个1 帧和首个p 帧的编码示意图8 5 图5 8 剩余p 帧和i 帧编码流程8 6 图59u m i s 系统中无差错信道上v b r 、e b r 两种编码方式结果比较( f o r e m a n 序列) 8 7 圈5 i 0c d m a 2 0 0 0 系统中无差错信道上v b r 、e b r 两种编码方式结果比较( f o r e m a n 序列) 8 8 幽5 ，1le b r 和v b r 易错信道测试模型8 9 图51 2u m t s 系统中易错信道上v b r 、e b r 两种编码方式结果比较( f o r e m a n 序列) 9 0 嘲51 3c d m a 2 0 0 0 系统中易错信道上v b r 、e b r 两种编码方式结果比较( f o r e m a n 序刿) 9 0 斟51 4v b r 视频传输实例9 2 图51 5e b r 视频传输实例9 3 罔6 im p e gl a 专利费收取类别9 7 陶6 2a v s 采用的p i t 编码框架1 0 0 斟6 ：ja v s lp 7 与h 2 6 4 a r c 性能比较1 0 1 袭1 1 主观评价分数标准3 表2 一lh 2 6 4 a v c 与各种视频编码标准节省比特率的比较 1 2 表3 1v c e g - n 8 0 离线模拟测试文件4 7 表3 2s 4 0 4 0 8 0 3 中t b m s 业务离线模拟测试文件4 7 表3 3s 4 0 4 0 8 0 3 中p s c 业务离线模拟测试文件4 8 丧4 1 详细的容错方案6 6 衷4 2c a r p h o n e 视频测试序列实验结果( 6 4 k b p s ) 6 6 x 浙江大学博上学位论文 图表目录 表4 3f o r e m a n 视频测试序列实验结果( 6 4 k b p s ) 夜4 4f e c 实验测试条件 轻5 1e b r 编码重要参数 表5 - 2 小同编码方式编码结果比较 丧5 3 固定分片方法和动态分片方法编码结果比较 x i 6 7 7 1 8 8 9 l 9 l 绪论 第l 章绪论 随着科学技术的发展，多媒体业务逐渐成为互联网的主要内容之一，而第 一代移动通信技术( 3 g ) 的出现，使移动多媒体业务逐渐成为消费者和服务提 供商的新宠。视频信息是多媒体业务的核心内容，但原始视频信号的数字表示 需要较高的容量，为了方便视频信号在无线网络中的传输，必须实现对视频序 列的高效率压缩。另外一方面由于无线信道的带宽有线、高误码率等特点，使 视频编码算法的容错性能和码率控制策略显得尤其重要。最近以来技术的进步 使得数字信号处理器的能力大大增加，而半导体器件的成本却显著降低。这些 发展使得对时间敏感的复杂信号处理算法碍以实现。在视频通信中，这些算法 用于视频信号的压缩，可以获得很高的压缩效率和最好的容错性能，提高终端 用户的感观质量。 1 1 视频压缩的目的 由于视频数据或是存储在硬盘、c d 、d v d 等存储器中，或是在网络上进行 传输，数字视频数据量的大小成为多媒体应用中非常重要的问题。原始数字视 频信号占有很大的带宽，如果视频流以未压缩的格式传输，不论何种网络平台， 视频应用都会使通信媒体的带宽资源紧张。例如，假设视频帧以q c i f 格式来 表示，其每帧像素个数为1 7 6 1 4 4 ，其采样8 位4 ：2 ：0 格式，则每个视频帧大 约需要3 8 k b 的存储容量。如视频流的帧率为1 5 帧秒，那么原始的视频序列数 据约为4 ，5 6 m b p s ，而每分钟的视频数据需要3 4 2 m 的带宽。 如果采用双向通 信的方式，即视频电话所采用的通信方式，则带宽需要加倍，原始视频序列双 向带宽约为9 1 2 m b p s 。而3 g 通信中，提供给终端用户带宽最高为2 m u p s ，如 果视频流不经过压缩，显然无法在无线信道中传输。因此，视频编码的基本目 的就是在保证视频质量的前提f ，尽量减少视频输出的数据量，以方便视频流 的传输和存储。 1 2 用户对视频业务的基本要求 视频业务最终都是为终端用户服务的，大多数用户都必须直接或间接为视频 、m 务支付费用，所以业务提供商必须满足用户对视频业务的基本要求。而这些 要求在视频通信中经常是相互冲突的，为了达到了用户的需求，经常需要采取 些折衷。下面定义了一些用户对数字视频的基本要求。 1 2 1 视频质量和输出比特率 在视频业务提供商选择视频编码算法时，视频质量和输出比特率是两个最 浙江大学博士学位论文：面向3 g 的h 2 6 4 a v c 压缩视频通信技术研究 喧要的因素。一般来说，对于个给定的压缩机制，输出带宽越高，视频质量 越好。然而，在大多数的多媒体应用中，视频传输所占用的带宽受限于信道传 输能力或者传输功率。因此，为了满足视频业务的最佳性能和网络资源的最佳 利用，需要平衡网络吞吐量和视频质量之问的关系。 另外一个决定视频质量要求的是视频业务的类型。以视频电话为例，用户 需要足够的视频质量，以辨识出另一端相应用户的面部特征；而在视频监控中， 用户仅需要检测出视频中的人体大概轮廓和工作。而在远程医疗中，服务质量 必须使得远程终端用户能够辨识图像中的细枝末节。除了应用类型外，其他一 些因素如帧率、像素采样精度、图像分辨率等，也影响着编码器所能提供的视 频质量和输出比特率。在一般的视频通信中，人的主观感觉质量和客观质量是 应用开发和设计的基本尺度 1 。然而，在多媒体通信中，编码视频流在网络上 传输，容易受到信道错误的影响，所以在考虑视频质量的同时，开发者也必须 考虑到编码视频流对差错的鲁棒性，以减轻差错的恶劣影响，保证接收端的业 务质量。 1 2 2 视频编解码的复杂度 视频编解码算法的复杂度与编解码过程中所执行的计算量有关，通常复杂 度由这些过程所执行的浮点运算量( f l o p ) 来衡量，与编解码所用的硬件类型 小相关。对于实时通信应用，视频编码器需要降低成本来吸引市场。要减少算 法中的处理时间，必须采用一些高速昂贵的器件，从而增加了总体成本。为了 加速推广新应用，许多复杂的算法已经被简化。最近v l s i ( 超大规模集成电路) 技术的发展，出现了更快更低廉的d s p ( 数字信号处理器) 和f p g a ( 现场可 编程门阵列) ，使新产品的开发周期更短、成本更低。另外一个与复杂度相关的 问题是功率消耗。在移动通信应用中，由于移动终端的电池容量有限，必须减 少移动终端的功率消耗来延长电池寿命，因此其对视频编解码器的复杂度更为 敏感。 1 2 3 音视频同步 大多数视频业务是和语音业务结合在一起的，必须在音频流和视频流之间 保持同步，以达到用户满意的性能。最基本的实例是电影或电视中，双唇的活 动必须与其声音致。由于很多情况下音频流和视频流之间是分开传输的，而 般音频流的数据量要远小于视频流的数据量，在它们之间获得同步最简单的 办法是利用缓冲区，在两者达到统一的时间之后进行播放。 浙江大学博士学位论盘：面向3 g 的h 2 6 4 a v c 压缩视频通信技术研究 蕈要的因素。一般来说，对r 一个给定的压缩机制，输出带宽越高，视频质量 越好。然而，在大多数的多媒体应用巾，视频传输所占用的带宽受限于信道传 输能力或者传输功率。因此，为了满足视频业务的最佳性能和网络资源的最佳 利用，需要- f 衡删络吞i 止量和视频质量之问的关系。 另外一个决定视频质量要求的是视频业务的类型。以视频电话为例，用户 需要足够的视频质量，以辨识出另一端相应用户的面部特征；而在视频监控中， j = 1 j 户仅需要检测出视频中的人体大概轮廓和工作。而在远程医疗中，服务质量 必须使得远程终端片j 户能够辨识图像中的细枝j 未仃。除了应用类刑外，其他一 砦因素如帧率、像素采样精度、图像分辨率等，也影响着编码器所能提供的视 频质量和输出比特率。在一般的视频通信中，人的主观感觉质量和客观质量是 随崩开发和设计的基本尺度f 1 1 。然而，在多媒体通信中，编码视频流在网络上 传输，容易受到信道错误的影响，所以在考虑视频质量的同时，开发者也必须 考虑到编码视频流对差错的鲁棒性，以减轻差错的恶劣影响，保证接收端的业 务质量。 1 2 2 视频编解码的复杂度 观频编解码算法的复杂度与编解码过程中所执行的计算量有关，通常复杂 度由这些过程所执行的浮点运算量( f l o p ) 来衡量，与编解码所用的硬件类型 4 , n 关对于寅时通信应用，视频编码器需要降低成本来吸目f 市场。要减少算 法巾的处理时问，必须采用一些高速昂贵的器件，从而增加了总体成本。为了 加速推广新应用，许多复杂的算法已经被简化。最近v l s i ( 超大规模集成电路) 技术的发展，出现了更快更低廉的d s p ( 数字信号处理器) 和f p g a ( 现场可 编程门阵列) ，使新产品的开发周期更短、成本更低。另外一个与复杂度相关的 问题是功率消耗。在移动通信应用中，由于移动终端的电池容量有限，必须减 少移动终端的功率消耗柬延长电池寿命，因此其对视频编解码器的复杂度竖为 敏感。 1 2 3 音视频同步 大多数视频q k 务是和语音业务结合在一起的，必须在音频流和视频流之间 保扮同步，以达到用户满意的忖能。最基本的实例是电影或电视中，取唇的活 动必颁与其声音。致。由于很多情? 兕r 音频流和视频流之间是分开传输的，而 般膏频流的数据量要远小于视频流的数据量，在它们之间获得旧步最简单的 办法足利用缓冲区，在两者达到统一的时间之后进行播放。 办法是利用缓冲区，在两者达到统一的时间之后进行播放。 1 2 4 延迟 在实时视频业务中，一帧图像的编码和接收端解码间的延迟要保持最小量。 编码器处理过程以及数据缓冲所引入的延迟，与网络中的长时间排队延迟所引 入的响应时间有所不同。视频编码中的延时是基于内容的，并随着当前帧的编 码复杂度而改变，当前帧如果活动量增加延时会增长。在视频通信中，长编码 延时会降低视频质量，从而必须在图像质量、时间分辨率和编码延时间作出折 衷。通常，在视频通信中时间延时高于0 5 s 就不能让对方满意，并会导致音视 频的同步问题。 1 3 视频质量评价 对编码视频重建后的图像质量进行评价大体上可以从主观和客观两个方面 来进行。 1 3 1 主观质量评价 表l l 主观评价分数标准 主观视频质量评价主要靠人的眼睛来进行，利用人的主观感受来对视频质 量进行打分。由于每个人的视觉系统不尽相同，对视频内容的熟悉程度也不 样。为了减少主观随意性，在对视频图像进行主观评定前，选若_ f 名专家和“非 号家”作为评分委员，共同利用5 级或7 级评分方法对重建后的视频图像进行 评定，见表1 - 1 。最后按照加权平均法则得到总体得分。 图1 1d s c q s 测试系统 浙江大学博士学位论文- 面向3 g 的h2 6 4 a v c 压缩视频通信技术研究 测试方法可用随机的次序请评委比较原始图像和重建后的图像。国际上称 为d s c q s ( d o u b l es t i m u l u sc o n t i n u o u sq u a l i t ys c a l e ) 测试系统，如图1 1 所示。 其中，s 为原始图像，d 为重建图像，以任意s 、d 次序请评委打分评定。 1 3 2 客观质量评价 视频序列的质量可以通过使用某些数学准则来衡量，如信噪比( s n r ) ，峰 值信嗓比( p s n r ) 或均方误差( m s e ) 。这些度量标准可以认为是客观的，因为 它们取决于输入和输出视频帧的像素亮度和色度值，不包括任何在质量评估过 程中的人为的主观干预。对图像和视频来说，客观衡量多选用p s n r 和m s e ，它 们的定义分别如”n ，弋2 p s n r = l o l g _ _ 酉嘉= ( 卜1 ) 志善荟伊姗) 】2 心2 最万萎善护姗) j 2 ( h ) 其中，m 和n 是视频图像的宽度和高度，石( f ，) 和量( f ，) 分别是原始图像和 重建图像的( i ，j ) 点的亮度或色度值。 主观的视频质量评分更接近于人的真实视觉感觉，但需耗费人力和时间， 成本较高。客观视频质量测定方法速度快、容易实行，虽然往往不会太适合人 眼的视觉感觉，但能反映大体上的质量情况，所以在本文中采用客观p s n r 值的 方法来对视频质量进行评价。 1 4 视频编码的基本原理 输入视频 数据 图1 ，2 混合视频编码模型的基本流程 输出比特流 为了适应不同的应用环境，现代视频编码标准有很多，但基本原理都相差不 人。图1 2 是最常用的基于分块的混合视频编码( h y b r i d v i d e oc o d i n g ) 技术基 本流程图。其中最重要的环节是时间模型、空间模型和熵编码模型，其作用分 别是消除视频数据在时间、空间和统计上的冗余，从而能有效地减少输出比特 流的大小。 经过时间采样( 不同帧率) 和空间采样( 不同分辨率) 的原始输入视频数 据，相邻帧之间的数据存在着很大的相似性( 时间冗余) ，经过空间模型变换( 基 f 分块的运动估计和运动补偿) ，相邻帧之间的时间冗余被有效地消除，剩下的 数据是运动向量和残差数据。其中运动向量直接进行熵编码，而残差数据再在 空问模型中进行变换。空间模型变换( d c t 、量化等) 使残差数据从空间域变 换到频率域，并且低频分量和高频分量分离，对高频分量进行有损量化，从而 在图像质量损失最小的条件下压缩视频数据。采样这种方法空问模型可以利用 空间上相邻像素之间的相似性来消除空间冗余。而熵编码( 如h u f f m a n 编码或 算术编码) 能有效地消除视频输出数据在统计上的冗余。当前编码的视频帧在 进行熵编码之前，要同步进行熏建，存储在缓冲区作为后续帧的参考帧。 1 5 视频编码技术发展历史 视频编码技术经历数十年的发展，才取得今天的成就。图1 2 中列出从5 0 年代以来的视频编码技术的发展历史和时间线 2 。其中熵编码技术发明于2 0 世纪4 0 年代末，但应用在视频编码中是在6 0 年代，到8 0 年代出现了2 维可变 长度编码v l c ( v a r i a b l el e n g t hc o d e ) 和算术编码之后熵编码技术才逐渐走向 成熟。差分脉冲编码调制d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) 技术出现 十1 9 5 2 年，同年应用于视频编码。d p c m 技术一直发展到8 0 年代，被后来h 现的变换编码技术所采用，从而成为复合视频编码技术中的一个环节，而不 是作为一种编码技术单独使用。 6 0 年代后期变换编码技术被用于视频压缩，7 0 年代的发展使变换编码技术 成为空间编码最重要的技术。在混合编码器中，变换编码技术被用来消除像素 间的空间