（计算机应用技术专业论文）视频流化自适应错误控制技术研究.pdf

摘螫 摘要 随着多媒体技术的快速发展和网络的推广普及，基于i n t e m e t 的流媒体应用尤其怒 视频漉化应用在教育、科研、亵业以及远程医疗等领域于导到了广泛的应用，并且显示出 了强劲的增长趋势。近几年来，无线通信技术3 g 也有了长足的发展，世界各大技术厂 商和运营商都对其投入了大量的人力物力进行推广和研究，丽3 g 的一个核一心业务就是 宽带无线多媒体应用。由此可见，流媒体应用具察重要的研究和应用价值。但是爨前的 i n t e m e t 还不能为流媒体应用提供很好的网络传输服务，还有很多问题需要解决。本文 主要针对在网络中传竣视频过程巾视频数据的错误控制闻魃进行研究，主要的研究内容 如下： 1 自适应的m p e g 视频流前向纠错算法 网络视频应用经常会受到数据丢包丢失或错误以及网络带宽资源不足的于扰。相关 研究表明：在多数情况下，动态交化的网络带宽和丢包率是影晌视频流化质量豹关键因 素。因此为了保证视频质量，可以采用前向纠错编码( f e c ：f o r w a r de r r o rc o r r e c t i o n ) 来 提高视频数据传输的可靠性：闷对为了适应网络状态的变化，发送端可以调节视频数据 的发送速率，并在视频源数据与f e e 数据之间合理分配网络传输带宽。本文首先通过对 视频流结构的分析，在充分考虑帧之间的依赖关系和帧类型的基础上提出了一种帧的解 码模型；在此基础上，建立了用于在丰觅频源数据和f e c 数据之闯分配网络带宽资源的优 化算法。实验表明：该模型可以有效地适应网络状态的变化，并通过优化分配网络带宽 资源来增加接收端接收帧的数量。 2 ，f g s 视频均等质量流化算法 精细粒度扩展编码( f g s ：f i n e g r a n u l a r i t y s c a l a b i l i t y ) 由于具有报强的灵活性和较好 的视频流化性能已经被m p e g 4 和h 2 6 l 等标准所采用。f g s 一个突出的特点是可以 随意裁减以适应网络带宽的变化，但是简单的裁减方法容易造成连续图象质量抖动过 大，丽用户通常秀望图象质量尽可能的平滑。本文在相关研究的基础上，分别讨论了在 无攒和有损条件下进行f g s 编码均等质量流化的算法。本文的算法基于f g s 的分致线 性率失真模型和滑动窗口，在无损条件下使用二分法在当前窗口中的所有帧之间进行速 率分配以实现均等质量流化：在有损条件下通过酝适应的启发式算法并结合前项纠错技 术来达到同样的目的。实验结果表晴，在两种情况下，本文的算法均可以获得较好的流 化效果，与对比实验的结果相比连续图像质量的变化更加平滑。 3 岛适应的视频流化错误控制策略 在视频流化中，为了保证接收端的视频质量同时使流化系统有较高的使用效率，计 算复杂度、码率和延迟是视频流化错误控制技术必须权衡的三个因素。在实际应用中龙 其是在无线应用中，接受端所能允许的计算复杂度、码率和延迟往往随着外界条件而不 断变化的。本文提出一种自适应的视频流化错误控制策略，即：对于某一个具体的应用， 室篓妻! 兰堕簦i ：鲞笙笙茎：鲨塑鎏堡垒鎏塞篷鏊墼! ! 垫查黧! 壅一 不餐寝该梭据鞠飨姨惫下这三璞搔摇的龛诲毽逸择逶当瓣援菝滚纯错误控裁方察，还盛 该根据遗三顶指橱的允许值的变化丽动态地改变所采用的视频流化错误控制方絮。为了 这裂这个强拯，嚣要准臻预测计簿复杂黢、码率髑延迟戆变化，必_ l 鞋：零文提出了基于颈 溯的自适应视频流亿错谖控制策略，采阂基于k a l m a n 滤波器豹预测算法，预测该三项 拯标豹交他，实验结鬃袭疆，本文醵冀法可以邀萼亍毖较凇确的预测，从谣镬发送端及时 调整错谈控制策略。 关键谣：错误控锻藩国纠镄胃疆藏犊率穰缍羧度扩瀑缓褥率失奏摸燮翅等凌量 一。，。，二! ! ! ! ! ! ! ，。， l _ _ _ _ 1 _ - - _ _ _ 。_ - _ _ _ _ 。_ _ _ _ _ _ _ 。_ 。_ _ 。_ 。_ _ _ 。_ 。1 。_ _ - - _ _ _ _ _ _ _ 。_ 。_ 。”一 a b s t r a c t w i mt h er a p i d l yd e v e l o p m e n to fm u l t i m e d i at e c h n o l o g i e sa n dt h ep r e v a l e n c eo fn e t w o r k ， s t r e a m i n gm e d i aa p p l i c a t i o n so v e ri n t e m e te s p e c i a l l yt h ev i d e os t r e a m i n ga p p l i c a t i o n sh a v e b e e nw i d e l ya p p l i e di nt h ef i e l d ss u c ha se d u c a t i o n 、r e s e a r c h 、c o m m e r c ea n dr e m o t e m e d i c i n e ，a tt h es a m et i m e ，t h ei n c r e a s i n gt r e a d sa r es t i l li n t e n s i v e i nt h er e c e n ty e a r s ， m o b i l ec o m m u n i c a t i o nt e c h n o l o g y , i e 3 gh a sg a i n e dg r e a tp r o g r e s s m a n ym a i n m a n u f a c t u r e ra n do p e r a t o rh a v ei n v e s t e dv o l u m eo fm a n p o w e ra n dr e s o u r c e si ns p r e a da n d r e s e a r c h 。a n dac o r eo p e r a t i o ni n3 gi st h ew i r e l e s s 恸d e b a n dm u l t i m e d i aa p p l i c a t i o n s 。t h u s i tc a nb es e e nt h a ts t r e a m i n gm e d i ah a v ei m p o r t a n tw o r t ho fr e s e a r c ha n da p p l i c a t i o n b u tt h e c u r r e n ti m e m e tc a l ln o tp r o v i d es a t i s f a c t o r ys e r v i c ef o rs t r e a m i n gm e d i a ，a n dm a n yp r o b l e m s h a v et ob es e t t l e d t h i sp a d e rf o c u so nt h ep r o b l e m st h a to c c u rw h e nv i d e oi sd e l i v e r e do v e r n e t w o r k ，a n dt h em a i nc o n t e n ti sl i s t e da sf o f l o w s ： 1 a d a p t i v ef o r w a r de r r o rc o r r e c t i o na l g o r i t h mf o rm p e gs t r e a m i n gv i d e o v i d e oa p p l i c a t i o n so v e rn e t w o r ka r eo f t e nd i s t u r b e db yd a t ap a c k e tl o s so re r r o r sa sw e l l a st h ei n s u f f i c i e n c yo fn e t w o r kb a n d w i d t h s o m er e l a t e ds t u d i e sh a v ed e m o n s t r a t e dt h a ti n m a n yc a s e s ，t h ef l u c t u a t i o no fn e t w o r kb a n d w i d t ha n dp a c k e tl o s sr a t eo r et w ok e yf a c t o r s t h a ti n f l u e n c et h eq u a l i t yo fv i d e os t r e a m i n g t h e r e f o r ef o rg u a r a n t e e i n gv i d e oq u a l i t y , f e c ( f o r w a r de r r o rc o r r e c t i o n ) c a nb ea d o p t e dt oi m p r o v et h er e l i a b i l i t yo fv i d e od a t a t r a n s m i s s i o n ；m e a n w h i l e ，a c c o r d i n gt ot h ec u r r e n tn e t w o r ks t a t e ，t h es e n d e rc a na d j u s tt h e s e n d i n gr a t eo fv i d e od a t aa n do p t i m a l l ya l l o c a t et h eb a n d w i d t hr e s o u r c eb e t w e e nt h ev i d e o s o u r c ed a t aa n df e cd a t a t h i sp a p e ra n a l y z e st h es t r u c t u r eo fv i d e os t r e a m ，a n dp r e s e n t sa f r a m ed e c o d i n gm o d e lt h a tt a k e si n t oa c c o u n tt h ef r a m et y p e sa n dt h ed e p e n d e n c ea m o n g f r a m e s o nt h i sb a s i s ，a no p t i m a la l g o r i t h mi sp r o p o s e dt oa l l o c a t et h eb a n d w i d t hr e s o u r c e b e t w e e nt h es o u r c ev i d e od a t aa n dt h ef e cd a t a ，t h ee x p e r i m e n t ss h o wt h a tt h em o d e lc a n e f f e c t i v e l ya d a p tt o t h ef l u c t u a t i o no fn e t w o r ks t a t e ，a n d o p t i m a l l ya l l o c a t en e t w o r k b a n d w i d t hs oa st om a x i m i z ep l a y a b l ef r a m er a t eo nr e c e i v e r 2 a l g o r i t h mf o re q u a l - q u a l i t yf g sv i d e os t e a m i n g f i n e g r a n u l a r i t y - s c a l a b i l i t y ( f g s ) ，w h i c hc a np r o v i d ef l e x i b i l i t ya n dg o o dp e r f o r m a n c e f o rv i d e os t r e a m i n g ，h a sb e e na c c e p t e di nm p e g 一4a n dh 2 6 l a na d v a n t a g eo ff g si st h a ti t c a r lb et r u n c a t e da n y w h e r et oa d o p tt h ev a r i a t i o no fb a n d w i d t h ，b u ts a m p l et r u n c a t i o nw i l l l e a dt ot h ef l u c t u a t i o no fq u a l i t yo fv i d e os e q u e n c ea n du s e r sw i s ht oo b t a i nas m o o t h q u a l i t y b a s e do nr e l a t e dw o r k s ，t h i sp a p e rd i s c u s s e sh o wt os t r e a mf g sv i d e os e q u e n c ew i t he q u a l q u a l i t yu n d e rt h ec i r c u m s t a n c eo fn ol o s sa n dl o s sr e s p e c t i v e l y b yv i r t u eo fp i e c e w i s el i n e r dm o d e la n ds l i d ew i n d o w , i nn ol o s sc a s e 。b i s e c t i o nm e t h o di sp r o p o s e dt oa l l o c a t e i i f 中圆科学院博士学位论文一视频流化自适应错误控制技术研究 b a n d w i d t ha m o n gt h ef r a m ei nc u r r e n tw i n d o wt o ；i nl o s sc a s e ，a l g o r i t h ma n df e ca r eu s e d t oa c h i e v et h es a m ep u r p o s e t h ee x p e r i m e n t sd e m o n s t r a t et h a tt h ea l g o r i t h m sc a l lo b t a i n g o o dp e r f o r m a n c ea n ds m o o t ht h eq u a l i t yo ff g s v i d e os e q u e n c ei nt h et w oc a s e s 3 a d a p t i v ee r r o rr e s i l i e n c es t r a t e g yf o rv i d e os t r e a m i n g i no r d e rt og u a r a n t e et h ev i d e oq u a l i t ya sp o s s i b l ea tt h er e c e i v e ra n dt h ee f f i c i e n c yo f v i d e os t r e a m i n gs y s t e m ，t h ec o m p u t i n gc o m p l e x i t y , b i t r a t ea n dl a t e n c ya r et h r e ek e yf a c t o r s t h a tv i d e os t r e a m i n ge r r o rc o n t r o lt e c h n i q u e sm u s tw e i g h ，a n da r ea l s ot h r e ei m p o r t a n t m e a s u r e so fv i d e os t r e a m i n ge r r o rc o n t r o lt e c h n i q u e s 。i np r a c t i c a la p p l i c a t i o n s ，e s p e c i a l l y w i r e l e s sa p p l i c a t i o n s ，t h ea l l o w e dc o m p u t i n gc o m p l e x i t y , b i t r a t ea n dl a t e n c yf r e q u e n t l yv a r y w i t lo u t s i d ec o n d i t i o n s t h i sp a p e rp r o p o s e sa l la d a p t i v es t r a t e g yo fv i d e os t r e a m i n ge r r o r c o n t r o l ，t h a tf o ras p e c i f i ca p p l i c a t i o n , t h es y s t e ms h o u l dn o to n l yc h o o s eap r o p e rs c h e m eo f v i d e os t r e a m i n ge r r o rc o n t r o la c c o r d i n gt oi n i t i a ls t a t e so f t h ea l l o w e dc o m p u t i n gc o m p l e x i t y , o v e r h e a da n dl a t e n c y , b u ta l s od y n a m i c a l l ya d j u s to rm o d i 坶t h es c h e m et of i tt h ec h a n g e so f t h es t a t e s i no r d e rt om i n i m i z et h ej i t t e ro fv i d e o q u a l i t y , t h i sp a p e rp r o p o s e sa p r e d i c t i o n b a s e da d a p t i v es t r a t e g yo fv i d e os t r e a m i n ge r r o rc o n t r o lt h a tu s e sk a l m a n f i l t e r b a s e do np r e d i c t i o na l g o r i t h mt op r e d i c tt h ec h a n g e so ft h es t a t e s ，a n dt h e ns u b m i t st h e r e q u e s tb e f o r et h ea c t u a lc h a n g e s t op r o v et h es t r a t e g y , t h i sp a p e rs e l e c t e ds e v e r a lf e a s i b l ec o m b i n a t i o n so fs e v e n r e p r e s e n t a t i v et e c h n i q u e so fv i d e os t r e a m i n ge r r o rc o n t r o l ( a r q ，f e c ，i n t e r l e a v i n g ， l c + u e p ，e r r o ri s o ta _ 6 0 n ，r v l c ，e r r o rc o n c e a l m e n t ) a sa l t e r n a t es c h e m e so fv i d e o s t r e a m i n ge r r o rc o n t r o l ，a n dd i dm a n ys i m u l a t i o ne x p e r i m e n t sf o rw i r e l e s sa p p l i c a t i o n s ( a sw e k n o w , w i r e l e s sa p p l i c a t i o n sw i l lh a v er e l a t i v e l yh i g hf l u c t u a t i o n so f t h es t a t e s ) e x p e r i m e n t a l r e s u l t ss h o wt h a to u rp r e d i c t i o n b a s e da d a p t i v es t r a t e g yc a ne f f i c i e n t l ym a k et h ea d o p t e d s c h e m eo f v i d e os t r e a m i n ge r r o rc o n t r o lf i tt h eo u t s i d ec o n d i t i o n so f t h er e c e i v e r , d e c r e a s et h e j i t t e ro f v i d e oq u a l i t y , a n di n c r e a s et h eo v e r a l lv i d e oq u a l i t y k e y w o r d s ：e r r o rc o n t r o l ，f e c ，p l a y a b l ef r a m er a t e ，f g s ，r - dm o d e l ，e q u a l - q u a l i t y 图表目录 图表目录 图1 1 网络带宽随时问的变化示意图 阉1 2 网络传辕中的数据丢失率随时闰变化示意图一 阁1 3 网络的异构性示意阁 图2 1 视频流化系统模型 图2 - 2 端到端的码率控制示意图 圈2 3 典型的a i m d 算法码率调整算法 图2 - 4 联播方式示意图 图2 5 分瑶编码示意图 图2 6 空域可扩展性编码 图2 7 时域可扩展性编码 阁2 - 8 质量可扩展性编码 图2 - 9 端到端的错误控制 图2 1 0f e c 编码示意图 圈2 11 接收方控制的熏传 图2 1 2 剥耀r s 码实瑗m d c 示意图 圈3 - 1 通用的编解码器 图3 - 2g o p 结构示意图 强3 - 3 错误传播示意图 图3 - 4r s 编码示意图一 图3 5 优先级编码传输示意图 器3 - 6g o p 依赖耱 图3 7 帧优化分配方案 图3 - 8 优化结构证明 豳3 - 9 帧率v s 丢包率 豳3 10f e c 传输开销。 图3 - 11 帧率v sr t t 图3 一1 2 帧率v s 包长 图4 一1 分鼷缎搔倦宽利用状况示意图一 图4 - 2f g s 编码传输示意图 图4 3r - d 曲线比较 图4 4 无损漉化失真实验结果 图4 - 5 无损流化p s n r 实验结果一 图4 - 6 效费比示意图 i x o o一挖b协撼摅坶加越篮舶始”勰如强拍弱艇甜甜稻铂卯 中舀瓣掌蘸博：0 学位遥文一戡撅流纯巍适瘫错误控镕技术磺究 躐4 。7r - d 麴线变换静 辫4 - 8 霄损浚纯失囊实验绦粟5 2 黧4 9 数摄黛错( i n t e r l e a v e ) 示意蚕5 3 黼4 1 0i n t e r l e a v e 纠镑示意圈5 4 熙4 - li 数据缴送示意匿5 4 溪4 - 1 2f e c + i n t e r l e a v ev sf e c 实验蘩豢瓣窕贷 圈5 - i 视频瀛位容错系统模蠹。6 2 麓5 2k a l m a n 滤波嚣熊联灏。校正镶环稻 阁5 3p 预测麴结果示侧6 7 鬻5 - 4p v 颈溅瓣蘩鬃暴镑髂 潮5 5p p v 灏测的结果示铡。6 9 豳5 - 6 程凝燃肇与鹑滚冗焱瓣关系。7 2 掰5 - 7 实验场疑一：瓣魏越迟客避蕊静襄实麓线黧溪潮热线，7 6 懑5 - 8 实验臻景一：分惑校掇真实鏊释颈灏毽选择懿魏颓滤豫窑锩方寨。、锚 豳5 - 9 实验蝴景二：附加粥率容许值的旗实酾线和颥测馥线。” 黼5 1 0 实验炀景二：分裂缀攥真实缓秘预测值选择触视频流化容错方案7 7 溪5 一l l 实骏妫襞三；诗葵复杂麦察诲魏鹣囊窑鏊线霹预弱魏线鹚 圈5 一1 2 实验煽景兰：分剐搬据真实德薷酲预测值选择的视频流德容铸方案7 9 胬5 m 1 3 实验妫景强：辩期璐率容许德豹襄安髓线鞠灏浏鑫蠡线8 0 隧5 - 4 实验炀景嚣：附擞延迟容诲镳鹣奏实鏊线私鞭测殛线8 0 阁5 一1 5 实验塌最器：努剽梭攥奏安缓秘鞭嚣藿选簿鲶撬颓滚诬枣耱方案，8 豳5 1 6 实验场景五：计辫复杂度容许德的黧实曲线和预测曲线8 2 溜5 7 蜜豫璐景五：黪鸯爨秘攀枣诲徽戆真实鳆线秘鞭溺热线s 2 辫5 * 1 8 安骏蟋景五：分裂攫攥真实德嚣颓瓣蕴选撵艘撬频溅犯骞锩方寨8 3 隅5 - | 擎实验撼豢六：。跨雾复杂度枣许德豹囊实楚绞秘疆溅鳆线。髓 豳5 - 2 0 蜜骢璐景六：酣翻楚迟容许德的真蜜曲线和颈溺曲线8 4 鼹5 4 2 t 实黔缡景六：分别壤攥真安嫠鞠预测德选辑龅税频滤倪骞罐方寰8 5 强5 - 2 2 实验璐景七：诗黪囊客：凄褰诲壤瓣囊实藏线鼹预测鼗线8 艿 图s - 2 3 实验蛹案七：附嬲弱率容许攘的粪蜜曲线稍颈测曲线8 6 辫5 啦4 实验黼景七：辩翮延迟容许德瓣真蜜熬线秘鞭瓣强线8 7 强5 * 2 5 实骢妫景七：分别根据真实德秘预测值选择的视频溅他容错方案8 7 幽表目录 表l 。l ，l 类典型用户接入设餐穗能比较4 表3 1 实验参数设置一3 5 表3 2 优化传输方案3 6 表4 1r d 模型性能对陇4 2 表4 2r d 信息表4 3 表4 3 实验结果统计5 2 表5 1 发送端错误控制技术5 7 表5 2 接收端错误控制技术5 8 表5 3 各种视频流化容错技术对计算复杂度、码率和延迟的影响6 1 表5 4 各种视频流化容错技术在通行的网络协议和多媒体标准中的应用7 3 袭5 。5 各选的9 秘视频流他容错方寨的计算复杂度、硝率和延迟一7 4 表5 6 各个实验场景中仿真的容许值点的运动方式7 5 x i 声明 本人声明所呈交的论文是我个人在导耀指导下进行的磅究工馋及取答 的研究成果。就我所知，除了文中特别加以标注和致访f 的地方外，论文中 不包含其他人已经发表或撰写过的壤究成粱。与我一冠工作憨阕志对本磺 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名：猫，= 争 嗍：础7 n 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复印件，允许 论文被查阅葶爨镞阕；劳可以公农沦文的全部或部分内容，可以采嬲影印、 缩印或其它复制手段保存该论文。 作髅名：备曹导师躲锄f 枷期： 第一章绪论 第一章绪论 多媒体包含了声音、文字、图象和视频等多种内容信息，丰富的表达方式改变了人 机交互的方式，使得计算机更容易让人们接受和使用。网络应用的普及和传输速率的提 高使人们不再满足于传统的文件传送等简单的应用多媒体和网络的结合产生了一个新 的领域：流媒体( s t r e a m i n gm e d i a ) 应用。流媒体应用尤其是视频流化应用已经成为近年 来研究和应用的热点内容，也是未来i n t e r a c t 发展的重要方向之一另外，当前3 g 的 发展方兴未艾，与2 g 相比除了传统的语音业务以外无线多媒体应用是推广3 g 的一大 亮点因此，研究流媒体技术具有重要的应用和商业价值。本章首先介绍了流媒体的背 景，然后讨论视频流化应用的主要问题，最后介绍论文的主要工作和贡献。 1 1 论文研究背景和意义 经过二十余年的发展，i n t e m e t 由早期用于军事目的的小型专用网络成长为今天遍 布全世界的最大的计算机互连网，其注册域名的用户数量已从1 9 9 6 年的不足6 百万， 增加到2 0 0 4 年的2 亿8 千多万【”，而且这一数字仍在继续快速增长。i n t e m e t 也逐渐成 为人们科研工作甚至是日常生活中重要的一部分，大大改变了人们工作和生活的方式。 i n t e m e t 获得如此巨大成功的本质原因在于它为人们提供了一个强大的、跨越空间和时 间限制的信息交换平台。丰富的网络应用，如万维网( w w w ) 、文件传输( f r p ) 以及 电子邮件( e m a i l ) 等的出现，使人们可以高效自由地交换包括文本、图片、复合文档、 以及二进制程序在内的传统静态数据信息。 近些年来，计算机技术、多媒体数据压缩技术、海量数据存储设备有了长足的发展； 尤其是世界各国信息高速公路计划的实施，i n t e r n e t 主干网的通信速度将会大幅度提 高，所有这些因素使网络上的实时流媒体应用成为可能。 在网络上传播多媒体信息主要有两种方式：下载方式和流式传输方式。下载方式是 传统的数据传输方式，它是指在播放之前，先由用户将多媒体文件全部下载至本地。通 常多媒体文件数据量较大，因此下载整个文件会需要较长时间，并且对本地的存储空间 也有一定的要求，这就限制了p d a 等低存储容量设备的使用流式传输通过流媒体服 务器将多媒体数据实时传送给用户，用户在接收数据时采用边接收数据边播放的策略， 不必等到整个文件全部下载完毕，而只需经过- - 4 , 段时间的启动延迟后即可播放。与下 载方式相比。流式传输具有以下几个优点：一方面大大地缩短了用户的等待时间，同时 也降低了对存储空间的要求；另一方面，可以实现现场直播形式的实时数据传输，这是 下载等方式无法实现的；最后，通过流式传输接收的数据通常不在客户端做长期保存， 因此，在一定程度上减少了盗版的发生 中国科学院博上学位论文一观频旒化自适应错误挣制技术研究 在多媒体数掘中，视频是其中最重要最有代表性包含信息最丰富的一种媒体，本论 文的工作也主要是围绕视频传输。即：视频流化( v i d e os t r e a m i n g ) 应用展开的压缩视 频数据在网络中的发送被称为视频流化，它具有广泛的应用前景，目前已被应用在视频 点播( v i d e o - o n - d e m a n d ) 、网络电视( i n t e m e tt v ) 、数字化图书馆( d i g i t a ll i b r a r y ) 、 视频会议( v i d e oc o n f e r e n c e ) 、远程教育( d i s t a n c el e a r n i n g ) 、游戏( g a m e ) 以及电子 商务( e c o m m e r c e ) 等诸多领域，目前已经有很多公司推出了自己的流化产品【2 l 【3 1 1 4 1 。另 外。近几年3 g 移动通信的发展可谓如火如荼，一个重要内容便是利用其高带宽实现移 动多媒体应用【5 1 1 6 1 。因此可以毫不夸张的说，流媒体应用，尤其是视频流化的相关应用 将是未来促进i n t e m e t 及移动通信发展的关键。 1 2 视频流化面临的挑战 通常来讲，视频流在网络上传输包含以下几个部分【凡视频服务器将压缩后的视频 数据划分成若干个数据包( p a c k e t ) ，通过网络接i ：1 将数据包按照其时限要求发送给网络， 在网络中经过寻径和传输后，这一系列数据包到达客户端；在客户端，数据包将被重组， 并在后续数据包不断到达的同时播放已经重组的视频数据。 与传统的静态数据不同，视频数据具有数据量大、时效性强的特点，对网络传输的 要求较高。一方面，要给用户传输尽可能多的有效数据；另一方面，所传送的数据必须 在某个限定的时间尺度内到达，否则只能当作数据丢失处理。而目前i n t e r n e t 采用的 主流协议是t c p i p 协议，它主要是面向传统的静态数据业务设计的，只能提供尽力型 ( b e s t e f f o r t ) 的网络服务，无法满足传输多媒体数据尤其是视频数据的要求；另外， i n t e r n e t 中的网络主机( 主要是路由器) 对所有的应用都采取相同的无区别的排队策略， 不能提供适合流媒体传输的服务质量o o s ( q u a l i t yo fs e r v i c e ) 。因此与传统的i n t e r n e t 服务( 如：f t p 、t e l e n t 等) 相比，视频流化应用主要面临以下问题俐例： ( 1 ) 带宽抖动：网络带宽在短时问内快速变化，即带宽抖动，是影响视频媒体的最 重要因素之一。由于视频流平均码率较大，传输时间也较长，这就要求有足够且稳定的 网络带宽保障。例如。传输m p e g - i 码流需要1 5 m b p s 的带宽，即使h 2 6 3 + 编码的视 频也需要2 8 k b p s 以上的带宽1 0 】【1 1 1 。虽然当前的i n t e m e t 已经可以提供较高的传输速率， 但是其状态很不稳定，速率在数据传输过程中会发生很大的波动。尽管已经开发出了用 于互联网的资源预留协议( r s v p ：r e s o u r c er e s e r v a t i o np r o t o c 0 1 ) ，但是目前i n t e m e t 还没 有大规模实现该协议，因此无法满足传输视频数掘对带宽的基本要求。 下图1 1 是带宽随时f b j 变化的一个例子。在图1 1 中，视频数据流的传输带宽基本 上在6 0 8 0 k b p s 间波动。但是某一时刻，实际传输带宽突然降到了2 k b p s ，体现出剧烈 的变动和无规则性l ，j 。 2 第一章绪论 ii i 州_舢l mm i 惭h川i i i 1 0 1 0 02 0 03 0 04 0 0 t i m e ( s e e ) 图1 - 1 网络带宽随时间的变化示意图 ( 2 ) 传输延迟：传统的网络应用数据通信( 如：f t p 、t e l n e t 等) 要求数据传输的可 靠性，对于传输延时要求没有特别的限制。而对于视频而言，数据的传输除了有相当的 正确性以外还需要满足严格的传输延迟限制才能保证媒体流的连续播放。对于滞后于时 间限制的数据，即使数据正确，也只能丢弃不用。所以当网络拥塞发生时，数据的传输 会经历很长的等候时间，客户端的播放会因为等待数据而停止，造成播放质量的严重下 降。 ( 3 ) 数据丢失和错误：主流的视频国际标准大多使用了预测编码和变长编码技术， 压缩后的视频流对错误极其敏感，即使一个比特的错误也有可能导致错误传播和积累下 去，造成严重的视觉质量下降，甚至整个视频流不可解码。然而，目前i n t e r n e t 只能提 供尽力型的网络服务，它以当前最大的能力传输数据。当网络负载过大时，网络中的主 机( 路由器) 的到达队列被填满，后续到达的数据只能丢弃。因此在这样的传输机制下， 视频流数据传输的可靠性不能得到保证。在无线网络中受多径衰落( m u l t i - p a t hf a d e s ) 和阴影衰落( s h a d o w i n gf a d e s ) 的影响，信道的误码率很高，传输的数据常常会出现随 机的或者突发的错误。下图1 2 是视频数据的丢失随时间变化的例子 7 1 ： 摹 蹿 j 苗 芍 & 8 鼍 正 i i i i ，i l l 。j 。d ，- i - k 。j i 1 t 。熙 0 1 0 02 0 03 0 04 0 05 0 06 0 0 t i m e ( s e e ) 3 o 猢 伽 啪 鲫 枷 枷 8蕞=q)。llqo占；皇 串爵辩学院博十学纯论文一税额漉能囊惩麻错 鬓攘截拄零研究 鲻1 - 2 瓣终转簸申筑数据轰炎翠疆对闯受纯承蒙銎 鬻审数蠡丢失率强i - l o z 润泼凌，程在蘩黠蘩，数据罴失率突然趱嬲戮了8 5 ， 这说明数据丢失攀有很强的突发憔1 7 j 。 ( 4 ) 弊构往：异构健w 以分缀两种情况：i n t e m e t 串通信予掰的异狗靛翱接收方豹嚣 终毪。邋缤子魏熬舅稳瞧是垂予器警弱的弼终资源( 处爨能力、繁宽、撑懿秘键塞控制 策路) 奔裙不平均，髑产逶过苓灏黝遵铸子霹鼹输数据会体骏劐繇零不鞫的实繇蒋埝吞 吐量、数据丢失率、传输延迟，如图l - 3 所示【8 j 。 鬻1 3 颡络魏髯稳住示意瑶 毽蹩，当嚣i n t e r a c t 不旎蠢潮声提莰繁宽、筵运襄鼗攥薯必搴嚣爨疑，爨瑷疆在弱 嚣络秃法宠全满足以点这些要求。接收方器稳戆怒由于爨户设备靛不弼赴遐能力以及麓 户要求的不同服务质跫造成的，擞1 1 列出了几种用户终端设备的性能参数- 表1 1 儿类典掣用户接入设备性能比较 c p u 鬏率蠹存丈夺嚣幕足寸簇 褥壤 f ! 垃鲤!受兰! ! ! f 曼! 堡尘坠! ! 趣端9 0 呱2 g p c 中端 6 5 0 - 8 0 0 m p c 2 5 6 5 1 2 1 2 8 - 2 5 61 0 2 4 c 7 6 8 笔黧渤琊泓 2 st 醅 2 舡3 2 1 6 - 2 4 ：? = 1 0 0 - 2 0 0 m 8 - 3 23 0 0 x 2 0 0糊 显然，i n t e r n e t 豹舞饕特毪鬟求褪颧滚纯穷寨买冬较强熬露扩曩毪。抉言之，发送 方应能够锋对蠢接收方不同的髓力实现簸优诧的税频倭输方寒；既不黥嚣教低憾髓终璐 设蚕的趣载，也不蘩燧牲赢性熊辫户的视频撩激质量。 4 第一章绪论 1 3 现有的应对策略及研究方向 目前针对多媒体数据在流化过程中出现的上述问题的研究大致分为两大类1 8 】：一类 是以网络为中心，即认为网络可以提供一定的q o s 保证；另一类是基于端到端的控制， 不对传输网络在q o s 方面提出更多的附加要求。虽然目前已经出现了一些网络可以提供 q o s 保证( 比如：a t m 网络) ，但是考虑到实际中i n t e m e t 网络异构性的大量存在，第二类 的研究具有更多的实际意义，本文的研究内容就属于第二类。 从端到端的角度考虑，视频流化应用遇到的问题基本可以分为两个方面，即拥塞控 制和错误控制。拥塞控制用于减少数据包的丢失率和延迟，错误控制用于防止包的丢失 和出错，提高数据传输的可靠性。目前，针对这两方面的问题已经进行了很多的研究， 在第二章中将有大量的篇幅介绍有关内容。 1 4 论文主要工作 本文的主要内容是研究视频流化自适应错误控制算法，以改善视频流化的效果目 前，大部分视频编码标准的设计目标主要是为了减少冗余数据，以提高压缩效率。虽然 冗余数据大大减少，但是压缩后产生的码流很容易受到错误的干扰，尤其是在i n t e