（信号与信息处理专业论文）应用于iptv中的h264码流误码掩盖算法研究.pdf

鬻东郯电大学硕士掰究生学位论文 攮要 摘要 随着通信技术和视频编解码技术的不断发展，电视和通信的融合技术一一i p w ，逐 渐成为视频多媒体技术的发展主流。视频压缩编码标准是l p t v 监务发展的一项关键技术， 也是众多专家学者研究的课题。其中h 2 6 4 以优秀的压缩率和网络的友好性而备受业界关 注，将成为i p w 的主流格式标准。目前，中国电信和中国网通等基础运营商都在开展基 于h 2 6 4 标准的i p t v 商用试验。 视频压缩码流在i n e m e t 或无线信道上传输，易受信道噪声或带宽稳定性的影响，造 成视频数据包丢失，从而导致解码图像错误；h 2 6 4 采用预测编码，一盥出现误码，会影 响当前帧和后续帧的恢复，造成误码扩散，导致解码重建图像质量严重下降，最终影响 i p t v 的用户的视觉感受。为了得到高质量的解码重建图像，本文提出了基于视频场景切 换误码掩盖算法。 论文主要进行了以下几个方面研究：一、分析了i p t v 的发展、应用及其存在的视频 质量问题；二、概述了视频压缩编码标准h 2 6 4 的主要技术、抗误码技术以及解码端误码 掩盖算法，分析了h 2 6 4 参考软件j m 8 6 中视频码流发生丢包情况时在解码端所采用的掩 盖算法的不足；三、研究常见的视频场景切换类型以及场景切换的检测方法，提出了基于 视频场景切换的误码掩盖算法框架结构；露、针对发生场景切换的受损帧，采焉空域进行 误码掩盖；对于没有发生场景切换的受损帧，则采朋时域方法进行掩盖；五、根据l 帧和 p 帧的特点，本文进一步改进了时域掩盖算法，即i 帧采用预测前向运动矢量的掩盖算法， 而p 帧采用基于4 x 4 块的牛顿内插算法；最后、模拟有线和无线i p 网络的视频流的传输 环境，验证本文算法的可行性。 实验表明：本文算法比参考软件重建图像的p s n r 平均提高3 d b ，更符合人眼主观视 觉感受，且算法复杂度不高，适用于l p t v 视频监务传输。 关键词 i p t vh 2 6 4 场景切换误码掩盖运动矢量 南京郎电大学硕士学位论文 a b s t r a c t a b s t r a c t w i mt h ef a s td e v e l o p m e n to ft h ec o m m u n i c a t i o nt e c h n o l o g ya n dv i d e oc o m p r e s s i n g t e c h n o l o g y , i p t vi sb e c o m i n gt h em a i n s t r e a mo fm u l t i m e d i a m a n ys c h o l a r sa r ef o c u s i n go nt h e r e s e a r c ha b o u tv i d e oc o d i n gs t a n d a r di ni p t v b e c a u s eo ft h ee x c e l l e n tc o m p r e s s i n g p e r f o r m a n c ea n db e t t e rn e t w o r kf r i e n d s h i p ，h 2 6 4c a l lb ea p p l i e di nb o t hi n t e r a c ta n dr a d i o c o m m u n i c a t i o n ，a n dw i l lb et h em a i nv i d e oc o d i n gs t a n d a r di ni p 乳c u r r e n t l y , c h i n at e l e c o m a n dc h i n an e t c o ma r ed o i n gt h ec o m m e r c i a lr e s e a r c ho nt h es t a n d a r do fh 2 6 4i nl p t v e r r o rw i l la f f e c tt h ec u r r e n tf r a m ea n dt h ef o l l o w i n gf r a m ew h e ni to c c u r si nt h eh 2 6 4 c o m p r e s s e dv i d e os t r e a m ，w h i c hw i l lm a k et h eq u a l i t yo fr e c o n s t r u c ti m a g ed e s c e n ds e v e r e l y t h e r e f o r e ，i t sb a d l yn e c e s s a r yt oc o n c e a lt h ee r r o r si nt h ed e c o d e i nt h i sp a p e r , t h em a i nc o n t e n to fl p 善va n dt h ec o r et e c h n o l o g yo fh 2 6 4a r eb r i e f l y d e s c r i b e df i r s t l y t h ea l g o r i t h mo fe r r o rc o n c e a l m e n ti nh 2 6 4r e f e r e n c e ds o f t w a r ea r ed i s c u s s e d s e c o n d l y t h i r d l y ，t h et y p ea n dd e t e c t i o no fs w i t c h i n gt h ev i d e os c e n e sa r er e s e a r c h e d ，a d o p t i n g t w ov i d e os c e n ed e t e c t i o nm e t h o d sa b o u tia n dpf r a m e s f o u r t h l y , t h ei m p r o v e da l g o r i t h mo f e r r o rc o n c e a l m e n tb a s e do nv i d e os c e n ed e t e c t i o ni nh 。2 6 4a r eb r o u g h tf o r w a r d f i n a l l y , s o m e e m u l a t i o n a le x p e r i m e n t sa r ep e r f o r m e d 。 e x p e r i m e n t a l r e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dy i e l d sb e t t e rv i d e oq u a l i t yt h a n c o n v e n t i o n a la p p r o a c h e s 。i t sp s n rc a ne n h a n c ea b o u t3 d bt h a nj m 8 6c o n c e a la l g o r i t h m ，a n d t h ec o m p u t a t i o n a lc o m p l e x i t yi sl o w , t h u si tc a nb eu s e di ni p t v k e yw o r d ：i p f v h ，2 6 4s c e n ec h a n g ee r r o rc o n c e a l m e n tm v 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书两使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：j 牲日期：荤! 鱼! ! l 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 一戥平黝擞：粹 i i 鼹隶邸电大学颧士研究生学位论文 第一章绪论 重1引言 第一章绪论 随着流媒体和i n t e m e t 网络技术的迅速发展以及网络带宽的不断提高，人们对节爨信 息的需求越来越高，希望无论何时何地都能够方便、快捷、灵活地得到丰富、个性化的电 视节日，以及视频通讯、资讯等方面的服务，从而促进了i p t v 技术快速发展。i p t v ，顾名 思义就是网络电视，又称交互电视，是将电视节目编码意的码流以i p 包方式通过i n t e m e t 溺络或其他通信嘲络传输到用户端，丽用户端将接收到的码流信息解码显示。强前，中国 电信和中国网通等基础运营裔都在开展基于h 2 6 4 标准的i p t v 商用试验。可以相信，隧 着i p w 成功的商用试验，具有良好个性化特性的i p t v 服务，必将成为用户观赏下v 爷鬻 的一个新发展方向。 更确切地说，i p t v 是互联网协议电视( i n t e m e tp r o t o c o lt e l e v i s i o n ) 的缩写，指在基于i p 协议的网络上肉用户提供点播方式或组播方式的视频业务。与传统的视频通信业务和广播 电视业务都有区别，它是建立在宽带秘络基础上，通过采用因特网协议的l p 带宽网络向用 户提供各种服务，其基本特点是基于l p 技术和个性化的按需服务。i p t v 监务的提供得盏于 信息处理技术和内容分发技术的发展，主要包括视频图像编码技术以及流媒体技术；然蕊 视频信号包含的信息量大、对传输信道要求高，因此对于视频进行压缩编码显得尤其重要。 i s o 艇e c 和i t u t 在最近的二十多年时间里提出了多个不同的视频愿缩编码标准，其中 h 2 6 4 幂i m p e g 一4 都适用于l p w 的应用。出于h 2 6 4 标准压缩编码效率离，占用带宽少，不 久将成为i p t v 的主流视频压缩标准。另外，具有隧内自主知识产权的视频压缩编码标准 a v s 也将逐步被应用到i p t v 中。 h 2 6 4 的霞标是以“豳归基本”为方针，使用简单直观的方式，在原有技术框架下开发 的高效标准。与以往标准相比，h 。2 6 4 在相同的重建图像质量下节约近5 0 码率；可在很 宽的码率范圈内提供更离质量的视频服务；对信道时延的适应性较好，既可工l 乍予低时延 模式以满足实时业务，如会议电视、i p t v 中的视频通信服务或在线游戏等；又可工作予无 时延限制的宽松场合，如视频存储、i p t v 中视频点播等；另外，h 2 6 4 还具备较强的抗误 码能力，包括支持传输环境恶劣的无线网络；采帮分层模式，视频编码层( v c 乙) 外特有的 网终适配层( n a l ) 专为网络传输设计，因而迸步提高网络“亲和力”。 人们接收视频节固的时候，由于受到网络特性和数掘流的影响，会使得数据信息发生 l 蠢京郎电大学硕士骚究生学能论文 第一犟缮论 错误或丢失。同时还有许多参数会影响用户对视频质量好与坏的感知。当视频流最终到达 机顶盒和电视时，要通过各种协议层( 如物理a d s l 层、a t m 层、i p 层、传输层等) ，正是 各层之间的交互以及外部干扰，使得视频数据容易发生丢失。由于信道带宽的限制，h 2 6 4 传输数据往往是压缩编码以后的数据，丽压缩以后的数据对误码非常敏感，即使是单个原 发性错误，也可能会造成恢复后的视频质量急剧下降。因此，在误码环境( 有时甚至是高 误码环境下) ，要保证解码端恢复视频的质量，就要综合采用多种差错控制技术。而基于 解码端的误码掩盖方法不会额外地增加对编码端和信道的要求，越来越多地受到人们的关 注。 1 2i p t v 特点及发展趋势 i p t v 系统基本可以划分为三个组成部分：前端、传输网络和接收端。每个部分都由 一些特定设备组成，完成编码、管理、播出、传输和接收等基本功能，以实现l p 业务 的安全优质视频传输和应用。相对于传统的电视业务，i p t v 业务具有如下一些优势【l 】： ( 1 ) i p w 业务为用户提供交互通信的渠道，实现媒体提供者和媒体消费者的实质性 互动。 ( 2 ) 用户可以根据个人的喜好选择使用i p w 业务所提供的内容。 ( 3 ) 用户可以在任何时间观看已经播放的视频节目或已经存在的内容信息。 ( 4 ) 从技术和业务本身的特点来看，i p t v 业务可以向用户提供无限数量的不同信息， 为用户的个性化信息需求提供方便。 ( 5 ) i p t v 业务提供者可以向通过i p 协议连接到网络上的所有用户提供业务。 i p t v 利用宽带有线电视网的设施，以电视机或者电脑作为主要终端，集互联网、多媒 体通信等多种技术于体，向用户提供电视节目和其它数字多媒体内容的技术。i p w 不仅 能接收电视广播信号，更重要的是提供个性化服务，真正实现节目互动，能给用户以更高 的视觉享受。 由于视频压缩技术的进步，使得视频节目能够以较低的数据流达到较高的画面质量。 视频压缩技术的发展为i p t v 的发展提供了视频传输技术的保证；宽带互联网的迅速发展， 为i p t v 提供了可靠、稳定的传输通路。 i p t v 业务终端可以分为p c 机、手机、电视机三种类型。根据中圈互联网络信息中 , i 二, ( c n n i c ) 的统计结果，截止2 0 0 6 年底，中国网民人数已达1 3 7 亿，占人口总数的1 0 5 ， 而且里现出较快的增长态势，宽带接入计算机数达到了4 1 2 0 万台。关于手机用户，到2 0 0 6 2 南京邮电大学硕i ：研究擞学位论文 第一荦绪论 年底，全国手机用户数超过4 6 亿户。按照月均增长5 0 0 万户计算，到2 0 0 7 底，全国手机 用户将超过5 。2 亿户。关于电视机用户，嚣蓊我鼷拥有的电视机的家庭已经超过3 5 亿左 右，全冒有线数字电视用户已超过1 2 0 0 万。上述用户都是i p t v 业务的潜在用户，为i p w 的发展提供了广阔空间。 l 。3 视频编码标准及其在i p t v 中存在的问题 l 。薹p t v 中采用的视频编解码标准 l p t v 除了用于传输l p 宽带飚络之外，更重要的是能够提供数字视频节蹬，两没有经 过压缩编码的视频节晷在网络上传输是不可能的。现有的宽带接入网络，所能提供的接入 带宽一般都在2 m 以下。另外，线路的误码率和数据包丢失闻题仍较普遍，显然，基于l p 方式的这种“尽力焉为 的传送型服务是无法满足l p 业务的要求。为了保证i p t v 对视 频服务质量的要求，就需要对现有的网络设备进行升级和改造以及采用更先进的视频编解 码技术来解决。而i p t v 中9 0 以上的内容为视频业务，因此选取合适的视频编码技术是 实现i p t v 业务的关键。由于h 2 6 4 编码性能具有以下几个方面的优越性，使其广泛应用 于i p t v 业务中成为可能“j 。 ( 1 ) 降低综合授资成本：h 2 6 4 相对m p e g 霹而言，在图像质量相同的情况下，编码 效率提高了3 0 到4 0 ，相应地节约了至少3 0 的网络带宽。h ，2 6 4 使用将使绝大多数现 有的a d s l 线路都具备承载礤t v 业务的能力。 ( 2 ) 更好的用户体验：h 2 6 4 的网络适应性及容错能力更强，图像编码的算法更加优化， 使得图像传送的稳定性及质量进步提高。图像更加细腻，减少断续、停顿、黑屏、缓冲、 马赛克等各种闯题，使用户有更好地业务体验。 ( 3 ) 良好的互联互通性：h 。2 6 4 标准的歼放性傈证了编码器和解码器的一致牲，并且有 一致性测试工具。保证了从内容提供到平台、终端等各环节在编解码层次上的互联互通， 确保业务顺剥开展。 ( 4 ) 有保证的产业链：h 。2 6 4 从各方面而言，都有个完整的产业链支持，从而保证 i p t v 产业的稳定发展。 ( 5 ) 有利于多业务的持续发展：h 2 6 4 有专门优化避的p r o f i l e 支持离清电视节匿。h 。2 6 4 可以在多种场合下应用，与3 g 、可视通讯、即时通讯( i m ) 等的视频编解码格式一致，甚至 包括数字摄像机、游戏枫、d v d 等，因此使用h 。2 6 4 有利于i p t v 多业务的发震。 综上可知，h 。2 6 4 将成为i p t v 的主流编码标准。压缩的h 。2 6 4 视频流从发送端到接收 端解码显示，要经过网络的各层，如果在此过程中有数掘包的丢失，就会严重影响到视频 3 袋京郏电丈学矮獗究生学位论文 第一章绪论 重建质量，这也是i p t v 业务所葱临的个关键问题。 2 i p t v 中存在的视频质量问题 i p 系统的节露传送功能是由l p 骨干网、l p 城域网、有线电视前端或电信中心旗， 以及相应的宽带接入网络完成的，或在无线网络上进行。 i p t v 中的h 2 6 4 压缩视频码流 憝经过无线或有线的l p 网络上进行l p 单播或组播方式发送和传输存在两个闷题：一、压 缩盾的码流对信道的比特误码非常敏感；二、有线信道和无线信道都会引入随机误码和突 发误码，影响压续的码流正常传输；三、可发送的视频流总量基本上受用户实际带宽的限 制。核心l p 架构通常基于具有较低拥塞级别的光圈络强j ；因此带宽限制通常仅发生在接 入网络或用户的家庭网络中。当信怠流级别达到最大可用带宽时，许多数据包将被丢弃， 从丽导致视频质量降低，影响了网络电视的观赏性和用户体验。 h 2 6 4 对视频流压缩的关键算法是熵编码方法，因此视频码流更容易受到误妈的影响， 在解码端失去与编码端的同步，导致在正确接收下一个同步信号前，无法对码流正确解码， 同时h 。2 6 4 预测编码技术将错误扩散到整个视频序列中，极大地降低了重建图像的质量。 因此，如何在i p 网络上保证用户所需要的视频质量成为一个不容忽视的闽遂，这也 是i p t v 供应商所关心的阀题。也就是说，在误码突发、丢包率较高的环境中如何增强解 码器的鲁棒性以及视频质量显得龙为重要。i p t v 业务对于丢包情况的处理有重新发送、前 向纠错技术、误码掩盖方法等【壤。 ( 1 ) 重新发送即在数据罢包或受损的情况下，重新发送视频流，会造成视频延迟，影响 人们对于i p t v 实时性和交互性的高要求。 ( 2 ) 前向纠错技术通过在传输列中加入冗余码进行纠错，在发送端由发送设备按一定算 法生成冗余码插入到要传输的数据流中，接收端按同样算法对接收到的数据流进行解码， 根据接收到的码流确定误码的位置并进行纠错，常用的有b c h 和r s 码；但是采用翦向纠 错技术明最降低了编码的效率，对于较高误码率或者突发性的错误效果较差，在l p 网络上 进行媒体流传输的i p t v ，突发性错误是常见的，仅仅使用前向纠错技术远远达不到容错的 要求。 ( 3 ) 解码端采用误码掩盖技术，馥l 予在解码端的误码掩盖技术不会增加附加的信患，实 现较为简单，更加譬| 起人们重视。 本课题裁i p t v 中h 。2 6 4 压缩码流在视频传输中发生数据包的丢失，在解码端进行误 码掩盖的研究，本文将在后面的章节进行介绍。 4 南京邮电大学硕士学位论文 第一章绪论 1 4 论文主要工作及其安排 应用于i p t v 中的h 2 6 4 压缩视频流在传输的过程中，由于多种情况造成视频数据包 的受损或丢失，通过误码掩盖技术尽可能消除受损视频流造成的影响是本文研究的课题。 本文在h 2 6 4 参考软件j m 8 6 基础上，提出了根据视频场景切换情况，消除误码影响的算 法，并编程实现。具体工作如下； 概述了h 。2 6 4 标准在i p t v 应用的特点和存在问题； 分析了h 。2 6 4 标准及萁编解码器原理； 深入研究j m 8 6 中的h 2 6 4 解码端的误码掩盖算法，提出了基于视频场景切换自 适应误码掩盖算法的总体框架； 根据视频场景切换的相关知识，提出了场景切换检测算法。 在上述基础上，实现了基于场景切换的l 帧和p 帧时域误码掩盖算法。 对本文算法进行实验测试，并与j m 8 。6 参考软件误码掩盖算法就图像主观和客观 质量进行比较。 本文结构安排如下：第一章，介绍概念以及i p 丁v 相关知识；第二章总结h 。2 6 4 的编 解码器、主要技术以及抗误码的相关内容；第三章，分析h 2 6 4 参考误码掩盖算法，提出 了基于视频场景切换自适应误码掩盖算法框架结构；第四章，视频场景相关知识和常用场 景切换算法研究，提出了h 2 6 4 中l 和p 帧视频场景切换检测算法；第五章，分析以实现 的时域误码掩盖算法，提出了l 帧和p 帧时域误码掩盖算法；第六章是实验测试部分，对 本文算法和参考算法进行评估比较，表明本文算法在主观视觉感受和客观p s n r 上都有所 提高。文章最后对整个研究工作进行总结并提出展望。 5 南京稚电大学颧奎研究生学位论文 第二耄 2 6 4 编勰玛器褥核心技术蕊奔 第二章h 2 6 4 编解码器和核心技术简介 h 2 6 4 是i t u t 和i s o i e c 制定的视频编码标准既基本框架和以前的视频编码标准 类似，但它改进和创新了许多重要的技术。h 。2 6 4 作为重要的视频压缩标准，对于研究i p t v 期下一代网络业务有着非常重要的意义。 总的来说，h 2 6 4 的技术特点可归纳为以下三个方面，一是注重实用，采用成熟的技 术，追求更好的编码效率和更简洁的表现形式；二是注重对移动和i p 网络的适应，采用分 层技术，从形式上将编码和信道分开，实质上是在源编码器中更多地考虑到信道特点，对 潮络传输具有更好的支持，引入面向数据包编码，有利于数据打包赢在网络中传输，支持 流媒体服务，适合i p t v 业务的应用；三是可扩展性，在混合编码的基本框架下，对关键 模块做了重大的改进，编码和解码复杂度具有霹扩展性，支持编码和解码复杂度的不等分 配和扩展。 本章在讨论h 2 6 4 中薪的误码掩盖算法之前，先简要地介绍h 。2 6 4 编解码器结构、核 心技术以及抗误码技术癸- - 9 1 。 2 1h 2 6 4 编解码器简介 和翦期的编码标准样，h 2 6 4 著没有定义明确的编解码器，但定义了编码和解码的视 频流标准语法。在实际应用中，符合语法的编码器和解码器需要包括一些必须的模块，而 且标准对具体的编解码器的实现留有很大的空间。h 2 6 4 的基本模块和之前的标准基本上 是一致，主要的区别是在每个模块的细节，这正是h 2 6 4 提高编码质量、降低码率的关 键所在。 2 。1 。1h 。2 6 4 缱v c 编码器原理 糙2 6 4 编码器仍然采周变换翻预测的混合编码方法。其编码器包括两个数据流分支： 前向分支和后向的重建分支，如图2 。l 所示( 分别为实线和虚线部分) 。 6 南京邮电大学硕士研究擞学位论文 第二二章h 2 6 4 编解筠器秘核心技术简介 翻2 1h ，2 6 4 编码器基本缭秘图 在编码器的前向分支中，羁表示输入的视频流，每帧是以宏块为单元进行处理的。 每个宏块以帧内和帧间的模式进行编码，然后生成一个预测宏块p 。若宏块以帧内模式进 行编码，则当前被编码帧的宏块经过前期编码，解码和重建生成预测宏块p 。若宏块以帧 问模式进行编码时，则宏块经过前一帧或多个参考帧进行运动补偿得到预测宏块p 。 预测宏块p 和当前宏块相减，得到宏块的残差协，将瑰经过以块( 8 8 ) 为肇位的交换 和量化，得到组系数x ，将x 进行重排序和熵编码，这就完成了一个宏块的编码过程。 经过熵编码的码流，加主宏块解码所霈的一些信息组裁压缩后的码流，然蜃经过网络适配 层进行传输或存储。 在蕨向分支中，按照一定的顺序对量化后的宏块系数x 进行解码，得到对后续宏块进 行编码所需的重建帧。宏块的系数x 经过反量化9 7 和反变换f 7 ，得到个差分宏块dd 名。 其中d n 和职并不完全相闻，因为量化和反量化的过程产生了信息的损耗，因此d _ 是 一个包含失真信息的绒的复制。 预测宏块p 和差分宏块d n 相加，彳罨到重建宏块, t f 囊即原来宏块的个失真刹本， 然后经过过滤，减少块失真效应，最后得到重建参考帧尸_ 。 2 1 2h 。2 6 4 解码器原理 h 2 6 4 解码器负责将符合h 2 6 4 码流规范的压缩视频流解码，并进行圈像重建，如图 2 2 。解码的基本流程是：解码器从n a l 中接收压缩的比特流，经过对码流进行熵解码获 褥一系列量化系数x ；这些系数经过反量化和反变换得到残差数据d ；解码器使用从码流 中解码得到的头信息创建一个预测块p r e d ，p r e d 与残差数据p 求和得到篷像块数据毪f ； 最后每个u f 通过去方块滤波得到重建图像的解码块f 。 7 南京郎电大学硬士研究生学位论文 第二肇鞭。2 6 4 编职妈器和核心技术麓奔 2 2h 2 6 4 中核心的技术 图2 2h 。2 6 4 解码器功能框闰 h 2 6 4 视频压缩标准是在h 2 6 3 的基础上改进的，仍然是基于运动估计、运动补偿的 视频压缩算法。该标准除了保留h 。2 6 3 标准的框架外，还对具体细节做了大量地改进。下 面就简单地介绍h 。2 6 4 主要的技术特点。 2 2 1 。分层结构 h 。2 6 4 的算法在概念上可以分为两层：视频编码层v c l ( v i d e oc o d i n gl a y e r ) 负责高效 的视频内容表示；网络提取层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 负责以网络所要求的恰当的 方式对数据进行打包和传送。v c l 中包括v c l 编码器与v c l 解码器，主要功能是视频数 据压缩编码和解码，包括运动补偿、变换编码、熵编码等压缩单元，而且v c l 可以传输 按当前的网络情况调整韵编码参数。n a l 则用于为v c l 提供一个与黼络无关的统一接口， 负责对视频数据进行封装打包磊傻其在网络中传送，采用统一的数据格式。 2 2 。2 。基于灵活分割宏块运动补偿 h 。2 6 4 采用不同大4 、和形状的宏块分割与亚分割的方法。如每个宏块可以分割成 1 6 1 6 、1 6 8 、8 x 1 6 或8 x 8 四种模式，而如果选择8 8 分割模式，还可以进一步分割成8 x 8 、 8 x 4 、4 x 8 或4 x 4 四种模式。这些宏块分割与亚分割的模式可提高各个宏块之间的关联性。 在多种不同尺寸和形状宏块的预测模式下，1 个宏块可以用1 个或最多1 6 个运动矢量 来描述运动细节，更利于贴近实际，实现最佳的块匹配，提高了运动补偿的精度。对于宏块 中的色度成分分割和亮度分割模式相同，尺度大小是亮度分割块的一半；两且当色度块在 利用运动矢量时，必须要将亮度各个分量除以2 。 r 南京邮电大学硕士研究生学位论文 第二耄h 。2 6 4 编解玛器黍l 核心技术麓奔 另外h 2 6 4 支持1 4 像素精度的m v ，是利用整像素点的亮度值进行线性内插得到的。 内捶过程先通过6 抽头的滤波器来获得半像素精度，然后用线性滤波器来获得1 4 像素的 精度。相应的色度像素需要l 愿精度翡m v ，也透过整像素线性内撬得到蛉。 2 2 3 整数变换 以往的8 8d c t 逆交换会引起系数失真，使重构帧与原始帧闻存在误差。h 。2 6 4 使用 4 x 4 整型变换，保证逆变换系数不失真，并降低了运算复杂度。 h 2 6 4 把运动估值和i n t r a 预测的残差结果从时域变换到颓域，使瘸类似予4 x 4 离散余 弦变换d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 的整数变换，而不是像m p e g 2 和m p e g 4 那样采 用8 x 8d c t 的浮点数变换。丧予嚣。2 6 4 使用的是以整数为基础的空闻变换，具有效果好、 计算快( 只需加法与移位运算) ，反变换过程中不会出现失配问题等优点，并且结合量化过 程，保证在1 6 位计算系统中计算结果有最大精度且不会溢出。同时，由于变换块大小从8 x 8 变力4 x 4 ，熊够减少块效应和震铃效应。 2 2 4 环路滤波 h 2 6 4 是基于块的有损编码，重建块时，往往会由于块边界像素值的量化误差产生影响 图像主观质量的“块效应 ，影噙入的视觉感受；为了改善图像主观质量，h 。2 6 4 使用去 块效应滤波器。当块边界上两边差较小则使用滤波器使差别“平滑 掉，若边界上图像特 征明显则不使用滤波。这样既减弱“块效应”的影响又避免滤掉图像的客观特征，在相同 主观质量下使比特率减少5 1 0 ，有效地提高了编码效率。 2 2 5 熵编码 熵编码是整个视频编码的重要环节。h 2 6 4 使用两种熵编码方法，即基于上下文的自 适成变长编码c a v l c ( c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ) 和基予上下文的鑫适 应二进铡算术编码c a b a c ( c o n t e x t 。b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) 。 变换和扫描后的系数经常等于l ，其他非0 系数的变化有定的规律性和相关性，这 些特点适合用c a v l c ，而且变换厩的系数有较大噩缩空间。 c a b a c 充分发挥算术编码压缩效率高的特点，而且充分利用不同视频流的统计特性 和符号相关性，自适应地调节不同信息符号出现的概率统计。c a b a c 主要有三个步骤： 基于上下文建模，即为编码符号提供准确的条件概率估计；三进制化，将非= 进制语法元 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 编解鹞器和核心技术简介 素转化成二进制符号；采用算术编码，即将编码信息表示为某个概率区间的个小数间隔。 2 2 6 。s i 和s p 帧 除了支持传统的图像片( s l i c e ) 类型外，h 2 6 4 还支持码流间可切换的图像片，称之为 s p ( s w i t c h i n gp ) 片和s i ( s w i t c h i n g1 ) 片。如果码流中包含s p 片和s l 片，解码器能在有类似 内容但码率不同的码流之闻快速切换，并同时支持随机访问和快速回放模式。s p 片采耀 i n t e r 预测的方法，并通过改变量化的大小以实现在不同码率的图像流之间切换。丽s l 片 英 j 是在由于传输错误丽无法采用i n t e r 预测的方法时，是对s p 片最好地近似。 s l 和s p 分片使用方法棚似，不周之处在于s i 的预测采用4 4 帧内预测模式通过重 构的已解码的样值得到，主要用于从一个视频序列切换到另一个完全不同的序列。 2 2 7 。多种模式的帧肉预测 和以往的视频编码标准直接对宏块进行d c t 变换、量化和熵编码生成输出比特率不 同，h 2 6 4 对编码宏块进行不同模式的帧内预测，然后对预测误差信号进行d c t 变换，避 免了以徒帧内编码的数据量大和码率不稳定的缺点。帧内4 x 4 亮度块共有9 种可选帧内预 测模式，包括d c 预测、垂直预测、水平预测、上水平预测、下水平预测、右垂直预测、 左垂直预测、下右对角线预测、下左对角线预测f 7 】；帧内1 6 x 1 6 亮度块有4 种可选帧内预 测模式，包括垂直预测、水平预测、d c 预测、平西预测。丽帧内8 x 8 色度块有4 种预测 模式。 2 2 8 多模式高精度帧闻预测 帧间预测是利用时域相关性去除时域冗余数据的编码方法。通过采用多帧参考和更小 运动预测区域等方法，对下一帧精确预测，从丽减少传输的数据量。每个亮度宏块被划分 威形状不同的区域，作为运动描述区域。其划分方法有1 6 x 1 6 、1 6 x 8 、8 x 1 6 、8 x 8 共4 种。 当选媚8 x 8 方式时，可以迸一步划分成8 x 8 、8 x 4 、4 x 8 和4 x 4 共4 个予区域。每个区域都 包含自己的运动矢量，每个运动矢量和区域选取信息必须透过编码传输。因此，当选用较 大区域时，用于表示运动矢量和区域选取的数据壁减少，但运动补偿焉的残差会增大；当 选用小区域时，残差减少，预测更精确，但用于表示运动矢量和区域选耿的数据量增大。 大区域适合反映帧间同质部分，小区域适合表现帧问的缁节部分。 1 0 南京邮电大学硕士研究黧学位论文 第二章h 2 6 4 编解鹞器和核心技术简介 2 3h 2 6 4 的抗误码方法 h 2 6 4 标准从系统层面定义了视频编码层和网络适配层。视频编码层独立于网络，主要 包括核心压缩引擎和宏块、块以及片的语法定义。h 2 6 4 除了具有高效编码的特性，还引 入了些新工具用予提高错误恢复能力，特别是参数集、n a l 上的n a l u 的概念、视频 编码层的f m o 和数据分割等都历史性地提高了在“尽力丽隽”的l p 网络环境下视频逯信 的性能。增强的参考图像选择和帧内编码模式内插等传统的工具均提高了在高误码环境中 的数据再生能力。h 。2 6 4 中r t p 封装的草案规范，与h 。2 6 4 的n a l 层紧密结合，提高了 对数据封装的指导，它还附加了一些传输层的低歼销机制用于n a l u 包的高效拆分和聚 合。当联合使用这些工具时，可以达到更高的性能，使得i p t v 中高质量的压缩视频流的 l p 网络上高效传输将最终成为现实。 2 3 1h 。2 6 4 的视频编码层的错误恢复措施 h 。2 6 4 很好地继承了之前视频编码标准中的错误恢复工具，同时进行了改进和创新，主 要有以下几个方面。 l 、片、片组和f m o 在之前的几个视频标准巾，通过弓l 入片结构编码( s l i c e s t r u c t u r e dc o d i n g ) ，可以有效降 低包丢失率和减少视觉感受度的恶化。一幅图像由若于片组成，每一个片是由系列的宏 块按一定规律组成的。每一个片独立解码，宏块不能用瘩身片中宏块的预测参考，因此片 的设置不会造成误码传播，如图2 3 所示。 s l i c e 0 s l i c e l s l i c e 2 豳2 3 传统s l i c e 的划分 f m o ( f l e x i b l em a c r o b l o c ko r d e r i n g ) 是h 2 6 4 中一个具有创新意义的抗误码工具。f m o l l 壹塞墅皇查兰里主竺墨兰兰丝塑兰 墨三曼! ! 坚璺塑苎矍塑蔓：! 垫至塑苎 突破传统意义上的片的划分，允许独立和分散的宏块以一定的逻辑规则殃射到相应的片 旱。f m o 模式的划分图像模式是多种多样的，重要的有棋盘模式、矩形模式等。f m o 模 式可以把一帧中的宏块顺序分割分割后片的大小小于无线网络的m t u 尺寸经过f m o 模式分割的后的图像数据可分开进行传输。最典型的方法如图2 4 所示，如果传输中s l i c e g r o u pl 的第2 8 宏块发生了错码，因为s l i c eg r o u p 0 和l 是相互独立的，不会发生误码扩 敞，而且第2 8 宏块的周围正确块的块就可以对它进行误码掩盖。 o 豳：圜一圈礓 圄i 夏盈匪藿 司封蔓蒌蘧蒌鳘 瞩藻 一j “醐，。窿圈磊。匿霭i 蘑鞫 l |_ji ”碱r 蕊弧丌万k 飞嗣褫丽 图24f m o 不薏幽( 空白部分s l i c e g r o u p0 阴影部分s l i c eg r o u p ” 2 、参数集 参数集是h2 6 4 中一个新的概念，是一种通过视频码流结构增强错误恢复能力的方 法，分为序列参数集和图像参数集。其中序列参数集包括一个图像序列的所有信息：两个 i d r 图像问的所有图像信息。图像参数集包括个图像的所有分片的全部相关信息，如图 像类型、序列号等，在解码时检查某些序列号是否丢失可以检验信息分组的是否丢失。多 个不同的序列和罔像参数集储存在解码器中，编码器根据每个编码分片头部储存的位置束 选择适当的参数集。图像参数集本身也包括使用序列参数集的参考信息。 3 、冗余的片结构( r s s ) r s s ( r e d u n d a n ts 1 1 c e ) 丰j i 制允许编码器除了放置码片本身的编码宏块之外，还可以将一 个甚至多个相同宏块的冗余表示进相同的比特流中。主片可以用较低的量化补偿来编码， 具有较高的质量：而r sa t 咀用较高的量化补偿来编码，质量不高，但是它需要的比特数 较少。解码器根据重建主片米对r s s 作“：反应，如果重建成功，则丢弃r s 。如果由于包 丢失造成丰片丢失，那么r s 就需被蕈建。r s s 支持高误码率的移动网络环境在基于i p 协议的网络环境中也有很好的效果。 裔衮豁电大学颈士磺交生学位论文 第二章辍2 6 4 编瓣鹚器鞫孩洛技术麓会 4 、数据分割( d p ) h 2 6 4 采用数据分割的方法将重要性不同的码字分割开来，主要有三种不同类型的分 割： a 分割：头信息，包括m b 类型、量化系数以及运动矢量。这个分割的信息是最重要 的；没有它，其他类型分割的内容就没法使用。 b 分割，即帧内分割，包含帧内块的编码模式和帧内相关系数。b 分割必须在已给的 片的a 分割有效的前提之下才有用。与帧阀信息分割相比，帧内信息能够防止进一步 的漂移。因此，它比帧间分割重要。 c 分割，即帧间分誊l ，包含帧间块的编码模式和帧间相关系数。帧间分割相对次要 点，因为它们在编码或者解码中不提供同步信息。要使用c 分割，网样要保证a 分割 的有效性，丽无需考虑b 分割。 当要用到数据分割时，源编码器分别把不同类型的符号信息放到三个不同的缓冲器中。 琵且还要调整图像片大小，保证最大的数据分割所在豹数据包的长度不大予m t u 的大小。 在解码端，必须保证所有的分割的内容有效，才能开始重组图像。如果帧内分割或者 帧间分割的内容丢失，有效的头部信息仍然能够被用来提高误码掩盖的效果，即可以根据 头部信息中获得的宏块类型以及运动矢量，能够高效的藁建图像，只是会丢失一些纹理信 息而已。 5 、帧内编码 h 。2 6 4 帧内编码和以往的视频编码标准基本类似，但进行了重要的改进，主要有以下两 个方面： ( 1 ) h 。2 6 4 帧内预测宏块的参考宏块可以是帧闻编码宏块，采用预测的帧内编码比菲 预测的帧内编码有更高的编码效率，但降低了帧内编码的重同步性能，可以通过设置限制 帧志预测的标记来恢复这个功能。 ( 2 ) 有两种片只包含帧内宏块：帧内片( is l i c e ) 和立即刷新片( i d rs l i c e ) ；立即刷新片 存在于立即刷新图像中，立即刷新图像有更强的重同步性能。 2 3 。2h 。2 6 4 网络提取层的错误恢复措施 网络提取层n a l 支持很多基于分组的有线怃线通信网络，如h 。3 2 0 、r t p i p 等。麟 前大部分的视频应用采用的网络扔议层次是r t p u d p i p 。下藤分析n a l 层的基本处理单 元n a l u 以及它的网络封装、分割和合并的方法。 l 、n a l 单元 1 3 塑塞塑塞奎雯堡主銎窒兰垄篓造茎 篓三整坚：! 竺燕墼塑登塑篓堂茎查篓坌 每个n a l 单元是一个嘲定语法元素组成的可交长字节的字符串，包含一个字节的 头信息以及若干整数字节的数据载荷。一个n a l 单元可以携带一个编码片、a b c 型数据 分割、一今序列或嚣像参数集。 n a l 单元结构规定了用于面向分组或用予流的传输予系统的通焉格式。一组n a l 单 元称为一个接入单元，定界后加上定时信息( s e i ) ，形成基本的编码图像。其后的冗余编码 图像( r c p ) 是基本的编码图像的同一视频图像的冗余表示，用予解码中基本的编码图像丢 失情况下恢复信息。如果该编码视频图像是编码视频序列的最后一幅图像，表示该序列结 束。若该编码图像是整个n a l 单元流的最后幅图像，则应出现流的结束。 h 2 6 4 采用严格的接入单元，使其可自适应用于多种网络，丽且提高抗误码的能力。从 序列号设鬻可知丢失的v c l 单元，在基本编码图像丢失的情况使用冗余编码图像可得到粗 糙的恢复图像。 2 、r t p 封装 h 2 6 4 进行简单的打包，将一个n a l u 放入r t p 分组中，设置r t p 头标值。r t p 可 以通过发送冗余信息来减少接收端的丢包率，但会增加时延，适合予不平等的保护机制。 在接收端，通过r t p 序列信息识别复制的分组并将箕丢弃，取出有效的r t p 分组的n a l 单元。基本档次和扩展档次允许片的无序解码。 3 、n a l u 拆分与合并 编码器使用内容预编码时不知道底层网络的m t u 大小，可能会产生许多大于m t u 尺寸的n a l u 。在实际操作中就需磐对n a l u 进行拆分和合并。 q n a l u 的拆分 i p 层的分割虽可以使用小于6 4 k 字节的数据块，但也无法实现应用层的保护，这就降 低了不平等的保护方案的效果。因此，应用层的拆分方案是r t p 封装方案的必需部分。其 中n a l u 分块是按r t p 次序号升序传输；麓够标记第一个和最后个n