（信号与信息处理专业论文）视频实时传输环境下pb帧编码与预处理技术研究.pdf

南京邮电大学硕士研究生学位论文摘要 摘要 在低码率下传输高质量的视频并能适应不同网络的传输要求一直是人们的追求 目标，针对日益增多的实时视频传输的应用要求，研究基于d s p 的高效实时压缩和 图像预处理实现方法具有重要的应用价值。 本文研究实时传输环境下提高视频编码效率的方法，重点以多模式无线视频传输 原型系统项目为依托，研究实时传输环境下的p b 帧编码和基于硬件的预处理的实现。 论文从不同网络传输环境下的传输速率和编码器比特流控制两个方面考虑，提出了实 时视频压缩编码的具体改进方案，取得了编码效率的提高和图像质量的改善。论文首 先在帧间预测编码算法上增加h 2 6 3 标准提出的p b 帧高级选项，并在c d m a 模式 下实现p b 帧编码，从而在没有明显增加比特率的条件下提高显示帧率。其次，在 t m l 3 0 0 采集模块中对采集的视频信号经过图像协处理器( i c p ) 滤波处理，去除输 入的信号噪声，改善编码图像质量。最后，本文在多模式无线视频传输系统硬件平台 上，对本文提出的p b 帧编码和预处理进行了实验测试和性能分析。实际系统测试表 明，本文方法在无线视频传输系统中提高了编码效率和图像质量，达到了论文的研究 目标。 关键词：视频编码，帧间预测，图像预处理，视频实时传输 南京邮电大学硕士研究生学位论文a b s t r a c t a b s t r a c t i t i sh i g h l yd e m a n d e dt ot r a n s m i th i g h - q u a l i t yv i d e ow i t hl o wb i tr a t e ，w h i l eb e i n g a d a p t i v et ov a r i o u sn e t w o r k s f o rt h ei n c r e a s i n gr e q u i r e m e n to f r e a lt i m ev i d e oa p p l i c a t i o n ， t h es t u d i e so nd s pb a s e dr e a lt i m ec o d i n gw i t h1 1 i g hp e r f o r m a n c ea n dp r e p r o c e s s i n gh a v e p r a c t i c a ls i g n i f i c a c e t h em a i nw o r ko ft h i st h e s i si so nt h ee n h a n c e m e n to fr e a lt i m ev i d e oc o d i n g p e r f o r m a n c e 。s p e c i a li n t e r e s t sa lep u to nt h er e a l i z a t i o no fp b f r a m ea d v a n c e dm o d eo f h 2 6 3a n dt h eh a r d w a r e - b a s e dp r e p r o c e s s i n g a c c o r d i n gt od i f f e r e n tn e t w o r kt r a n s m i s s i o n a b i l i t ya n dr a t ec o n t r o l ，p r a c t i c a ls c h e m e sf o rr e a lt i m ev i d e oc o d i n ga l ei m p l e m e n t e d ， w h i c hi m p r o v et h ec o d i n ge f f i c i e n c y , a n dt h ei m a g eq u a l i t ya sw e l l a tf i r s t ，t h ep b f l a m e a d v a n c e dc o d i n gm o d ei sa d o p t e di nt h ei n t e r - f r a m ep r e d i c t i v ec o d i n g ，a n dr e a l i z e di n c d m at r a n s m i s s i o nm o d e ，w h i c h ，i nt u r n , e n h a n c e st h ef r a m er a t ew i t h o u tn o t a b l eb i tr a t e i n c r e a s e s e c o n d l y , i m a g ec o p r o c e s s o ro ft m 13 0 0i su s i n gt of i l t e ro u ti n p u tn o i s ea t i m a g ec a p t u r i n gs t a g e ，r e s u l t i n gi nb e t t e rr e c o n s t r u c t i n gi m a g eq u a l i t y l a s t l y , p r a c t i c a l t e s t sa n dp e r f o r m a n c et e s t sa l ec a r r i e do u tf o rt h ep b f r a m ec o d i n ga n di m a g e p r e p r o c e s s i n gb a s e do nt h em u l t i - m o d ew i r e l e s sv i d e ot r a n s m i s s i o ns y s t e m t h er e s u l t s s h o wt h a tt h ei m p l e m e n t a t i o no ft h ea d o p t e ds c h e m ea c t u a l l yi m p r o v e st h ec o d i n g e f f i c i e n c ya n di m a g eq u a l i t y , f u l f i l l st h et a r g e t so f t h i ss t u d y k e y w o r d s ：v i d e oc o d i n g ，i n t e r - f r a m ep r e d i c t i o n ，i m a g ep r e p r o c e s s i n g ，r e a l t i m e t r a n s m i s s i o no fv i d e o i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 王作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 麟强嘲半，印 研究生签名：一毒乏磊l 日期：塑壁2 ：垒，印 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签各羔乏导师签名：幽嘁喇研究生签名：_ 幺益导师签名： 蚴爨期：型2 ：亟：纠 南京邮电大学硕士研究生学位论文绪论 1 1 课题背景 第一章绪论 随着视频编码、通信网络和计算机、数字信号处理器等技术的发展，特别是近 年来互联网、无线移动网络的发展，戳臻为基础的无线视频传输由于其广阔的应用 前景，成为人们关注的热点。 首先，视频编码技术在近2 0 年中取得了长足昀进步。自从1 9 8 8 年c c i t t 公布 第一个视频编码国际标准以来，至今已有近2 0 年时间。i t u ( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ，国际电信联盟) 和i s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o r s t a n d a r d i z a t i o n ，国际标准化组织) 已经先后制定了多个视频压缩编码标准。h 2 6 1 是 c c i t t ( 现在的疆u t ) 组织提出的第一个高效视频编码标准，它的露标是在p 6 4 k b p s ( p = 1 ，2 ，3 0 ) 码率下进行视频编码，主要应用于窄带i s n d 等数字信道 上的会议电视和魄视电话业务。m p e g - 1 于1 9 8 8 年由i s o 的活动图像专家组( m p e g ) 提出，1 9 9 1 年正式成为国际标准草案。它既可以应用于v i d e oc d 光盘的节目存储( 其 嚣标码率为1 5 m b p s ) ，也可以应用于2 m b p s 及以下数据率的视频传输。m p e g - 2 在 1 9 9 0 年出m p e g 提出，1 9 9 4 年完成，它适于1 5 m - - 2 0 m b p s 的码率范围的各种应 用，是一个通用的视频编码国际标准。h 2 6 3 t 毽以及h 。2 6 3 + 是l w t 视频编码专家组 提出的低码率视频编码标准，主要应用于可视电话等低速率多媒体通信系统。这些传 统的视频编码技术可以对视频序列进行压缩比超过1 ：1 0 0 的压缩。为了适应舅益增加 的多媒体应用的需要，在1 9 9 5 年，m p e g 组织又在m p e g ，4 中引入了视频对象、形 状编码等概念，通过概念的转换和新技术的采用，期望可以将编码效率在现有的基础 上进一步提高，同时提供视频码流的功能性。最新的视频编码标准是 h 2 6 4 m p e g - 4 ( p a r t ：l ，它在数字电视广播、视频实时通信、网络视频流媒体以及多 媒体短信等各方面将发挥重要作用。以上所述的视频编码国际标准覆盖了很大的视频 速率范围和应用领域，支持不同速率、不圈图像质量要求的视频亚务阐。 其次，通信网络技术，特别是基于i p 的因特网和移动通信网得到了迅速发展。 因特网出现于上世纪8 0 年代，最初仅提供简单的文件传输和远程登录等简单的网络 服务，但当1 9 9 5 年起出现了电子邮件、w e b 浏览等业务后，因特网的发展呈现出远 南京邮电大学硕士研究生学位论文 绪论 超出人们想象的速度，在不到5 年的时间内，因特网的用户就超过了五千万，其发展 速度之快超过了之前所有各种透信业务的速度。至今，全世界因特网上的用户已经超 过了数亿。无线移动网络在近年来也得到迅猛发展，公共移动通信网络正在从第二代 的g s m ，向2 。5 代的g p r s 和第三代c d m a 转换，褥短距离、高速率的无线传输技 术w l a n 得到了普及应用，技术上也由8 0 2 1 1 b 发展到8 0 2 1 l g 。 第兰，计算机和d s p 技术的发展，给褫频编码的应用提供了强劲的动力。多媒 体芯片技术的发展日新月异，t i 、a d s p 、p h i l i p s 等公司纷纷推出了各种高性能的多 媒体d s p 芯片。特别是p h i l i p s 公司的t r i m e d i a 系列多媒体数字信号处理器，它集成 了一个高性能的v l l w 结构的d s pc u p 和多个专门用于多媒体信号输入输出和通信 外设接翻，另外还提供了完善的开发平台。因此，t r i m e d i a 在视频通信和视频处理领 域得到了广泛的应用。 基予以上穗关技术的基础和应用的前景，南京邮电大学图像处理与图像通信实验 室研制成功的一种多模式无线视频传输原型系统。该系统包括无线视频终端、视频转 发服务器和视频显示终端，并且结合可用的无线网络。其中无线视频终端以多媒体 d s p - 呻h i l i p 公司的t m l 3 0 0 为核心处理器，实现实时视频采集、h 2 6 3 编码、码 流打包发送和系统控制等处理。同时，该无线视频终端集成了多种无线接墨，能适应 多种网络传输模式，既有速率较高的w l a n ，其速率可达数百k b p s ，也有中低速率 的c d m a ( 约3 0 - - - 6 0 k b p s ) 、g p r s ( 约1 0 k b p s ) 。 为了进一步提高该系统的性能，适应实时应用的需要，本文研究通过引入h 2 6 3 的高级选顼呻转帧编码，并且相应地修改不同传输模式下的编码器控制策略，达 到在实时传输条件下提高该系统编码效率的目标。其次，论文还将研究通过使用 t m l 3 0 0 的硬彳睾协处理器进行预处理，改善编码图像的实际显示效果。因此，本文的 研究内容既具有定的理论研究价值，也具有很强的实用价值。 1 2 原型系统组成 目前的无线视频传输系统团1 基本都是基于某种单一的无线网络接入方式。在现 有的无线接入i p 网络中，无线局域网w l a n 虽然传输速率高但覆盖区域小，而公共 移动网络c d m a 和g p r s 虽然覆盖范围广，但传输速率有限。因此，单一网络模式 的无线视频传输系统在应用中受到很大的限制。针对上述无线视频传输系统存在的问 2 南京邮电大学硕士研究生学位论文 题，本系统设计成集多种无线通信接口于一体、能适应各种不同无线网络、并且能在 多种无线网络问智能切换的多模式无线视频通信系统，通过综合w l a n 网络的高速 传输以及公共移动网络c d m a 和g p r s 等覆盖范围广的优点，提供在不同网络条件 下的虽佳视频传输效果。当无线视频终端位于无线局域厨范围内时， 用w l a n 无 线接入实现高速视频传输；而当无线终端超出无线局域网范幽时，则再用公共无线移 动网络作为补充，以c d m a 或g p r s 方式无线接入，提供中低速率的视频传输。该 系统无线终端使用了p h i l i p s 公司的多媒体数字信号处理器t m l 3 0 0 作为编码和系统 控制核心，能适应多种网络传输模式，拥有中低速率的g p r s ( 约1 0 k b p s ) 、c d m a ( 约3 0 6 0 k b p s ) 和高速率的w l a n ( 数百k b p s ) 等多种无线网络接口，可智能选 择当前可用网络进行视频的传输，实现了基于h2 6 3 编码标准的多模式无线视频编码 和发送。 本系统的框架如图1 - 1 所示。包括四个主要部分：( 1 ) 无线视频终端：( 2 ) 无 线接入和传输网络( w l a n 、c d m a 、g p r s 以及内网i n t r a n e t 、公阿i n t e m e t ) ，传输 基于t c w i p 协议；( 3 ) 视频服务器，包括公网( n t e m e t ) 视频转发服务器和内网 ( i n t r a n e t ) 视频代理服务器；( 4 ) 视频显示终端。 国卜1 多模式无线视频传输系统框架结构 ( 1 ) 无线终端：外接彩色p a l 制摄像机，具有宴时视频采集、视频编码、公共 无线网络接入和w l a n 接入等功能，可以工作于g p r s 、c d m a i x 和w l a n 网络 的任一、二者或三者的组合，通过上层软件的控制，根据所处位置的网络状况在多种 无线网络巾进行自动切换，选择当前町用高带宽网络进行视频传输。 ( 2 ) 公网视频转发服务器：设立在具有公网i p 地址的p c 机上，提供无线视频 终端自公兆无线网络，经过i n t e m e t ，到达内网视频代理服务器的视频流和控制流转 发功能。服务器保存着在线无线视频终端和显示终端的网络维护信息，包括无线视频 南京邮电大学硕士研究生学位论文绪论 终端i d 、i p 地址、端口号，以及内网视频代理服务器i p 地址和端口号等。基于这些 信息，服务器为视频流和指令信息提供转发通道。 ( 3 ) 内网视频代理服务器：设立在内部网且可以连接到公网的一台p c 机上， 提供公网视频转发服务器到显示终端的视频流和控制流转发功能，并且作为所有显示 终端与公网连接的代理。服务器保存着无线视频终端i d 、i p 地址、端口号，以及所 有请求的显示终端d 地址和端口号等。基于这些信息，服务器为视频流和指令信息 提供转发通道。 ( 4 ) 显示终端：内网上任何一台p c 机，主要完成视频流的解码显示功能，并 可以实现硬盘存储与回放。具有管理员权限的p c 机通过人机接口接收用户的指令， 控制无线视频终端的图像尺寸和量化步长等质量参数。 在低带宽( 如：g p r s 无线信道带宽为9 6 k b p s ，c d m a 信道带宽仅有5 0 k b p s ) 传 输环境和基于嵌入式技术开发的实时视频编码系统不仅要求编码器具有较高的压缩 比，同时也要求较好的计算复杂度。由于低比特率视频编码标准h 2 6 3 h 2 6 3 + 使用了 运动估计补偿、离散余弦变换和可变长编码等高效的压缩编码技术，综合考虑本系 统传输条件和d s pc p u 计算能力，故本系统中采用了h 2 6 3 编码标准。在w l a n 信 道传输速率较高时，要求编码器全速编码，编码速率达到2 0 帧秒以上，以满足高速 传输时质量的需要。同时在中低速信道c d a m 和g p r s 时，要求编码器也可以达到 较高的压缩率。在本文工作中，重点考虑对于c d m a 工作模式，通过在原编码器基 础上加入p b 帧高级编码选项，对传输较复杂c i f 格式视频( 如：电视节目) ，实现 显示帧率的提高。 1 3 本文的主要工作和内容安排 通过对常用编码方法和h 2 6 3 标准【2 】的研究，分析视频实时传输环境下系统编码 器编码效率，本文以多模式无线视频传输系统项目为背景，主要研究视频实时传 输环境下的p b 帧编码和预处理技术。论文从不同网络环境下传输速率和编码器比特 流控制两个方面考虑，提出了视频压缩编码的具体改进方案。首先，在采集模块中对 采集后的视频信号经过t m l 3 0 0 的图像协处理器均值滤波，去除输入信号噪声，提高 编码图像质量。其次，在帧间编码预测算法上增加h 2 6 3 标准提出的p b 帧可选模式， 极大的提高了编码效率，在没有明显增加比特率条件下提高显示帧率，从而在降低码 4 南京邮电大学硕士研究生学位论文绪论 率和提高图像质量方面发挥了作用。最后，在多模式无线视频传输系统硬件平台上， 对本文提出的p b 帧编码和预处理进行了实验测试。 本文分为六个部分。内容安排如下： 第一章本文的绪论部分，介绍了课题的背景、系统组成和研究环境，以及本文 的主要工作和论文的章节安排。 第二章详细介绍了甚低码率图像编码国际标准h 2 6 3 协议的基本框架和高级编 码选项，简单介绍本系统编码器基本模式的编码流程。 第三章基于对系统编码器基本模式和方法的研究，为了提高编码的效率，提出 在编码器中增加p b 帧高级编码模式选择方案，并详细介绍了实现过程。本文结合多 模式无线系统传输环境，详细分析p b 帧模式在不同网络传输环境下的编码控制策略。 第四章简单介绍编码预处理技术，采用本系统中t m l 3 0 0 的图像协处理器进行 图像编码预处理，通过硬件滤波去除图像噪声，以提高编码图像质量。 第五章系统实验测试部分。通过对实际网络传输环境的分析，对本文编码器高 级可选方案、p b 帧模式编码效果和预处理图像质量性能进行测试和分析，得出实验 数据和结果。 第六章对全文的总结和展望。 南京邮电大学硕士研究生学位论文 h 2 6 3 建议及高级编码选项 第二章h 。2 6 3 建议及其高级编码选项 2 1h 2 6 3 编码器简介 随着近几年的数字视频技术广泛的应用，国际标准化组织i s o i e c 和国际电信联 盟标准化部致力予视频编码标准的潮定，先后己制定了l r j 誓h 2 6 x 系列和i s o i e c m p e g 系列视频压缩编码标准。这些标准由于有着不同的码速、图像质量、复杂度、 纠错能力和时延，因此有着不同的应用范圈。其中h 2 6 3 就是为了满足诸如无线视频 传输、视频会议、视频电子邮件和可视电话等视频通讯业务发展的需要，并且克服公 用电话交换网( p s 烈) 和无线网络传输速率的瓶颈制订的视频编码标准。h 2 6 3 标准 以i t u t 制定的h 2 6 1 标准为基础，以混合编码为核心技术，按照分层的形式组织 码流，墨2 - 1 是h 2 6 3 编解码器的框图醛硼。 码流输出 码流输入 图2 - 1h 2 6 3 编解码器框图 为了使h 2 6 3 能够适用于6 2 5 行和5 2 5 行标准的电视信号，其信源编码器基于 c i f 格式进行工作。视频输入的电视信号标准和视频输出的电视信号标准可以不同， 它们可以是模拟信号也可以是数字信号。输入信号格式到编码所需格式的变换和编码 格式到输出信号格式的变换等，不属于h 2 6 3 定义的范围。视频编码器生成的码流是 格式化的，该数据流可以和其他多种信源信号混合传输。视频解码器执行与视频编码 器是相逆的处理过程。鞋2 6 3 标准对视频输国比特率没有特殊限制，输出比特率既可 以是恒定的，也可以是变化的。输入的图像信号可以在多种频率下采样处理，这一采 样频率和传输网络的数字时钟是异步的。 h 2 6 3 采取的是混合编码技术，即用帧间预测减少时域冗余，用变换编码减少残 6 南京邮电大学硕士研究生学位论文h 2 6 3 建议及高级编码选项 差信号的空域冗余。对于运动补偿，h 2 6 3 采用的是半像素精度，与a 2 6 1 中所采用 的全像素精度和一个环路滤波器的设计不同。被发送的各种符号采用霹变长编码技 术。h 2 6 3 第一版中包含四个基本模式：非限制运动矢量模式、基于语法的算术编码 模式、高级预测模式和飓帧模式( 将在下一章予以详细介绍) 。 2 2h 。2 6 3 句法和码流结构 2 。2 。1 视频源格式 视频信源编码器的处理对象必须是非交织的图像，产生频率为3 0 0 0 0 1 0 0 1 ( 约 2 9 9 7 ) 帧秒。帧频误差要求在5 0 p p m 。待处理图像在y c b c ，空间中表示，即一个亮 度分量( y ) 和两个色度分量( g 、e ，) ，而不使用其他色度空间，如r g b 空间。在 h 2 6 3 中有五种标准图像格式：1 6 c i f 、4 c i f 、c i f 、q c i f 和s u b q c i f 。图像各分量 的采样分辨率如下：如果亮度分量按照每行苏个像素点，每帧方行采样，则每个色 度分量按照每行d x 2 个像素点，每帧匆2 行采样。 2 2 。2 图像帧的层次划分 h 2 6 3 标准对图像的处理并非是以帧为单位的，它需要对图像帧进行层次的划 分。它以四层的分层结构，形成复接的视频编码数据流。这四层从高到低分别为图像 层( p i c t u r e ) 、宏块组层( g o b ) 、宏块层( m b ) 和块层( b l o c k ) 。h 2 6 3 定义的图像数据 层结构如图2 2 所示瑟6 1 。 蚕2 - 2h 2 6 3 视频码流结构 7 南京邮电大学硕士研究生学位论文h 2 6 3 建议及高级编码选项 层次的具体划分首先是把每帧图像划分为若干宏块组，每一个宏块组包含有 k x l 6 行像素，k 的值取决于图像格式( 对予s u b 。q c i f 、q c i f 和c i f 格式面言，k = l ， 一个宏块组由1 6 行像素组成；对于4 c i f 图像格式，k - - 2 ，宏块组由2 个1 6 行像素 组成；对1 6 c i f 图像格式，则k = 4 ，宏块组奎4 个1 6 行像素组成) 。因此，对应的 每帧图像格式含有的宏块组数目为：s u b q c i f 包含6 个宏块组，q c i f 包含9 个宏块 组，c i f 、4 c i f 和1 6 c i f 都包含1 8 个宏块组。一个宏块组又由一系列的宏块构成。 而每一个宏块又包括4 个8 x 8 的亮度块和2 个8 x 8 的色度块，每个亮度块或色度块 包含8 行每行8 像素的y 、u 和v 。h 。2 6 3 豹整个编码算法正是以块为基本单元来对 图像进行压缩处理的。 2 2 3 图像帧的语法语义 经过编码压缩后得到的数据流，按照h 2 6 3 的语法语义的描述，在输出的压缩数 据流里既包含了视频数据，也包括有必要的控制和辅助信息，两者要按上述四个层次 的结构进行复接，即按：图像层宏块组层j 宏块层块层进行复接。 每一帧图像包含有图像头信息块，后面跟随有多个块组数据，最后由尾块信息结 束。图像层主要是每帧的起始、结束标志以及量化系数和图像类型及可选模式开关信 息，若选择踞帧高级模式时，要指定豫8 和d b q u a n t 信息：t r 8 用3 比特表示， 其含义是对于输入视频序列频率为2 9 9 7 h z 时，b 帧与前一传输的p 或i 帧间未传输 帧的数照。d b q u a n t 表示了b 帧的量化系数与对威的p 帧的量化系数的比例关系。 宏块组层主要包含了块组标号以及每个块的量化系数等信息。对每一帧图像的第一个 宏块组，由于它同时也是图像的开始，没有此信息块。宏块层含有一个头信息块，后 续多个块数据。这一层含有丰富的信息，主要是编码模式、运动矢量、量化系数的调 整信患。其中m o d b 、c b p b 和m v d b 只存在于鹃模式的比特流孛，给出8 帧的信 息。块层是存储图像的最小单位，一般有直流( d c ) 数据和交流( a c ) 数据构成。直流 数据隽块的第一个数据，剩下数据为交流数据，不过，在i n t e r 类型的块中没有直 流数据。在一般情况下( 非p b 帧模式) ，块层由四个亮度块和两个色度块构成。若对 于飓帧模式，宏块中一般有王2 个块层。酋先是和缺省h 。2 6 3 模式中一样传送6 个p 块的数据，然后是6 个b 块的数据。如果m c b p c 指定m b 类型为i n t r a 或i n t r a + q ， 则宏块中每个p 块都会出现直流系数，b 块中不会崽现直流系数。如果m c b p c 或 8 南京邮电大学硕士研究生学位论文 h 2 6 3 建议及高级编码选项 c b p y 指定，则p 块中出现变换系数( t c o e f ) ，c b p b 指定b 块中出现变换系数。 由于两帧合为一帧存储的独特性使得p 帧块与其对应的b 帧块共用一个头信息，从蔼 节省了码字，这时块的数据存储的顺序是先存储p 帧块的图像数据，接着存储对应的 b 帧块的图像数据。解码时，也是先解码p 帧块数据，再解码b 帧块的匿像数据，利 用这些数据来恢复p 帧和b 帧图像。不过应注意的是，b 帧图像恢复只能利用对应已 经解码的p 帧数据。 2 3h 。2 6 3 的基本视频编码模式 2 。3 。 基本视频编码模式概述 h 2 6 3 标准与h 2 6 1 、m p e g 1 和m p e g 2 标准一样是基子块的运动编码标准。 它采用了减少时间冗余性的帧间编码技术和减少空间上冗余性的d c t 变换技术，最 后采用变长编码形成传输码流，以获得较高的压缩比。h 2 6 3 视频编码器的整体框图 如图2 3 所示f 嘲。它的重要部分有基于块的d c t 交换、量化、运动估计与帧闻预测 及v l c 熵编码，可以总结为m c + d c t + 熵编码+ v l c 编码。 图2 - 3 编码框架示意图 在基本编码模式下，原始视频图像序列输入编码器，编码器为每一帧图像选择一 9 南京邮电大学硕士研究生学位论文 h 2 6 3 建议及高级编码选项 种画面类型( i 帧或p 帧) ，( 注：h 2 6 3 另一种画面类型为p b 帧，仅存在于p b 帧模式 中。) 1 3 】在选定瀚面帧) 的类型后，羔帧按帧内编码方式( 聪雕泌编码方式) 编码，此 时不需要任何帧作为参考，编码器对它进行独立编码。一般情况下，图像序列的初始 帧为至帧，对i 帧的每个8x8 的块采用d c t 交换和熵编码，不进行预测和运动估计， 其压缩算法框图如图2 - 4 所示。 图2 4i 帧压缩算法框图 对于p 帧，一般按帧闻编码方式( i n 强r 编码方式) 编码，进行帧间运动估计和 预测。编码器为嘲面中每一个1 6 1 6 的宏块估计运动矢量，每一个宏块应选择相应 的编码模式，编码模式的选择依赖予画面类型、在该局部区域中运动枣 、偿预测的有效 性以及块内信号的特征( 如果宏块相应于其参考帧无明显改变，设置c o d 为“1 ， 编码器可选择不编码，在解码端只需简单地将参考帧中相应位置的像素值复制到当前 帧中即可) 。然后，依照编码方式，对块的内容作基于前向参考画面的运动补偿( 后向 参考画两的运动补偿用予黯帧模式中的b 帧) ，褥到当前宏块的预测数据。用当前宏 块的实际数据减去该预测数据即可得到误差信号。再将该误差信号分解成8 8 的块 ( 四个亮度块和两个色度块) ，并对每一个块执行一个d c t 变换。接着对由此产生的 d c t 系数块进行量化，并按“z ”型顺序对二维数据块进行扫描，使其转换为维的 量化d c t 系数串，再对该d c t 系数串进行游程编码，其压缩算法框图如图2 - 5 所示。 h 2 6 3 对不同的数据成分定义了若干变长码码表，分别迸行v l c 编码。编码器使用 一个f i f o 缓冲，通过监控该缓冲器的状态调整量化器的量化步长，从丽控制编码器 产生的比特数目来调节码率。编码器的最后一步是通过解码以重新生成i 帧画面或p 帧画面，使得这些画面可用作为震继编码的参考画谣。 1 0 南京邮电大学硕士研究生学位论文 h 2 6 3 建议及高级编码选项 圈标图像 啼困 参考图像 2 。3 。2 编码策略 图2 5p 帧鹾缩算法框图 c r c b 视频编码器的输出比特率受很多因素的影响，如视频信号的预处理、量化器的选 择、图像块重要性的判别依据等，所有这些编码策略【1 4 】都不属于h 2 6 3 定义范畴。 视频编码的预处理部分将在本文第罂章作详细的介缨。 2 3 。3 强制更新 为了把变换引入的累计误差控制在一定范围之内，一个宏块每被编码1 3 2 次， 至少要使用一次帧内编码模式。本系统中由于没有使用固定的i 帧编码刷新方式，则 把i 宏块刷新定在了9 0 【2 4 1 。实际测试的结果表明，在实时传输中i 帧( 帧内编码) 的比特数大约是p 帧( 帧闻编码 比特数的三倍。因此p 帧编码可以减小编码器输出 的比特数。但由于p 帧编码时解码的好坏与参考帧是否完整有很大关系，对无线信道 丢包很敏感，只使用i 宏块缀难满足及时消除误差的要求，因此一定情况下需要通过 i 帧刷新来消除累计误差。在以下两种情况下，需要使用i 帧编码刷新：一是在传输 模式切换时，由于一个信道很弱直到信号消失这一段时间，信道不稳将造成丢包率急 剧上升；二是在接收端要求编码端改变图像编码格式的时候( 如从c i f 格式切换到 q c i f 格式) 。在无线网络的环境下，这样会出现网络拥塞的情况，对视频编码比特流 而言则表现为比特丢失。考虑到码流平稳的传输，本系统中采用宏块( m b ) 刷新【2 4 1 ， 即每隔3 3 帧或6 6 帧刷新到每个m b ，可以有效避免p 帧的误码累积和错误传播所带 来的负面影响。 南京邮电大学硕士研究生学位论文h 2 6 3 建议及高级编码选项 2 3 4 起始码的字节对齐 为了使起始码的第一位正好是一个字节的最高位，必须在起始码前面插入填充 码字，填充码字一般由少予8 个的零比特组成。这样，每个起始码的最高位距离h 2 6 3 码流的第一位的长度总为8 的整数倍，这就是字节对齐。所有帧的起始码必须是字节 对齐的。 2 。4 珏2 6 3 的高级可选模式 为了进一步提高图像质量和编码效率，h 2 6 3 提供了四种改善编码效率的可选编 码方案，邵：不受限制运动矢量模式、p b 帧模式、高级预测模式、基于语法的算术 编码模式。在这四个可选编码方案中，前三个主要用于提高图像间的预测性，第四个 编码方案则用于降低传输的比特率。 2 。4 。 不受限制运动矢量 在h 。2 6 3 基本模式下，运动矢量受限，其参考像素限制在编码的图像内，运动 矢量的大小范围为 - 1 6 ，+ 1 5 5 ，这种限制使位于图像边缘的块进行运动估计时无法 得到最佳预测效果，特别是对边缘块占较大的毖例的小尺寸的图像，更是如此。为了 克服边缘运动矢量搜索的局限性，h 2 6 3 引入了不受限制运动矢量模式。在该模式中， 运动矢量可以指到图像的外面，运动矢量的水平和垂直分量的运动范围从 1 6 ，+ 1 5 。5 3 扩展到 - 3 1 5 ，+ 3 1 5 。当参考帧像素位于被编码图像以外，该像素值由它所在行( 或 列) 的边缘像素值代替。利用此方案，可获得显著的增益，特别是对于较小的图像格 式，若图像边缘存在运动更是如此。不受限制运动矢量还支持大的运动矢量，大的运 动矢量辩视频匿像序列存在物体的移入或移出或摄像头抖动而造成的背景移动时以 及采用大的图像格式( 4 c i f 或1 6 c i f ) 时特别有用。由于采用大的运动矢量，在运动 估计时，图像搜索范围褥到了扩展，从而改善了边缘块带来的限制，提高了边缘块的 预测准确度，改善了方块效应。但是这种模式在提高图像质量的同时，也相应地增加 了运算量。 1 2 南京邮电大学硕士研究生学位论文 h 2 6 3 建议及高级编码选项 2 4 2p b 帧模式 在低码率条件下，如果编码缓冲器发生了上溢，或有发生上溢的可能，跳帧技术 是一种常用的技术，但简单的跳帧往往引起图像不连续性，从而导致图像质量的下降。 为了解决这个问题，h 2 6 3 引入了m p e g 中的b 图像的思想，提出了具有特色的p b 帧模式。h 2 6 3 中的p b 帧由一个p 帧和一个b 帧图像组成，引入p b 帧模式的主要优 点是在没有明显增加比特率的条件下提高帧速率，从而在降低码率和提高图像质量方 面发挥作用。 2 4 3 先进预测模式和块重叠运动补偿 在h 2 6 3 基本模式中，一个宏块仅有一个运动矢量，即假设每一个宏块所有的像 素都进行一致的位移运动。但在许多情况下，这种假设并不成立，这种人为的分割造 成了相邻宏块运动补偿的不连续性，从而出现边界效应。为克服这一现象，h 2 6 3 提 出了先进预测模式。该模式的关键是在编码时将每一个宏块分为四块，每个块独立进 行运动估计，产生四个运动矢量，分别进行差分编码。每个矢量的差分编码由其水平 和垂直矢量分量减去预测值而获得，而预测因子分别取自三个候选因子己被译码的相 邻像素子块的运动矢量。在解码时，采用同样的方式恢复各子块的运动矢量。高级预 测模式缩小了运动估计单元的大小，利用了相邻宏块的运动相关性，提高了块匹配的 精度和速度，减少了运动矢量的编码比特率，提高了预测准确度。采用这种方法，可 以充分利用相邻块的信息，在恰当地选择宏块的量化因子的基础上，可以减少方块效 j 立。 2 4 4 基于语法的算术编码模式 在h 2 6 3 的基于语法的算术编码中，整个比特流的结构没有变化，只是所有的编 码信息都采用算术编码。由于所提供的算术编码是基于语法的，也就是提供了算术编 码表来代替哈夫曼编码表，整个编码过程仍然为一个查表过程。算术编码方法与哈夫 曼编码方法相比对输入的数据没有分块要求，表示的信息尽量紧凑，从而能减少码字， 提高编码效率。 南京邮电大学硕士研究生学位论义h 2 6 3 建议及高级编码选项 5 本系统缺省编码模式流程 本系统编码线程开启后，首先初始化编码缓存，接着开启采集单元，然后等待开 启事件。收到编码进程后就进入编码模块。编码模块首先进行编码参数的初始化，然 后读取一帧图像，进行一次帧内( i 帧) 编码，发送事件给打包进程然后判断链路是 否断舞，若断开则在此处等待编码开疟事件，阻塞编码进程，否则进入循环。 循环中对待编图像进行p 帧编码，并对p 帧进行码率控制【2 4 1 。每次读取一帧图 像螽，调整码率控制状态( 按信道和图像格式进行设置) ，设置码率控制参数( 叠标 码率和状态) ，根据显示终端要求改变默认的图像格式，如果改变，则该帧采用帧内 编码，否则，舞始编p 帧。在判断图像的链路状况藤进行下一次循环。 流程如图2 - 6 所示： 编码开始 初始他编码参数 读取图像 编码( i 帧) 判断链路标志 更新时间参考 ( t r ) 读取图像 码率控制状态参数 怼芝竺耋哆 童麓 设置码率控制参数 y 编码p 帧ii 编码i 帧 圈2 - 6 本系统编码模块灏 。， 进行p 帧编码时，首先是对参数进行初始化和对参数合法性进行检测，然后调用 运动估计丞数得到每一个宏块m b 类型和运动矢量。其次进入宏块层编码循环，更新 宏块层的量化步长，判断本帧编码比特数是否超过本帧最大比特数的限制：如果宏块 编码毙特数累加超过限制的最大比特数，此惹的每个宏块不霉对宏块的交流分量进行 编码，返回该宏块的编码比特数；若宏块编码比特数累加在限制范围内，根据宏块的 m b 类型，选择i n t r a 、i n t r a + q 或i n t e r 、i n t e r + q 编码方式进行宏块层编码， 1 4 南京邮电大学硕士研究生学位论文 h 2 6 3 建议及高级编码选项 并返回该宏块的编码比特数，然后进入下一个宏块编码，直到本帧图像宏块编码全部 完成。最后保存图像参数，将重建图像作为下一帧图像参考帧，循环进入下一帧编码。 2 。6 本章小结 本章详细介绍了甚低码率图像编码国际标准h 。2 6 3 协议的基本框架，其中包括所 需视频信号的信号表示和信源格式。重点说明了h 2 6 3 比特流语法结构和h 2 6 3 视频 编码算法的技术原理，并简略地介绍了h 2 6 3 的四个高级编码选项和本系统基本编码 流程。这些基本知识是研究h 2 6 3 建议和系统模拟实验的基础，下一章详细介绍在系 统缺省编码模式基础上加入p b 帧高级模式的实现过程。 南京邮电大学硕士研究生学位论文实时p b 帧编码及控制策略 第三章实时p b 帧编码及其控制策略 3 1 多模式无线视频实时传输系统 本文研究课题基于南京邮电大学图像处理与图像通信重点实验室研制成功的多 模式无线数字视频传输原型系统【1 7 】，该系统可工作于w l a n 、c d m a l x 和g p r s 网 络的任一、二者或三者的组合，通过软件控制，根据所处位置的网络状况在多种无线 网络中进行自动切换，选择当前可用高带宽网络进行视频传输。当无线终端在内部 a p 网络范围内移动时，经过w l a n 接入局域网实现高速视频传输，一旦超出w l a n 服务范围，则由公共移动网络提供无线视频传输途径。对于公共移动网络的g p r s 和 c d m a 接入，则经i n t e m e t 与设在内部网络( 局域网) 上的显示终端进行交互。 3 1 1w 1 a n 网络传输环境 w l a n ( 无线局域网：w i r e l e s sl o c a l a r e an e t w o r k ) 是计算机网络与无线通信技 术相结合的产物。无线局域网作为有线网络的延伸，因其具有移动性、灵活性高、建 网迅速、管理方便、网络造价低、扩展能力强等特点，可更好地弥补有线的不足。此 外，无线局域网的抗干扰性强、网络保密性好。本系统采用的是i e e e 8 0 2 1 1 b 标准。 8 0 2 1 1 b ( 所一厅) 物理层支持5 5 m b p s 和1 1 m b p s 两个新速率。8 0 2 1 1 b 使用动态速 率漂移，可根据环境变化，在1 1 m b p s 、5 5 m b p s 、2 m b p s 、1 m b p s 之间切换，适用于 高速率无线视频通信。 3 1 2c d m a 网络传输环境 c d m a ( 码分多址：c o d ed i v i s i o nm u l t i p l ea c c e s s ) ，是在数字技术上的分支 扩频通信技术上发展起来的一种新的无线通信技术。c d m a 技术的原理是基于扩频 技术，即将需传送的具有一定信号带宽信息数据，用一个带宽远大于信号带宽的高速 伪随机码进行调制，使原数据信号的带宽被扩展，再经载波调制并发送出去。接收端 使用完全相同的伪随机码，与接收的带宽信号作相关处理，把宽带信号换成原信息数 据的窄带信号即解扩，以实现信息通信。本系统采用的c d m a 网已经升级到 1 6 南京邮电大学硕士研究生学位论文实时p b 帧编码及控制策略 c d m a l x ，c d m a l x 网络接入速度快，提供了与现有数据网的无缝连接。采用 c d m a l x 无线土飕最高速率可达1 5 3 6 k b p s ，稳定状态下的速率可在5 0 k - 7 0 k b p s 左右，适合中速码率无线视频通信。 3 1 3g p r s 网络传输环境 g p r s ( 通用无线分组亚务：g e n e r a lp a c k e tr a d i os e r v i c e ) 是在现有g s m 系统 上发展起来的一种新的承载业务，以分组形式提供数据业务。g p r s 网络容量只在所 需时分配，不要时就释放，这种发送方式称为统计复用。g p r s 的特点是用户始终保 持与网络的连接，但只有传递数据的时候才占用无线资源，即根据用户的需要动态地 分配物理信道，从而提高了数据传送率和带宽利用率。