（信号与信息处理专业论文）基于mpeg2的视频压缩算法的vhdl实现.pdf

摘要 m p e g - - 2 是标准清晰度数字电视和高清晰度数字电视的图像编码标准。自 从1 9 9 4 年标准推出至今，以肝e g 一2 为标准的各种应用迅速进入人们的日常 生活中，使人们深刻感受到它的存在，深刻影响着数字视频的发展。作为最 成功的运动图像压缩标准之一，它也对后来的图像压缩标准影响很大，成为 后续标准的一个理论基础。对于初次认识视频数字处理的人来说，m p e g 一2 是 个很好的研究对象。 本文首先从人眼的视觉特性角度介绍了视频的数字化标准，并在对 m p e g - 2 视频序列的分层数据结构和主要压缩算法分析的基础上，详细讨论了 基于查表法二维d c t 变换，m p e g 一2 量化与反量化器以及z 字型扫描和h u f f m a n 编码的硬拷贝方法。最后对基于并行结构的运动估计算法的硬件设计进行了 初步探讨，并提出了对算法改进的思考。 本文的主要创新之处在于：深入研究并用v h d l 成功实现了基于查表法的 二维d c t 变换，算法避免了乘法运算，只是一些必要的加法运算，大大提高 了变换的运算速度。基于查表法的z 扫描、h u f f m a n 编码及量化器的v h d l 实 现方法。 关键字：查表法二维d c t 变换连续排除准则并行处理自适应量化 a b s t r a c t a b s t r a c t m p e g - 2ist h ei m p o r t a n ts t a n d a r df o rc o d i n gm o v i n gp ic t u r ec o m p r e s s s i n c et h es t a n d a r dw a si s s u e di n1 9 9 4 ，v a r i o u sa p p l i c a t i o n sb a s e do n i th a v ep r o m p t l ye n t e r e di n t og e n e r a l1i r e sa n dm a d ep e o p l ed e e p l y r e a l i z e di t se x i s t e n c e a so n eo ft h em o s ts u c c e s s f u ls t a n d a r d so f m o v i n gp i c t u r ec o m p r e s s ，i ta l s oa f f e c t sd e e p l yt h eo t h e rs t a n d a r d m p e g 一2i sav e r yg o o dr e s e a r c ho b j e c tt ot h eb e g i n n e ro fs t u d y i n gm o v i n g p i c t u r ec o m p r e s sc o d e i n t h i sp a p e r ，w ef i r s t l yr e v i e wt h e m p e gs e r i e s t h e nt h e t r a d i t i o n a lc o m p r e s s i o nm e t h o d si nm p e g ，s u c ha sd c tt r a n s f o r m 、 q u a n t i z a t i o n 、z - s c a n 、r u nl e n g t hc o d i n ga n dv a r i a b l el e n g t hc o d i n ge t c i sd i s c u s s e di nd e t a i l a tt h es 锄et i m e t h el e v e la r c h i t e c t u r eo f b i t s t r e a mi sd i s c u s s e d f i n a l l yw ed e t a i l e d l yi n t r o d u c et h em e t h o do f u s i n gv h d lt od e s c r i p tm p e g 一2a l g o r i t h m ，i n c l u d i n gt w od i m e n s i o nd c t t r a n s f o r mb a s e do nl o o k i n g u pt a b l e ，q u a n t i z a t i o n ，d e q u a n t i z a t i o na n d h u f f m a nc o d i n ge t c t h ec o n t r i b u t i o n so ft h i sp a p e ra r e ：t h ev h d li m p l e m e n t a t i o no f t w od i m e n s i o nd c tt r a n s f o r mb a s e do nl o o k i n g u pt a b l e ，q u a n t i z a t i o n a n dd e q u a n t i z a t i o n ，v a r i a b l el e n g t hc o d i n ge t c k e yw o r d s ： d c t 、l o o k i n g u pt a b l e 、p a r a l l e lp r o c e s s i n g 、a d a p t i v eq u a n t i z a t i o n y 8 u 五8 7 2 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提 供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国 家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目 的的前提下，学校可以适当复制论文的部分或全部内容用于学术活 动。 学位论文作者签名：撕 w 。y 年r 月j 日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 解密时间：年月日 各密级的最长保密年限及书写格式规定如下 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进 行研究工作所取得的成果。除文中已经注明引用的内容外，本学位 论文的研究成果不包含任何他人创作的、已公开发表或者没有公开 发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个 人和集体，均已在文中以明确方式标明。本学位论文原创性声明的 法律责任由本人承担。 学位论文作者签名：酬魄 卫弦y 年，月- p c 日 第一章引言 第一章引言 视觉是人类的重要感观，也是人类获取信息的重要来源。据统计， 类有大约 7 0 的信息来自视觉。视频信息与其它形式的信息相比具有直观、生动、具体等诸 多优点，包含的信息量很大，但同时其数据量也大的惊人，对存储空间提出较高阿 要求。 视频是一组在时间轴上有序排列的图像，是二维图像在一维时间轴上的图像序 列。它不仅包含静止图像的内容，而且还包含场景中的运动信息和客观世界随时间 变化的信息。早期的视频是模拟的视频信号，随着各种电子技术的发展及数字化标 准的提出，数字视频得到了更加广泛的开发和应用，这是和数字视频巨大优越性密 切相关的。针对模拟视频，数字视频有很多优越性，具体体现在： 1 )存储便利模拟视频信号大多存储在磁带或胶片上，随着磁带的长期存放和 使用磨损，图像质量难以保证。对于数字视频，由于数字存储技术的不断发 展，存储成本不断下降，同时各种压缩算法的提出，也大大降低了视频信号 对存储空问的要求。 2 )图像质量好模拟视频信号的抗干扰能力差，在传输和存储过程中都会受到 各种形式的干扰，并且信号经多次传输和复制后，噪声会不断积累，导致图 像质量严重下降。 3 )便于提供新业务数字视频的数字表示形式和传输手段使其可以很容易地 与现有地多媒体技术相结合，为人们提供全新的，灵活的多种服务。 4 )便于编辑对模拟视频的编辑非常繁琐而目会破坏载体，使图像质量变差。 数字视频的编辑不必破坏原有载体，可进行任意的非线性的剪辑和视频创 作。 现在，各种压缩算法，多媒体通信协议的不断完善，都为数字视频更广泛的应 用提供了难得的条件。尤其是进入二十世纪九十年代，针对不同应用的视频压缩标 准纷纷提出，到目前为止已经开发和正在开发的压缩标准有：h 2 6 1 、h 2 6 3 、m p e g l 、 m p e g 2 、m p e g 4 、m p e g 7 、m p e g 2 1 等。其中被普遍认可、最为权威的还得是艘e g 技术。 第一章引言 第二节m p e g 技术的发展与现状嘲 m p e g 是动态图像专家组( m o v i n gp i c t u r ee x p e r t sg r o u p ) 的英文缩写，该专 家组始建于1 9 8 8 年，专门负责制定数字视音频压缩标准，目前已拥有3 0 0 多名成 员，包括i b m 、s u n 、b b c 、n e c 、i n t e l 、a t t 等世界知名公司。m p e g 组织最初得到 的授权是制定用于“活动图像”编码的各种标准，随后扩充为“及其伴随的音频” 及其组合编码。后来针对不同的应用需求，解除了“用于数字存储媒体”的限制， 成为现在制定“活动图像和音频编码”标准的组织。现今所泛指的m p e g - x 版本，是 指一组由国际电信联盟( i t u ) 和国际标准化组织( i s o ) 制定并发布的音、视频数 据压缩标准。 i 2 1 m p e g - 1 标准及其应用” m p e g - 1 标准于1 9 9 3 年8 月公布，用于传输1 5 m b p s 数据传输率的数字存储媒体 运动图像及其伴音的编码。其基本目标是： 在图像质量方面，普遍认为应高于电视电话的图像质量，可以被大家接受的是 光盘c d r o m 的放像质量。 在存储媒体方面，可以存储在下几种媒体中：光盘、数字录音带d a t 、温盘 ( w i n c h e s t e rd i s k ) 、可写光盘( w r i t a b l eo p t i c a ld i s k ) 。 传输码率1 1 5 m b i t s ，符合目前计算机网络的传输码率。 传输网络方面可以适应i s d n 、l a n 等网络。 能满足对称和不对称的应用。所谓对称应用就是编码与解码同时进行，如电视 电话、图像双向传递等。所谓不对称应用是经一次编码后，可以无数次解码使 用的应用( v c d 、电子图像出版物等) 。 该标准从颁布的那一刻起，就取得连串的成功，如v c d 和m p 3 的大量使用， w i n d o w s 9 5 以后的版本都带有个m p e g - 1 软件解码器，可携式m p e g - i 摄像机等等。 从而使m p e g 声名远扬。 1 2 2m p e g - 2 标准及其应用 m p e g 组织于1 9 9 4 年推出m p e g - 2 压缩标准，其目的是针对标准数字电视和高清 晰度电视在各种应用下的压缩方案和系统层设计。该标准分为9 个部分，统称为 i s 影i e c l 3 8 1 8 国际标准。各部分的内容描述如下： 第一部分一i s 0 i e c l 3 8 1 8 1 系统，描述多个视频，音频和数据基本码流合成 2 第一章引言 传输码流和节目码流的方式。 第二部分- - i s o i e c l 3 8 1 8 - 2 视频，描述视频编码方法。 第三部分- i s o i e c l 3 8 1 8 - 3 音频，描述与m p e g - i 音频标准反向兼容的音频编 码方法。 第四部分- i s o i e c l 3 8 1 8 - 4 符合测试，描述测试一个编码码流是否符合 m p e c , - 2 码流的方法。 第五部分- - i s o i e c l 3 8 1 8 5 软件，描述了m p e g - 2 标准的第一、二、三部分的 软件实现方法。 第六部分- - i s o i e c l 3 8 1 8 6 数字存储媒体一命令与控制，描述交互式多媒体网 络中服务器与用户间的会话信令集。 以上六个部分均已获得通过，成为正式的国际标准，并在数字电视等领域中得 到了广泛的实际应用。此外，m p e p 2 标准还有三个部分：第七部分规定不与m p e g - i 音频反向兼容的多通道音频编码；第八部分现已停止；第九部分规定了一致性扩展 测试。 m p e g - 2 图像压缩的原理是利用了图像中的两种特性：空间相关性和时间相关陛。 一帧图像内的任何个场景都是由若干像素点构成的，因此个像素通常与它周围 的某些像素在亮度和色度上存在一定的关系，这种关系叫作空间相关性：一个节目 中的一个隋节常常由若干帧连续图像组成的图像序列构成，个图像序列中前后帧 图像间也存在一定的关系，这种关系叫作时间相关胜。这两种相关性使得图像中存 在大量的冗余信息。如果我们能将这些冗余信息去除，只保留少量非相关信息进行 传输，就可以大大节省传输频带。而接收机利用这些非相关信息，按照一定的解码 算法，可以在保证一定的图像质量的前提下恢复原始图像。一个好的压缩编码方案 就是能够最大限度地去除图像中的冗余信息。 编码性能： 编码码率在3 m l o o m b i t s 之间。 在p a l 制式下分辨率可达7 2 0 x 5 7 6 。 提供广播级的视像和c d 级音质。 音频编码可提供左中右及两个环绕声道，以及个加重低音声道和多达7 个伴 音声道。 可提供一个较大范围的压缩比，以适应不同的画面质量、存储容量和带宽要求。 由于m p e g - 2 设计时的可分级特性，使得大多数m p e g - 2 解码器也可以播放冲e g _ 1 第一章引言 格式的视频流，m p e g - 2 标准的主要应用如下： 1 、视音频资料的保存 2 、非线瞠i 编辑系统及非线陛编辑网络 3 、卫星传输 4 、电视节目的播出 1 2 3 , i p e c r - 4 标准及其应用 运动图像专家组m p e g 于1 9 9 9 年2 月正式公布了m p e g - 4g s o i e c l 4 4 9 6 ) 标准 第版本。同年年底m p e g - 4 第二版亦告底定，且于2 0 0 0t f 年- v j 正式成为国际标准。 m p f 粥r - 4 与m p e g - 1 和m p e g - 2 有很大的不同。m p e g - 4 不只是具体压缩算法，它将 众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标 准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采 用的统一数据格式。m p e g - 4 标准同以前标准的最显著的差别在于它采用基于对象的 编码理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对 象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而 组合成所需要的视频和音频。这样可以使我们对不同的对象采用不同的编码方法和 表示方法，又有利于不同数据类型间的融合，并且也可以方便的实现对于各种对象 的操作及编辑。m p e g - 4 具有如下优点： ( 1 ) 基于内容的交互j 眭 m p e g - 4 提供了基于内容的多媒体数据访问工具，如索引、超级链接、e 下载、 删除等。利用这些工具，用户可以方便地从多媒体数据库中有选择地获取自己所需 的与对象有关的内容，并提供了内容的操作和位流编辑功能，可应用于交互式家庭 购物等。m p e g - 4 提供了高效的自然或合成的多媒体数据编码方法。它可以把自然场 景或对象组合起来成为合成的多媒体数据。 ( 2 ) 高效的压缩性 m p e g - 4 有更高的编码效率。同已有的其它标准相比，在相同的比特率下，它基 于更高的视觉听觉质量，这就使得在低带宽的信道上传送视频、音频成为可能。同 时m p e g - 4 还能对同时发生的数据流进行编码。一个场景的多视角或多声道数据流可 以高效、同步地合成为最终数据流。这可用于虚拟三维游戏、三维电影、飞行仿真 练习等。 ( 3 ) 通用的访问性 4 第一章引言 m p e g - 4 提供了易出错环境的鲁棒陛，来保证其在许多无线和有线网络以及存储 介质中的应用，此外，m p e g - 4 还支持基于内容的的可分级性，即把内容、质量、复 杂性分成 年多小块来满足不同用户的不同需求，支持具有不同带宽，不同存储容量 的传输信道和接收端。 m p e g - 4 主要应用如下： 1 、应用于因特网视音频广播 2 、应用于无线通信 3 、应用于静止图像压缩 4 、应用于电视电话 5 、应用于计算机图形、动画与仿真 6 、应用于电子游戏 1 2 4m p e g - 7 标准及其应用 m p e g - 7 标准是针对目渐庞大的图像、声音信息的管理和迅速搜索而提出的。 m p e g - 7 被称为“多媒体内容描述接口”，它规定了个用于描述各种不同类型多媒 体信息的描述符的标准集合，为各类多媒体信息提供一种标准化的描述，这种描述 与内容本身有关，允许陕速有效的查询用户感兴趣的资料。m p e g - 7 的主要特点： 支持多种音频和视觉的描述，包括自由文本、n 维时空结构、统计信鼠、客 观属性、主观屙陛、生产屙胜和组合信息。对于视觉信息，描述将包括颜色、视觉 对象、纹理、草图、形状、体积、空间关系、运动及变形等。 根据信息的抽象层次，提供一种描述多媒体材料的方法，以便不同用户对不 同层次信息的需求。 支持数据管理的灵活性、数据资源的全球化和互操作性。 m p e g - 7 由以下几部分组成： ( 1 ) m p e g - 7 系统：它保证m p e g - 7 描述有效传输和存储所必须的工具，并确保内容 与描述之间进行同步，这些工具有管理和保护的智能特性； ( 2 ) m p e g - 7 描述定义语言：用来定义新的描述结构的语言： ( 3 ) m p e g - 7 音频：只涉及音频描述的描述子和描述结构； ( 4 ) m p e g - 7 视频：只涉及视频描述的描述子和描述结构； ( 5 ) m p e g - 7 属性实体和多媒体描述结构； ( 6 ) m p e g - 7 参考软件：实现m p e g - 7 标准相关成分的软件； 第一章引言 ( 7 ) m p e g - 7 一致性：钡蛴式i 旧e g - 7 执行一致性的指导方针和程序。 m p e g - 7 的最终目标是把网上的多媒体内容变成象现在的文本内容一样，具有可 搜索性。使得大众可以接触到大量的多媒体内容，m p e g - 7 标准可以支持非常广泛的 应用，具体如下： ( 1 ) 音视数据库的存储和检索； ( 2 ) 广播媒体的选择( 广播、电视节目) ； ( 3 ) 因特网上的个陛化新闻服务； ( 4 ) 智能多媒体、多媒体编辑； ( 5 ) 教育领域的应用( 如数字多媒体图书馆等) ； ( 6 ) 远程购物； ( 7 ) 社会和文化服务( 历史博物馆、艺术走廊等) ： ( 8 ) 调查服务( 人的特征的识别、辩论等) ； ( 9 ) 遥感： ( 1 0 ) 监视( 交通控制、地面交通等) ； ( 1 1 ) 生物医学应用； ( 1 2 ) 建筑、不动产及内部设计； ( 1 3 ) 多媒体目录服务( 如，黄页、旅游信息、地理信息系统等) ； ( 1 4 ) 家庭娱乐( 个人的多媒体收集管理系统等) 。 1 2 5m p b g _ 2 l 标准及其应用 互联网改变了物质商品交换的商业模式，这就是“电子商务”。新的市场必然 带来新的问题：如何获取数字视频、音频以及合成图形等“数字商品”，如何保护 多媒体内容的知识产权，如何为用户提供透明的媒体信息服务，如何检索内容，如 何保证服务质量等。此外，有许多数字媒体( 图片、音乐等) 是由用户个人生成、使 用的。这些“内容供应者”同商业内容供应商一样关心相同的事情：内容的管理和 重定位、各种权利的保护、非授权存取和修改的保护、商业机密与个人隐私的保护 等。目前虽然建立了传输和数字媒体消费的基础结构并确定了与此相关的诸多要素， 但这些要素、规范之间还没有一个明确的关系描述方法，迫切需要种结构或框架 保证数字媒体消费的简单性，很好地处理“数字类消费”中诸要素之间的关系。 m p e g - 2 1 就是在这种| 青况下提出的。 制定m p e g - 2 1 标准的目的是：( 1 ) 将不同的协议、标准、技术等有机地融合在一 6 第一章引言 起；( 2 ) 制定新的标准；( 3 ) 将这些不同的标准集成在_ 起。m p e g - 2 1 标准其实就是一 些关键技术的集成，通过这种集成环境就对全球数字媒体资源进行透明和增强管理， 实现内容描述、创建、发布、使用、识别、收费管理、产权保护、用户隐私权保护、 终端和网络资源抽取、事件报告等功能。 任何与m p e g - - 2 1 多媒体框架标准环境交互或使用m p e g - 2 1 数字项实体的个 或 团体都可以看作是用户。从纯技术角度来看，m p e g - 2 1 对于“内容供应商”和“消费 者”没有任何区别。标准化是产业化成功的前提，m p e g - i 已成功地在中国推动了v c d 产业，m p e g - 2 标准又带动了d v d 及数字电视等多种消费电子产业，其它m p e g 标准的 应用也在实施或开发中，船e g 紧扣应用发展的脉搏，与工业和应用同步。未来是信 息化的社会，各种多媒体数据的传输和存储是信息处理的基本问题，因此，可以肯 定仲e g 系列标准将发挥越来越大的作用。 第二章视频的数字化和m p e g - 2 视频序列的分层结构 第二章视频的数字化和m p e g - 2 视频序列的分层结构 图像数据压缩主要根据下面两个基本事实来实现的。一个是图像数据中有许多 重复的数据，使用数学方法来表示这些重复数据就可以减少数据量；另一个事实是 人的眼睛对图像细节和颜色的辨认有一个极限，把超过极限的部分去掉，这也就达 到压缩数据的目的。利用前一个事实的压缩技术就是无损压缩技术，利用后一个事 实的压缩技术就是有损压缩技术。实际的图像压缩是综合使用各种有损和无损压缩 技术来实现的。 第一节人眼对颜色的感知 颜色是人眼对可见光的感知结果。对人眼来说可见光是波长在3 8 0n m 7 8 0i - t r r l 之间的电磁波。我们所看到的大多数的光实际上并不是单波长的光，而是由几种 不同波长的光叠加而成的。研究表明，任何种颜色的光都可以用r 、g 、b 三个彩 色分量按不同的比例混合得到。人眼正是利用了三基色这个原理。人的视网膜有三 种锥体细胞，分别对红、绿、蓝三种颜色的光敏感，这三种锥体细胞产生信号的不 同组合在 、脑中形成对自然界各种颜色的感觉。下图为人服对不同频率的光的感 知程度。 1 0 营o 。8 吾0 6 懿 5 0 06 0 07 0 0 波长f w 耵e l e n 鳓，x ( m ) 图2 1 1 视觉系统对颜电和亮度的响应特性 8 第二章视频的数字化和m p e g - 2 视频序列的分层结构 由图可知，人眼对不同频率的光的感知程度不同，对不同亮度的感知程度也不 同。而且明显对亮度的变化更力1 1 敏感，这就意味着，人们可以使用数字图像处理技 术来降低数据率而不使 感到图像质量明显下降。 第二节彩色空间的线性转换嘲 由于人眼具有对亮度细节的分辨力高，对色度细节的分辨力低的特点，在实际 应用中，人们往往不是直接传送r 、g 、b 三基色信号，而是将r 、g 、b 颜色空间的 信号转换到亮度一色差空间的信号，然后再进行传送。进行这样处理的目的是( 1 ) 可以增加信号的抗干扰能力( 2 ) 通过对色差信号有选择的丢弃，可以实现数据的压 缩。目前采用的彩色空间变换有三种：y i q , 唧和y c r c b 。它们分别是为了适应某 种类型的显示设备而产生的。其中，y i q 适用于n t s c 彩色电视制式，y u v 适用于p a l 和s e c a m 彩色电视制式，而y c r c b 适用于计算机用的显示器。 y u v 与r g b 彩色空间转换 刚u 1 0 烈1 4 70烈289 0 4褂36g0 6 1 505 1 5 01 0 0 五b ll = i 一 一 0i i 矿li 一一 1 il y i q 与r g b 彩色空间转换： y = 0 2 9 明+ 0 5 8 7 g + 0 1 1 4 b = 0 5 9 6 亓一0 2 7 5 6 0 3 2 1 b 口= 0 2 1 2 月一0 5 2 3 g + 0 3 1 1 b 或者写成矩阵的形式 9 r g b 和y u v 的对应 ( 2 2 1 ) ( 2 2 2 ) ( 2 2 3 ) 第二章视频的数字化和m p e g 2 视频序列的分层结构 0 5 8 7 0 2 7 5 0 5 2 3 cyr=一0。羞52090：。0_|481787一。01018413g月+12。8cb 01 6 8 7 03 3 1 3 05 0 0b 1 2 8 |l = 1 一一 1l + ii ll 一 一 0ll 匿 r 11 4 0 2 ：l l 一0 7 1 4 1 【l o 5 1 5 第三节视频的数字化和数字化标准 ( 2 2 4 ) ( 2 2 5 ) ( 2 2 6 ) ( 2 2 7 ) 2 3 1 视频的数字化 通常，数字视频系统采用彩色信号的分量表示方法。视频的数字化既是指对每 个分量的数字化，常用的方法有两种： ( 1 )首先，从全电视信号中分离出各彩色分量，r g b 、y u v 、y i q 或y c r c b ，然后用 三个a d 转换器分别对它们数字化。 ( 2 )首先，用一个高速a d 转换器对全电视信号进行数字化，然后在数字域中进 行各分量的分离，最终获得r g b 、y u v 、y i q 或y c r c b 分量数据。 在视频的数字化领域有许多专用集成电路可供使用，如p h i l i p s 公司出品的 s a a t l l 3 等，s a a 7 1 1 3 的信号输出格式完全符合i t u 6 0 1 标准规范。下面简单介绍一 下i t u 6 0 1 标准。 1 0 r g 四 1j 4 2 1们吼 9 6 2丝鲫m 一一 = 川纠l ，j 8 8 2 2 1 1 o 一 一d l1j 陀 o 3 z 0 l 第二章视频的数字化和m p e g 一2 视频序列的分层结构 2 3 2 数字化标准“ 为了规范国际上存在的多种视频数字化格式，前国际无线电咨询委员会c c i r 于 1 9 8 2 年2 月通过了全数字演播揪- - c c i r 6 0 1 建议书，并于1 9 9 4 年成为正式的国 际标准，即现在的i t u - 6 0 1 标准( i t u ：国际电信联盟) 。该标准为电视的数字化统 一了标准，随后问世的绝大多数数字视频设备都是依据这标准进行设计的。 这个标准主要是针对演播室的要求制定的，其中规定，对于p a l 制式，亮度信 号的采样频率是1 3 5e 4 z ，色度信号的采样频率是6 7 5m h z ，采用8 位p c m 编码。 这样，每行的y 采样数为8 6 4 个，其中有效的y 采样数为7 2 0 个。而每行的c b 或c r 采样数为4 3 2 个，有效的c b 或c r 采样数为3 6 0 个。平均描述每个像素的y c b c r 的 位数分别为8 b i t 、4 b i t 、4 b i t ，共占用2 个字节，又叫做4 ：2 ：2 编码方案。国际 无线电咨询委员会还出台了c c i r 6 5 6 建议，其中规定视频数据的量化值中的0 和2 5 5 保留不用，1 - 2 5 4 用于视频信号。对于亮度y ，1 6 表示黑色，2 3 5 表示白色；对于色 度分量c b 和c r ，1 2 8 表示没有色度。量化数据串行输出的顺序是：c b 0 、y 0 、c r o 、 y 1 ，c b 2 ，y 2 ，c r 2 ，y 3 ，c b 4 ，y 4 ，c r 4 ，y 5 ，如此循环。数字视频流应包含的元素 有：奇偶场指示信号f i ( 有的称为o d d ) 、场同步信号( 5 0 h z ) 、行同步信号( 1 5 6 i m z ) 、 像素时钟( 2 删z ) 、y c b c r 数据输出。 每帧总分辨率是8 6 4 x 6 2 5 。从上叫畴的6 2 4 行到本帧的3 1 0 行是奇场，其中上 帧6 2 4 行到本帧2 2 行是奇场消隐期，2 3 行到3 1 0 行是奇场有效行；从本帧3 1 1 行到 6 2 3 行是偶场，其中3 1 1 行到3 3 5 行是偶场消隐朗，3 3 6 到6 2 3 行为偶场有效行。每 行从第0 到第7 1 9 象素为有效象素，共计7 2 0 个。每帧的有效分辨率为7 2 0 x 5 7 6 。 如图所示： 上帧 竹o 腿 6 2 4 6 2 5 _ 2 2 2 3 并誊0 i 3 1 0鲫i 鞠3 5 13 3 6 r - 一誊6 2 36 2 46 2 5 一 - 场蔼嚆朋?i 圣鼍奇蝤有效期-蝴 鬣一 伊茹着8 溯 下帧二j 。 ， 。ji 场消隐期 寄蝮 偶场 图2 3 1 帧结构图 第二章视频的数字化和m p e g 2 视频序列的分层结构 第四节数据的二次取样嘲 几乎所有的视频编码技术都对数字化后的数据进行二次取样操作，二次取样的 基本概念是：在对人的视觉感知没有明显影响盼隋况下，减少输入视频的水平 d i m e n s i o n 和垂直d i m e n s i o n ，并在进行编码处理之前对京素编号。值得注意的是， 在有些应用场合，在时间方向上也进行二次取样，以便在编码处理前刚氐帧频。在 接受端，已解码的图像通过内插法来重现图像。二次取样可以认为是一种简单的压 缩技术，它是利用了人眼对亮度变化的敏感程度要强于色度变化这一生理特性，从 而去除了视频数据中的主观冗余部分。 目前，经常使用的二次取样格式有4 ：4 ：4 、4 ：2 ：2 、4 ：1 ：1 、4 ：2 ：0 。下面找们分 别加以介绍。 ( 1 ) 4 ：4 ：4y c r c b 格式 4 ：4 ：4 取样格式确切来说，并不是二次取样，它是指亮度分量y 和色度分量c r 、 c b 采用相同的取样频率。每个象素分别用y 、c r 、c b 三个分量表示，每个分量用8 b i t 表示，因此每个象素需要2 4 b i t 来表示。如图( 2 4 1 ) 所示： 扫描绒 l 德卜固卜 卜奇参母 3 1 4 垣卜 d 鸯 p 壤卜_ 一 2 礓卜 园- _ 叫参母 3 1 5 垣卜 霉卜 卜 卜_ 3 礓卜 叫移叫争争 移t ，c b ，c r 样本 图2 4 14 ：4 ：4y c r c b 格式 ( 2 ) 4 ：2 ：2y c r c b 格式 4 ：2 ：2 取样格式是指在水平方向上每采样两个亮度y 分量，对色度分量c r 、c b 采样一次；在垂直方向上色度分量和亮度分量的采样频率一样，整体来说色度分量 的采样频率为亮度分量的1 2 ，因此平均每个象素用两个分量的长度表示，如果每个 分量用8 b i t 表示，那么每个象素只需要1 6 b i t 。4 ：2 ：2 格式的码率是4 ：4 ：4 格式的 2 3 。如图( 2 4 2 ) 所示： 第二章视频的数字化和m p e g * 2 视频序列的分层结构 扫描g 1 咱酗咱酚争一 3 1 4 暄卜卜- 垣- 卜 酗卜 2 咱酗咱酽礓卜叫卜 3 1 5 h 奄_ _ 鬯卜叫静卜 3 _ 孽卜_ _ 垣驴卅勘_ 卜_ y ，e b ，c r 样本 仅y 样本 图2 屯24 ：2 ：2y c r c b 格式 在显示时，对于丢失的c r 、c b 分量，使用插值的方法进行补充，补充的值通过前后 相邻的c r 和c b 分量平均得到。 ( 3 ) 4 ：1 ：1y c r c b 格式 4 ：1 ：1 取样格式在水平方向上每采样4 个亮度y 分量，对色度分量进行一次采样； 在垂直方向上亮度和色度的采样频率样，因此整体而言色度分量的采样频率是亮 度分量的1 4 ，平均每个象素用1 5 个分量长度表示。如图( 2 4 3 ) 所示： 扫描线 1 叫参叫礓卜一 3 1 4 黔_ _ 礓卜一 2 _ 营h _ - _ i p 咱争_ 3 1 5 咱争_ 理卜一 3 咱黔卜静_ - y ，c b ，c r 辋i 本 仅y 样本 图2 4 34 ：1 ：1y c r c b 格式 在显示时，对于丢失的c r 、c b 分量，同样是使用插值的方法得到。 ( 4 ) 4 ：2 ：0y 臼c b 格式 4 ：2 ：0 取样格式在水平和垂直两个方向上进行每采样2 个亮度分量，采样一次色 度分量的操作，结果使得色度分量采样频率为亮度分量的1 4 ，平均每个象素用1 5 个分量长度表示。但是对于不同的视频编码标准，4 ：2 ：0 取样方式也不尽相同。下图 为m p e g - 1 和m p e g - 2 编码标准对于4 ：2 ：0 取样格式的定义，从图中我们可得出这样 的结论，与m p e c , - 1 相c = bm p e c , - 2 的子采样在水平方向上没有糊素的偏移。 第二章视频的数字化和m p e g - 2 视频序列的分层结构 扫描线 1 1 3 1 4 _ h 1 h 卜 国 2 ，3 1 5 卜p + 一 3 ，3 1 6 p p 一 4 3 1 7 p 一 扫描线 1 1 卜一 2 - - 0 3 1 _ 1 - p 一 画 4 一一- 一一p 一一- p - - 一一 5 1 3 1 8 卜_ 卜_ 卜5 卜卜- 卜_ 卜_ 移计算所得的e b ，e r 样本 y 样本 i p e g 一14 ：2 ：o 采样格式 睁计算所得的c b ，c f 样本 阵奉 p e g _ 24 ：2 ：o 柔样格式 图2 4 44 ：2 ：0y c m b 格式 第五节m p e g - 2 视频分层结构分析 2 5 1 类和等级“3 m p e g - 2 被称为通用编码规定，它可以满足不同条件下的不同应用，这是因为算 法本身具有可选择性。标准中不存在编码器的规定，而是定义了编码器输出比特流 的格式和内容，以及依据比特流中各参数和标志，重建“具有希望品质图像”的解 码方法。为了使标准能够满足尽可能多的应用的要求，m p e c r - 2 定义了“类( p r o f i l e ) ” 和“等级( 1 e v e l ) ”。所谓类，是构成比特流的参数和标识的子集，由此来定义编码 和解码算法的基本结构。所谓等级指的是加在比特流内各参数上的制约条件，由此 在类规定的算法结构中定义所要求的品质。 m p e g - 2 定义了四个等级、五个类，分别是简单类( s i m p l e ) 、基本类( m a i n ) 、 信噪比可分级类( s n rs c a l a b l e ) 、空间可分级类( s p a t i a ls c a l a b l e ) 、高级类( h i g h ) 和低级( 1 0 w ) 、基本级( m a i n ) 、高级1 4 4 0 ( h i g h - 1 4 4 0 ) 、高级( h i g h ) 。不同类和 不同等级的组合满足了不同条件下的不同应用，m p e g - 2 共定义了1 1 种有效组合，如 表( 2 5 1 ) 。其中，s p 眦具体使用在有线电视中：咿 札具体使用在美国d i r e c t t v 中，是d v d 、d t v 的标准配置；吨儿具体使用在美国a t v ( a d v a n c e d t v ) 中；s s p h l l 4 4 0 具体使用在欧洲的高清晰度数字电视标准( h d t v ) 中。 1 4 第二章视频的数字化和m p e g - 2 视频序列的分层结构 表2 5 1 伸e 6 - 2 中类和等级的组合 类简单类基本类信噪比可分级空间可分级类高级类 等级 ( s p )( m p )类( s n p )( s s p )( 胛) 低级 吼ls 肝嘎j ( 1 0 w )4 ：2 ：0 4 ：2 ：0 3 5 2 ，2 8 8 ，3 0 3 5 2 丰2 8 8 ：1 8 0 基本 s l 氇礼蛆强儿s 呷嘎也 舻嘎也 ( m a i n )( 有线电4 ：2 ：0 4 ：2 ：04 ：2 ：0 视) 7 2 0 $ 5 7 6 丰3 07 2 5 7 融3 07 2 0 5 7 阱3 0 高级1 4 4 0札1 4 4 0s s p 晤几1 4 4 0 胤1 4 4 0 。 ( h i g h - 1 4 4 0 ) 4 ：2 ：04 ：2 ：o4 ：2 ：2 1 4 4 噼1 1 5 2 丰6 01 栅1 1 5 2 蛳o4 ：2 ：o 1 4 4 0 1 1 5 2 * 6 0 高级 礓m ) 曙儿 ( h i g h ) 4 ：2 ：04 ：2 ：2 1 9 2 僻1 1 5 2 审6 04 ：2 ：0 1 9 2 0 1 1 5 2 * 6 0 2 5 2 可分级性“1 可分级性是指在一个编码数据流中，可以通过部分解码得到不同质量的图像。 可分级编码器分为上、下两层，两层具有相同的信号源。下层输出的是图像的基本 信息，使用错误率低的信道进行传输；上层输出的是图像的精细信息，通过错误率 相对较高的信道传输。解码器可以只输出图像的基本信息，也可以通过对e ，下层 信息的合成输出品质高的图像。由于对上下层使用不同的传输信道，这样在噪声较 大的情况下，也可以确保下层图像品质，避免画质的急剧下降。这种缓慢地使图像 品质下降地方法称为渐进衰减( g r a c e f u ld e g r a d a t i o n ) 。渐进衰减是可分级编码器 所具有地最大优点。 s n r 可分级性是指进行d c t 系数量化时，下层编码器采用较大地量化比例因子， 进行粗量化；上层编码器对实际d c t 系数和粗量化的d c f 系数的差值进行精心量化。 空间可分级性包含s n r 可分级性。高分辨率图像在输入到上层编码器进行编码 的同时，通过对高分辨率图像的d o w ns a m p l i n g 处理产生的低分辨率图像输入到下 层编码器。 时间可分级性是指帧速率不同的图像共同存在时，将低帧频图像在下层编码器 编码，而将高帧频图像中不能用低频图像表示的帧在上层中进行编码。时间可分级 第二章视频的数字化和m p e g - 2 视频序列的分层结构 性和空间、s n r 可分级性同样，存在错误率不同的信道时可以作为减少传送错误影响 的方法。 2 5 3 m p f _ , g _ 2 视频数据结构 在m p e g 中，运动图像的编码和解码是分成多个层次来进行的。它的目的是随着 运动图像统计特性在时间和空间的变化，可以有效的对控制编码效率的参数进行控 制；发生比特错误，丢失正确编码信息时，抑制其对编码图像的影响范围；对图像 的随即访问等。m p e g - 2 的编码数据分为6 个层次，从上至下依次为视频序列层 ( s e q u e n c e ) 、图像组层c o p ( g r o u po f p i c t u r e ) 、图像层( p i c t u r e ) 、像条层( s l i c e ) j 宏( m a c r o - b l c o k ) 和像块层( b l o c k ) 。它们之间的关系如图( 2 5 1 ) “。所示： 二鞲j “ e 奠 t 眨_ - ；潭i | 1 孽黧。ji ji 獬 涟 整城 攀 瀵 隧。攥。 i ii i i 叶蓦蓦j 。 k _ i - 一。 箍撩缀 = ； 蔓 垂b 彗端。愿卷谶 第二章视频的数字化和m p e g - 2 视频序列的分层结构 图2 5 2c o p 结构图 g o p 有两种，一种是o p e n g o p ，种是c l o s e c - o p 。c l o s e ( ；o p 是指所有的参考帧 都在同一c o p 组中；o p e n g o p 是指不是所有的参考帧都在同一g o p 中，需要使用前一 c o p 中的图像作为参考。是否使用前一6 0 p 的图像作为参考由g o p 信头中的c l o s e g o p 标识指出。图