（信号与信息处理专业论文）mpeg2数字视频错误隐藏技术的研究.pdf

中文摘要 数字电视是世界通信与信息技术迅猛发展诱发的整个电视广播产业链条 的变革，被各国视为新世纪的战略技术。为适应产业化的需要，一系列相应的 数字视频音频编码标准也迅速地被制定并不断得到完善。作为高清晰数字电视 ( h d t v ) 标准的m p e g 一2 就是在这种情况下产生，并已被广泛地应用到其它领 域。然而，m p e g 2 标准虽具有很好的数字视频压缩效果，但作为其主要应用 理论之的变长码编码使得任何数据错误都可能造成严重的图像质量下降，本 文的研究课题就是在这种背景下提出并着手研究的。 针对m p e g 一2 数字视频错误隐藏这一研究课题，文中首先全面总结了有 关m p e g 一2 数字视频错误处理的国内外最新成果和理论。根据m p e g 一2 图像 错误分析，系统提出了m p e g - 2 数字视频的错误检测方法，比较准确地实现了 解码端数字视频码流的错误检测。其次，基于空域错误隐藏的最新成果，提出 了块分割匹配和边缘匹配的空域错误隐藏算法，部分恢复了图像的细节，提高 了空域图像错误隐藏效果。第三，建立了重构丢失宏块运动向量的基本理论。 给出了基于相邻解码帧和块分割匹配的时域错误隐藏方法，降低了时域错误隐 藏的块移动效应。第四，从频域的角度提出了基于d c t 系数分割的错误隐藏， 将视频图像的空间相关性和时间相关性结合起来实现同一数据块的错误隐藏， 预示着视频图像错误隐藏发展的方向。第五，针对m p e g 一2 视频码流中的重要 数掘视频头和直流系数，提出了专门的错误检测与恢复方法，取得了较好的效 果。最后，依据m p e g 一2 标准的软件部分，提出了数字视频错误隐藏的实现方 案，给出了相应的软件设计思想。 m p e g 2 数字视频错误隐藏是视频领域研究的一个重要课题，相信研究成 果会对我国数字电视的发展起到积极的推动作用。 关键词：m p e g 2 标准数字视频错误隐减错误检测 + 奉文为固家自然科学基余会资助项目( n o 。6 9 8 7 2 0 2 6 ) a b s t r a c t 7 d i g i t a lt e l e v i s i o nr e g a r d e da st h es t r a t e g i ct e c h n o l o g yi so n er e v o l u t i o no ft h e w h o l et e l e v i s i o nb r o a d c a s t i n gc a u s e db yd e v e l o p i n go fw o r l dc o m m u n i c a t i o na n d i n f o r m a t i o nt e c h n o l o g y a st h ed e m a n do fi n d u s t r i a l i z a t i o n ，as e r i e so fs t a n d a r d s a b o u t v i d e oa n da u d i oh a v eb e e ns e tu pa n dc o n t i n u o u s l yd e v e l o p e d i nt h e c o n d i t i o n st h em p e g 2a r i s e sa st h es t a n d a r do fh d t vw h i c hh a v eb e e nu s e di n t h eo t h e rd o m a i n s h o w e v e r , p o s s e s s i n gt h eo u t s t a n d i n ge f f e c to fc o m p r e s s i n g ，t h e m p e g - 2s t a n d a r dh a so n ef l a wt h a tt h ev a r i a b l el e n g t hc o d i n gw h i c hi su s e di nt h e m p e g 一2s t a n d a r dm a yl e a dt on o t i c e a b l ed e g r a d a t i o no fi m a g eq u a l i t ya st h er e s u l t o fa n ye r r o r t h es t u d yo fe r r o rc o n c e a l m e n ta b o u tm p e g 一2v i d e oc o m m e n c e di n s u c hb a c k g r o m l d a st h eb e g i n n i n go fs t u d y i n ge r r o rc o n c e a l m e n to fm p e g 一2v i d e o ，t h er e c e n t n a t i o n a la n di n t e m a t i o n a la c h i e v e m e n t so fe r r o rp r o c e s s i n ga b o u tm p e g 一2d i g i t a l v i d e oa r es u m m a r i z e d b a s e do nt h ea n a l y s i so fm p e g 一2i m a g ee r r o r s ，t h em e t h o d s o fe r r o rd e t e c t i o n ，w h i c hc a nf i n d t h em o s te r r o r s ，a r e b r o u g h tf o r w a r d s y s t e m a t i c a l l y n e x t ，t w on e wa l g o r i t h m so fs p a t i a le r r o rc o n c e a l m e n ta c c o r d i n gt o b l o c k - m a t c h i n ga n de d g e - - m a t c h i n gp r i n c i p l e sb e t w e e nt w os i d e so fe r r o rb l o c ka r e p r e s e n t e db a s e do nt h ef o r m e rs t u d y t h ea l g o r i t h m sc a np a r t l yr e c o v e rt h ei m a g e d e t a i l sa n ds u r p a s st h eo t h e rs p a t i a lm e t h o d s t h i r d l y ，t h et h e o r yt or e c o n s t r u c tt h e m o t i o nv e c t o r so ft h el o s tm b si sg i v e n a n dt h en e wa l g o r i t h m so ft e m p o r a le r r o r c o n c e a l m e n tb a s e d0 nt h ea d j a c e n td e c o d e d - f r a m ea n d b l o c k - - d i v i d i n gm a t c h i n ga r e f o u n dt od e c r e a s et h ee f f e c to fb l o c ks h i f t i n g f o u r t h l y , t h es p a t i a lr e l a t i v i t ya n dt h e t e m p o r a lr e l a t i v i t y a r ec o m b i n e dt oc o n c e a lo n eb l o c kb yd i v i d i n gt h ed c t c o e f f i c i e n t s ，w h i c hi n d i c a t e st h ed e v e l o p m e n t a ld i r e c t i o no fe r r o rc o n c e a l m e n ti n t h ef u t u r e f i f t h l y , t h es p e c i a la l g o r i t h m sa r ep u tf o r w a r dt od e t e c ta n dr e c o v e rt h e e r r o r sf o r t h ei m p o r t a n td a t a 一- v i d e oh e a da n dd cc o e f f i c i e n t s f i n a l l y , a c c o r d i n gt o t h es o f t w a r ep a r to fm p e g 一2s t a n d a r d ，t h ed e s i g na n di m p l e m e n t a t i o no fe ca r e o f l b r e d s t u d y i n go fe r r o rc o n c e a l m e n tf o rm p e g - 2d i g i t a lv i d e oi so n ek e yt a s ko f v i d e oc o m m u n i c a t i o n ib e l i e v et h a tt h ea c h i e v e m e n t sc a np r o m o t et h ed e v e l o p m e n t o fo u rd i g i t a lt e l e v i s i o n k e yw o r d s ：m p e g 一2s t a n d a r d ，d i g i t a lv i d e o ，e r r o rd e t e c t i o n ，e r r o rc o n c e a l m e n t * t h ep a p e ri ss u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no f c h i n au n d e rg r a n tn o6 9 8 7 2 0 2 6 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签 枷0 签字嗍如2 年月彳日 学位论文版权使用授权书 本学位论文作者完全了解盘洼盘堂有关保留、使用学位论文的规定。 特授权叁鲞盘茔可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位敝作者獬幽撩叼 签字月期：c 7 z u ，卫年月肟。日 聊虢皑分 签字日期之脚净c ) 月仍日 第一章绪论 第一章绪论 1 1 选题背景及研究目的 数字电视是从电视节目录制、播出、发射到接收全部采用数字编码与数字 传输技术的新一代电视。它是世界通信与信息技术迅猛发展诱发的整个电视广 播产业链条的变革，被各国视为新世纪的“战略技术”。数字电视系粗略可以 划分为标准清晰度数字电视( s d t v ) 年u 高清晰度数字电视( h d t v ) ，以应用于不 同的领域和场合，满足广大消费者多层次的需要。发展数字电视的意义己远远 超出了数字电视本身，它将推动一个国家相关产业的升级换代，创造毅的商业 机会，引起资源和财富的重新分配，甚至导致在世界范围内产业的重新布局。 数字电视最早的研究可追溯到2 0 世纪6 0 年代，那时仅限于电视信号的数 字化传输。到7 0 年代，美国、日本、( 前) 苏联、加拿大和西欧各国开始数字化 电视的研究。1 9 9 5 年美国成立了高清晰度数字电视委员会( a t s c ) ，几乎同时， 欧洲也成立了数字电视广播联盟( d v b ) ，此后，两家联盟分别提出了全面进 入数字电视广播的时间表。美国方面订下的“倒计时表”是到2 0 0 6 年全面停 止播出模拟广播信号，并已在1 9 9 8 年首先开通了卫星高清晰度电视，以推动 地面高清晰数字电视机的发展。到1 9 9 9 年7 月，美国已有分布在大、小城市 的6 9 个电视台播出了d t v 节目，覆盖美国5 0 的人口，其中5 2 个电视台每 天播2 4 小时。f c c 要求四大电视网( a b c 、c b s 、n b c 与f o x ) 的3 0 个最大 市场的1 2 0 个电视台须在1 9 9 9 年1 1 月1 目前开播d t v ，其余1 6 0 0 多个电视 台须在2 0 0 2 年5 月1 日播出，丽公共广播机构须在2 0 0 3 年5 月1 目前完成电 视台建设并开播d t v 。至于欧洲，已于1 9 9 6 年开始实行e u 9 5 计划，即把模 拟分量制式提高成h d m a c 高清晰电视，并在1 9 9 2 年巴塞罗那奥运会上做了 示范，预计在2 0 1 0 年实现数字电视的全面普及。日本在8 0 年代初期着手研究 模拟h d t v ，8 0 年代中期取得了巨大成果，于8 0 年代后期在日本市场开始销 售模拟h d t v ，1 9 8 8 年汉城奥运会上成功实现了h d t v 的实况转播。在1 9 9 2 年瑞典进行了全数字化h d d i v i n e 方案的演示之后，日本开始认识到数字化 第章绪论 是h d t v 的发展方向，并在此之后全面开始研究高清晰数字电视。 数字电视提供给我国一个扩大内需和进行产业升级的良好契机，国家很早 就认识到了数字电视及其产业化的重大战略意义，从1 9 9 2 年开始组织对数字 电视的研究工作，并制定了我国数字电视研究的发展进程如下。 1 9 9 2 年开始组织对h d t v 的高科技攻关项目。1 9 9 3 1 9 9 4 年国家科委组 织“h d t v 发展战略专家组”。1 9 9 4 年国务院成立了“h d t v 协调小组”，任 命“h d t v 专家组”和“h d t v 总体组”。1 9 9 8 年9 月“h d t v 总体组”完成 “h d t v 功能样机系统( 地面广播) ”。 1 9 9 8 年1 0 月国务院总理根据“h d t v 协调小组”的最终报告提议：由国 家计委牵头，国家计委、国家经贸委、科技部、国家质检局、信息产业部、国 家广电总局等来自国务院的6 个部委成立“国家数字电视研究开发与产业化领 导小组”。下设协调小组和办公室，负责日常工作，国家计委主任曾培炎任“数 字电视领导小组”组长。1 9 9 9 年1 0 月“领导小组”组织实施了国庆5 0 周年活 动h d t v 地面广播实况转播试验。 2 0 0 0 年5 月“领导小组”部署在北京、上海、深圳三地进行数字电视地 面广播传输系统现场测试。2 0 0 1 年1 1 月2 1 日，在领导小组会议上，国家计委 主任、国家数字电视研究开发及产业化领导小组组长曾培炎进一步指出：数字 电视为中国电子信息产业提供了一个难得的发展和提升机遇，各部门要从国家 整体利益和产业发展的大局出发，实现视听产品制造业的战略升级，并促进广 播电视产业的形成和发展，培育新的经济增长点。 2 0 0 2 年底，我国将制定自己的数字电视有线传输标准，2 0 0 3 年，我国将 完成自己的数字电视地面传输标准的制定工作，建立具有自主知识产权的标准 将很好的保护我国数字电视产业的利益，数字电视产业面临着前所未有的市场 机遇。我国的电视产业将实现从我们跟着外国标准、外国著名厂家的关键技术 和芯片走，到外国产品若要进入我国市场，必须跟着我国标准、我国著名厂家 的关键技术和芯片走的战略转移。我国的企业也将有可能利用这次产业升级的 机会形成自己的核心技术和核心竞争能力。 2 0 0 3 年，完成我国数字电视国家标准体系的制定。启动s d t v 节目的商 业播出，同时在有条件的城市积极开展h d t v 的试播。2 0 0 8 年，在主要城市 普及数字高清晰度电视的商用播出。2 0 1 5 年，基本实现我国由模拟电视大国向 数字电视强国的历史过渡。 第一章绪论 我国已经开始了由模拟电视向数字电视的发展，有关部门正积极组织包括 清华大学在内的各方技术力量，加紧制定拥有自主知识产权的数字电视标准系 列。相信在不久的将来，我国就可以实现由模拟电视大国向数字电视强国的历 史性转变。 实现高清晰度数字电视的关键之一，是数字信号的信道传输制式。要较好 地解决数字视频的传输和存储问题，关键是压缩编码技术。从1 9 4 8 年o l i v e r 提出p c m 编码开始，至今编码理论已有4 0 多年的历史，很多科学家和工程技 术人员先后提出了预测编码( p r e d i c t i v ec o d i n g ) 、变换编码( t r a n s f o r mc o d i n g ) 、 子带编码( s u b b a n dc o d i n g ) 、信息熵编码( e n t r o p yc o d i n g ) 、结构编码( s t r u c t u r e c o d i n g ) 、矢量量化编码( v e c t o rq u a n t i z a t i o nc o d i n g ) 以及基于知识的编码 ( k n o w l e d g e b a s e dc o d i n g ) 等。研究各种编码理论的目的是为了从原始数据中去 除信息的时间冗余、空间冗余、信息熵冗余、结构冗余、知识冗余和视觉冗余 等，保留有用信息，以便提高信息的处理、传输和存储效率。 为适应产业化的需要，随着数字电视系统和各种编码理论的日益成熟和不 断发展，针对不同的应用领域，一系列相应的数字视频音频编码标准也迅速地 被制定并不断得到完善。其中包括：应用于会议电视及可视电话的 l 2 6 1 ，用 于静止图像压缩的j p e g ，用于v c d 的m p e g 一1 和用于广播电视、d v d 以及 h d t v 的m p e g - 2 。与此同时，数字演播室标准及数字电视的质量评价标准也 被制定出来。与其它几种标准相比，m p e g 一2 制定的时间稍晚，但却具有以下 几个突出特点： a 所支持的应用最为广泛，即包括存储媒体中的d v d 、数字电视广播和 h d t v ，还可应用于交互式的视频点播( v o d ) 和准视频点播( n v o d ) 。 b 所支持的图像分辨率最高，含符合i t u r r e c 6 0 1 ( c c i r 6 0 1 ) 格式的标准 分辨率的数字电视和更高分辨率的h d t v 。 c 支持包括高速体育运动在内的活动图像。 d 能够适用于a t m 这种新兴的宽带通信网。 m p e g 2 标准虽有很多无可比拟的优点，但由于其主要应用理论之一的变 长码编码具有很强的错误传播性，且在a t m 网络传输过程中往往存在着低于 1 0 的误码，使得在码流出现错误时，图像质量被严重降低，因而，如何控制 和消除误码对m p e g 2 图像质量的影响已成为近年来人们研究的一个热点。本 文的研究课题就是在这种情况下，为适应我国数字电视及其相关领域发展的需 第一章绪论 要、为推动我国数字电视产业化而提出并着手研究的。 m p e g 2 的错误处理方法分为三类，纠错编码、错误复原和错误隐藏。前 两种方法是以增加码流的冗余信息，牺牲视频码流的压缩比为代价，因而在一 定程度上并不是最好的方法。错误隐藏是利用数字视频的空间相关性和时间相 关性来重构丢失块数据，在m p e g 一2 标准的基础上不需要增加任何冗余信息， 因此浚方法受到人们广泛青睐。但作为一种全新的数字视频处理技术，且在图 像中丢失的往往是以条为单位的大面积图像，想要较好地恢复出原始图像或恢 复与原始图像非常逼真的图像，其难度是较大的。因此，本文的主要研究目就 是在国内外最新研究的成果上，从不同的角度出发探讨研究些更为先进的错 误隐藏技术，实现对m p e g 2 数字视频图像中丢失数据的重构，最大程度地掩 盖图像错误，有效地提高图像质量，使我国在未来的数字视频技术领域达到国 际先进水平。 1 2m p e g 2 视频压缩标准1 1 1 与a t m 传输 m p e g 一2 标准是针对标准数字电视和高清晰度电视在各种应用情况的压 缩方案和系统层的详细规定，具有很好的压缩效果【2 4 】，编码码率从每秒3 兆 比特1 0 0 兆比特，标准的正式规范在i s o i e c l 3 8 1 8 中。m p e g 2 不是m p e g 1 的简单升级，m p e g 2 在系统和传送方面作了更加详细的规定和进一步的完善， 特别适用于广播级数字电视的编码和传送，被认定为s d t v 和h d t v 的编码 标准。m p e g 2 标准目前分为9 个部分，统称为i s o i e c l 3 8 1 8 国际标准。各 部分的内容描述如下： 第一部分- - i s o i e c l 3 8 1 8 一l ，s y s t e m ：系统，描述多个视频，音频和数据 基本码流合成传输码流和节目码流的方式。 第二部分- - i s o i e c l 3 8 1 8 - 2 ，v i d e o ：视频，描述视频编码方法。 第三部分- - i s o i e c l 3 8 1 8 - 3 ，a u d i o ：音频，描述与m p e g 1 音频标准反 向兼容的音频编码方法。 第四部分- - i s o i e c l 3 8 1 8 4 ，c o m p l i a n c e ：符合测试，描述测试一个编码 码流是否符合m p e g 一2 码流的方法。 第五部分一i s o i e c l 3 8 1 8 - 5 ，s o f t w a r e ：软件，描述了m p e g 2 标准的第 一、二、三部分的软件实现方法。 第一章绪论 第六部分- - i s o i e c l 3 8 1 8 6 ，d s m c c ：数字存储媒体命令与控制，描述 交互式多媒体网络中服务器与用户间的会话信令集。 以上六个部分均已获得通过，成为正式的国际标准，并在数字电视等领域 中得到了广泛的实际应用。此外，m p e g 一2 标准还有三个部分：第七部分规定 不与m p e g 1 音频反向兼容的多通道音频编码；第八部分现已停止；第九部分 规定了传送码流的实时接口。作为本文的主要研究课题，下面我们讨论m p e g 一2 标准的视频编码，即i s o i e c l 3 8 1 8 - 2 部分。 1 2 1m p e g ：2 视频编码简述 m p e g 2 视频编码标准是一个分等级的系列，按编码图像的分辨率分成四 个“级( l e v e l s ) ”，按所使用的编码工具的集合分成五个“类( p r o f i l e s ) ”。“级” 与“类”的若干组合构成m p e g 2 视频编码标准在某种特定应用下的子集：对 某一输入格式的图像，采用特定集合的压缩编码工具，产生规定速率范围内的 编码码流。在2 0 种可能的组合中，目前有1 1 种已获通过，称为m p e g 2 标准 的适用点。 我们知道，当前模拟电视存在着p a l 、n t s c 和s e c a m 三大制式并存的 问题，因此，数字电视的输入格式标准试图将这三种制式统一起来，形成一种 统一的数字演播室标准，这个标准就是c c i r 6 0 1 ，现称为i t u r r e e b t 6 0 1 标 准。m p e g 2 中的四个输入图像格式“级”都是基于这个标准的。低级( l o w l e v e l ) 输入格式的像素是i t u r r e c b t 6 0 1 格式的l 4 ，即3 5 2 2 4 0 3 0 ( 代表图像帧频 为每秒3 0 帧，每帧图像的有效扫描行数为2 4 0 行，每行的有效像素为3 5 2 个) ， 或3 5 2 2 8 8 2 5 。低级之上的主级( m a i nl e v e l ) 的输入图像格式完全符合 i t u r r e c b t 6 0 1 格式，即7 2 0 x 4 8 0 x 3 0 或7 2 0 x 5 7 6 x 2 5 。主级之上为h d t v 范 围，基本上为i t u r r e c b t 6 0 1 格式的4 倍，其中1 4 4 0 高级( h i g h - 1 4 4 0 l e v e l ) 的图像宽高比为4 ：3 ，格式为1 4 4 0 1 0 8 0 3 0 ，高级( h i g hl e v e l ) 的图像宽高比为 1 6 ：9 ，格式为1 9 2 0 x 1 0 8 0 x 3 0 。 在m p e g 2 的五个“类”中，较高的“类”意味着采用较多的编码工具 集，对编码图像进行更精细的处理，在相同比特率下将得到较好的图像质量， 当然实现的代价也较大。较高类编码除使用较低类的编码工具外，还使用了一 些较低类没有使用的附加工具，因此，较高类的解码器除能解码用本类方法编 码的图像外，也能解码用较低类方法编码的图像，即m p e g 一2 的“类”之间具 第一章绪 论 有后向兼容性，简单类( s i m p l ep r o f i l e ) 使用最少的编码工具。主类( m a i np r o f i l e ) 除使用所有简单类的编码工具外，还加入了一种双向预测的方法。信噪比可分 级类( s n rs c a l a b l ep r o f i l e ) 和空间可分级类( s p a t i a l l ys c a l a b l ep r o f i l e ) 提供了一 种多级广播的方式，将图像的编码信息分为基本信息层和一个或多个次要信息 层。基本信息层包含对图像解码至关重要的信息，解码器根据基本信息即可进 行解码，但图像的质量较差。次要信息层中包含图像的细节。广播时对基本信 息层加以较强的保护，使其具有较强的抗干扰能力。这样，在距离较近，接收 条件较好的情况下，可以同时收到基本信息和次要信息，恢复出高质量的图像； 而在距离较远，接收条件较差的条件下，仍能收到基本信息，恢复出图像，不 至造成解码中断。高级类( h i g hp r o f i l e ) 实际上应用于比特率更高，要求更高的 图像质量。此外，前四个类在处理y ，u ，v 时是逐行顺序处理色差信号的， 高级类中还提供同时处理色差信号的可能性。目前的标准数字电视采用的是主 类和主级( m p m l ) ，而h d t v 采用的是主类和高级( m p h l ) 。 1 2 2m p e g 2 视频编码原理及关键技术 这里，我们以m p m l 为例来说明m p e g 2 视频编码的系统原理及关键 技术。 ( 1 ) m - p e g 2 视频编码原理 概括地说，m p e g 2 图像压缩的原理是利用了图像中的两种特性：空间相 关性和时间相关性。一帧图像内的任何一个场景都是由若干像素点构成的，因 此一个像素通常与它周围的某些像素在亮度和色度上存在一定的关系，这种关 系叫作空间相关往：一个节目中的一个情节常常由若干帧连续图像组成的图像 序列构成，一个图像序列中前后帧图像间也存在一定的关系，这种关系称为时 r s j 4 目关性。这两种相关性使得图像中存在大量的冗余信息，如果我们能将这些 冗余信息去除，只保留少量非相关信息进行传输，就可以大大节省传输频带。 而接收机利用这些非相关信息，按照一定的解码算法，可以在保证一定的图像 质量的前提下恢复原始图像。一个好的压缩编码方案就是能够最大限度地去除 图像中的冗余信息。 m p e g 2 中编码图像被分为三类，分别称为i 帧，p 一帧和b 帧。i 一帧图像 采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相 第一章绪论 关性。i 一帧主要用于接收机的初始化和信道的获取，以及节目的切换和插入， i 一帧图像的压缩倍数相对较低。i 一帧图像是周期性出现在图像序列中的，出现 频率可由编码器选择。p 帧和b 帧图像采用帧间编码方式，即同时利用了空间 和时间上的相关性。p 一帧图像只采用前向时间预测，可以提高压缩效率和图像 质量。p 一帧图像中可以包含帧内编码的部分，即p 帧中的每一个宏块可以是前 向预测，也可以是帧内编码。b 一帧图像采用双向时间预测，可以大大提高压缩 倍数。值得注意的是，由于b 一帧图像采用了未来帧作为参考，因此m p e g 2 编码码流中图像帧的传输顺序和显示顺序是不同的。 m p e g 2 的编码码流分为六个层次。从上至下依次为：视频序列层 f s e q u e n c e ) ，图像组层( g o p ：g r o u po f p i c t u r e ) ，图像层( p i c t u r e ) ，像条层( s l i c e ) ， 宏块层( m a c r o b l o c k ) 年1 像块层( b l o c k ) ，除宏块层和像块层外，上面四层中都有 相应的起始码( s c ：s t a r tc o d e ) ，可用于因误码或其它原因收发两端失步时，解 码器重新捕捉同步。因此，一次失步将至少丢失一个像条的数据。 序列指构成某路节目的图像序列，序列起始码后的序列头中包含了图像尺 寸，宽高比，图像速率等信息。序列扩展中包含了一些附加数据。为保证能随 时进入图像序列，序列头是重复发送的。序列层下是图像组层，一个图像组由 相互问有预测和生成关系的一组i 、p 、b 图像构成，但头一帧图像总是i 帧。 图像组层头中包含了时间信息。图像组层下是图像层，分为i 、p 、b 三类。图 像层头中包含了图像编码的类型和时问参考信息。图像层下是像条层，一个像 条包括一定数量的宏块，其顺序与扫描顺序一致。m p m l 中一个像条必须在 同一宏块行内。像条层下是宏块层，m p e g 一2 中定义了三种宏块结构：4 ：2 ：0 宏块、4 ：2 ：2 宏块和4 ：4 ：4 宏块，分别代表构成一个宏块的亮度像块和色差像块 的数量关系。4 ：2 ：0 宏块中包含四个亮度像块，一个c b 色差像块和一个c ，色差 像块；4 ：2 ：2 宏块中包含四个亮度像块，二个c b 色差像块和二个c ，色差像块； 4 ：4 ：4 宏块中包含四个亮度像块，四个c b 色差像块和四个c r 色差像块，这三种 宏块结构实际上对应于三种亮度和色度的抽样方式。 在进行视频编码前，分量信号r 、g 、b 被变换为亮度信号y 和色差信号 c b 、c ，的形式。对于4 ：2 ：2 格式，亮度信号的抽样频率为1 3 5 m h z ，两个色差 信号的抽样频率均为6 7 5 m h z ，这样空间的抽样结构中亮度信号为每帧 7 2 0 x 5 7 6 样值，c b ，c ，都为3 6 0 x 5 7 6 样值，即每行中每隔一个像素对色差信号 抽一次样。4 ：4 ：4 格式中，亮度和色差信号的抽样频率都是1 3 5 m h z ，因此空 第一章绪 论 问的抽样结构中亮度和色差信号都为每帧7 2 0 x 5 7 6 样值。对于4 ：2 ：0 格式，亮 度信号的抽样频率1 3 5 m h z ，空间的抽样结构中亮度信号为每帧7 2 0 5 7 6 样值， c b ，c ，都为3 6 0 2 8 8 样值，即每隔一行对两个色差信号抽一次样，每抽样行中 每隔一个像素对两个色差信号抽一次样。通过上述分析不难计算出，4 ：2 ：0 格 式中，每四个y 信号的像块空间内的c b ，c ，样值分别构成一个c b ，c 。像块； 4 ：2 ：2 格式中，每四个y 信号的像块空间内的c b ，c ，样值分别构成两个c b ，c ， 像块：而4 ：4 ：4 格式中，每四个y 信号的像块空间内的c b ，c ，样值分别构成四 个c b ，c ，像块。相应的宏块结构正是以此为基础构成的。 宏块层之下是像块层，像块是m p e g 2 码流的最底层，是d c t 变换的基 本单元。m p m l 中一个像块由8 8 个抽样值构成，同一像块内的抽样值必须 全部是y 信号样值，或全部是c b 信号样值，或全部是c ，信号样值。另外，像 块也用于表示8 8 个抽样值经d c t 变换后所生成的8 8 个d c t 系数。 在帧内编码的情况下，编码图像仅经过d c t ，量化器和比特流编码器即 生成编码比特流，而不经过预测环处理，d c t 直接应用于原始的图像数据。在 帧间编码的情况下，原始图像首先与帧存储器中的预测图像进行比较，计算出 运动矢量，由此运动矢量和参考帧生成原始图像的预测图像。而后，将原始图 像与预测像素差值所生成的差分图像数据进行d c t 变换，再经过量化器和比 特流编码器生成输出的编码比特流。可见，帧内编码与帧间编码流程的区别在 于是否经过预测环的处理。 ( 2 1m p e g 一2 视频编码系统的关键技术 m p e g 。2 视频压缩方案中包含以下关键技术环节： a 离散余弦变换( d c t ) ：d c t 是一种空间变换，在m p e g 2 中d c t 以8 8 的像块为单位进行，生成的是8 8 的d c t 系数数据块。d c t 变换的最大 特点是对于一般的图像都能够将像块的能量集中于少数低频d c t 系数上，即 在生成8 8 的d c t 系数块中，仅左上角的少量低频系数数值较大，其余系数 的数值很小，这样就可能只编码和传输少数系数而不严重影响图像质量。d c t 不能直接对图像产生压缩作用，但对图像的能量具有很好的集中效果，为压缩 打下了基础。 b 量化器：量化是针对d c t 变换系数进行的，量化过程就是以某个量化 步长去除d c t 系数。量化步长的大小称为量化精度，量化步长越小，量化精 第一章绪论 度就越细，包含的信息越多，但所需的传输频带越高。不同的d c t 变换系数 对人类视觉感应的重要性是不同的，因此编码器根据视觉感应准则，对一个8 8 的d c t 变换块中的6 4 个d c t 变换系数采用不同的量化精度，以保证尽可 能多地包含特定的d c t 空间频率信息，又使量化精度不超过需要。d c t 变换 系数中，低频系数对视觉感应的重要性较高，因此分配的量化精度较细；高频 系数对视觉感应的重要性较低，分配的量化精度较粗，通常情况下，一个d c t 变换块中的大多数高频系数量化后都会变为零。 c 之型扫描与游程编码：d c t 变换产生的是一8 8 的二维数组，为进行 传输，还须将其转换为一维排列方式。有两种二维到一维的转换方式，或称扫 描方式：之型扫描( z i g z a g ) 和交替扫描，其中之型扫描是最常用的一种。由于 经量化后，大多数非零d c t 系数集中于8 8 二维矩阵的左上角，即低频分量 区，之型扫描后，这些非零d c t 系数就集中于一维排列数组的前部，后面跟 着长串的量化为零的d c t 系数，这些就为游程编码创造了条件。 游程编码中，只有非零系数被编码。个非零系数的编码由两部分组成： 前一部分表示非零系数前的连续零系数的数量( 称为游程) ，后一部分是那个非 零系数。这样就把之型扫描的优点体现出来了，因为之型扫描在大多数情况下 出现连零的机会比较多，游程编码的效率就比较高。当一维序列中的后部剩余 的d c t 系数都为零时，只要用一个“块结束”标志( e o b ) 来指示，就可结束这 一8 8 变换块的编码，产生的压缩效果是非常明显的。 d 熵编码：量化仅生成了d c t 系数的一种有效离散表示，实际传输前， 还须对其进行比特流编码，产生用于传输的数字比特流。简单的编码方法是采 用定长码，即每个量化值以同样数目的比特表示，但这种方法的效率较低。而 采用熵编码可以提高编码效率。熵编码是基于编码信号的统计特性，使得平均 比特率下降。游程和非零系数既可独立的，也可联合的作熵编码。熵编码中使 用较多的一种是霍夫曼编码，m p e g 2 视频压缩系统中采用的就是霍夫曼编码。 霍夫曼编码中，在确定了所有编码信号的概率后生产一个码表，对经常发生的 大概率信号分配较少的比特表示，对不常发生的小概率信号分配较多的比特表 示，使得整个码流的平均长度趋于最短。 e 信道缓存：由于采用了熵编码，产生的比特流的速率是变化的，随着 视频图像的统计特性变化。但大多数情况下传输系统分配的频带都是恒定的， 因此在编码比特流进入信道前需设置信道缓存。信道缓存是一缓存器，以变比 第一章绪论 特率从熵编码器向里写入数据，以传输系统标称的恒定比特率向外读出，送入 信道。缓存器的大小，或称容量是设定好的，但编码器的瞬时输出比特率常明 显高于或低于传输系统的频带，这就有可能造成缓存器的上溢出或下溢出。因 此缓存器须带有控制机制，通过反馈控制压缩算法，调整编码器的比特率，使 得缓存器的写入数据速率与读出数据速率趋于平衡。缓存器对压缩算法的控制 是通过控制量化器的量化步长实现的，当编码器的瞬时输出速率过高，缓存器 将要上溢时，就使量化步长增大以降低编码数据速率，当然也相应增大了图像 的损失；当编码器的瞬时输出速率过低，缓存器将要下溢出时，就使量化步长 减小以提高编码数据速率。 f 运动估计：运动估计使用于帧问编码方式时，通过参考帧图像产生对 被压缩图像的估计。运动估计的准确程度对帧间编码的压缩效果非常重要。如 果估计作的好，那么被压缩图像与估计图像相减后只留下很小的值用于传输。 运动估计以宏块为单位进行，计算被压缩图像与参考图像的对应位置上的宏块 间的位置偏移。这种位置偏移是以运动矢量来描述的，一个运动矢量代表水平 和垂直两个方向上的位移。运动估计时，p 一帧和一b 帧图像所使用的参考帧图像 是不同的。p 帧图像使用前面最近解码的i 一帧或p 帧作参考图像，称为前向预 测；而b 一帧图像使用两帧图像作为预测参考，称为双向预测，其中一个参考帧 在显示顺序上先于编码帧( 前向预测) ，另一帧在显示顺序上晚于编码帧( 后向预 测) ，b 一帧的参考帧在任何情况下都是i 帧或p 帧。 g 运动补偿：利用运动估计算出的运动矢量，将参考帧图像中的宏块移 至水平和垂直方向上的对应位置，即可生成对被压缩图像的预测。在绝大多数 的自然场景中运动都是有序的。因此这种运动补偿生成的预测图像与被压缩图 像的差分值是很小的。 1 2 3 数字图像质量的主观评价 m p e g 一2 标准的主观评价条件包括：评价小组结构，观察距离，测试图像， 环境照度和背景色调等。评价小组由一定人数观察人员构成，其中专业人员与 非专业人员各占一定比例。观察距离为显示器对角线尺寸的3 - 6 倍。测试图像 有若干具有一定图像细节和运动的图像序列构成。主观评价反映的是许多人对 图像质量统计评价的平均值。 第一章绪论 1 3m p e g 2 分级语法1 1 上一节主要介绍的是m p e g 一2 标准的不分级语法，是i s o i e c l l l 7 2 2 定 义语法的一个超级。m p e g 2 完整语法的另一类为可分级语法，主要特点是可 以从分块的比特流中分割重构出有用的视频信号，这可将整个比特流分成两个 或更多的层次来实现，从一个独立的基本层开始逐渐加入一些附加的层，以构 成高质量的图像。 由于m p e g 一2 标准涉及的范围较广，如视频通信、异步传输模式网络上 的视频、视频标准的交互作用、具有嵌入式t v 的h d t v 以及允许向时域高 分辨率迁移的h d t v 等，对于分级视频来讲，虽然基于多路独立编码的视频重 构转发( 即联播技术) 是一个简单的解决方法，但更为有效的技术是视频分级编 码。m p e g 一2 标准提供了几种不同的分级方式：空域分级、时域分级、s n r 分 级和数据分割，下边分别介绍。 ( 1 ) 空域分级 空域分级是主要应用于电讯、视频标准的交替工作、视频数据浏览、h d t v 和t v 交替等领域的一种分级方法，即当需要至少有两个空间分辨率层次的视 频系统时采用该种分级方式。空域分级包括产生两个空间分辨率的视频层为： 低层自编码来提供基本的空间分辨率；增强层利用在低层进行空域插值的方法 生成输入视频源的全分辨率。低层可以使用m p e g 一2 标准或i s o i e c l l l 7 2 2 标准中的方法编码，增强层均使用m p e g 一2 标准进行编码。空域分级具有两个 好处，一是提供了视频格式选择的灵活性；二是对视频码流提供了一种复原技 术。传输时可以使用信道较好、出错较低的信道传输低层数据，以保证基本图 像得以恢复，增强层可以使用较差的信道传输。 f 2 ) 时域分级 当电信系统被使用到h d t v 视频领域时，从低时域分辨率到高时域分辨 率系统的转化是必要的m p e g 一2 提供这种需要的工具是时域分级。在实际使 用中，低时域分辨率视频系统可能是现存的或廉价的早期生成系统，通过时域 分级技术，它们可以被逐渐引入到高级系统当中。 ( 3 ) s n r 分级 第一章绪论 s n r 分级是设计用在需要一个至少有两个视频质量层的视频系统中。s n r 分级包括从一个视频源产生两个具有相同的空间分辨率和不同的视频质量的 视频层