（信号与信息处理专业论文）基于mpeg2视频码流的隐错算法的研究.pdf

a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fm u l t i m e d i as e r v i c ec o m m u n i c a t i o na n d i n t e r n e ta c r o s st h ew o r l d ，m o r ea n dm o r eo n t s t a n d i n ga d v a n t a g e sh a v e b e i n gd i s p l a y e d i nl r a n s f o r m i n ga u d i oa n dv i d e os i g n a l si nt h ef o r mo f d i g i t s ，s ot h a ti th a s b e e n a p p l i e d t om o r eo c c a s i o n s ，o ns o m eo fw h i c h ，l i k e m o t i o nt e l e p h o n e ，p i c t u r ea n dw o r di n f o r m a t i o na d d e di na n a l o g yt v s i g n a l s ，d i g i t a l a u d i ob r o a d c a s t i n g ( d a b ) ，d i g i t a lb r o a d c a s t i n gt v ( d b t ) a n dh i g l ld e f i n i t i o nt vb r o a d c a s t i n g ( n g t w ) ，i th a sr e p l a c e dt h ea n a l o g y m o d e h o w e v e r , h o w t oc o m p r e s st h es i g n a ld a t ai sa ni m p o r t a n tp r o b l e m e v e ni f h a v eb e e nc o m p r e s s e db yt h es t a n d a r dm p e g - 2 ，d i g i t a ls i g n a l sa l s o f a c ea n i m p o r t a n tp r o b l e m t h a tn o ta l l d i g i t a ls t o r i n g m e d i aa n d c o m m u n i c a t i o nc h a n n e l sa r ea c c u r a t e s o i ti s u r g e n t t h a tt h ee r r o r c o n c e a l m e n tt e c h n o l o g yb ed e v e l o p e dt op r e v e n tt h ed a m a g e sc a u s e db y e r r o rc o d e s ，w i t ht h er e s u l to fi m p r o v i n gt h eq u a l i t yo fr e g r o u p e dt v p i c t u r e s f i r s t l y , t h ee l e m e m a r yp r o c e d u r e st o e n c o d et h ev i d e os i g n a l si n t o m p e g - 2a n dt h ee l e m e n t a r yg r a m m a ra r eb r i e n yp r e s e n t e d a tt h es a m e t i m e ，e r r o rt y p e sc a u s e db yt r a n s m i s s i o na r ea l s oi n t r o d u c e d s e c o n d l y , t r a d i t i o n a l w a y so fc o n c e a l i n g t h ee r r o r sa r e a n a l y z e da n d d e s c r i b e d a c c o r d i n gt ot h ec o r r e l a t i o nb e t w e e np i c t u r e s ，m o d e l sa n da l g o r i t h m sf o r e r r o rc o n c e a l m e n to fiba n dpf r a m e ，w h i c ha r eb a s e do nt h ep r o g r a mf o r d e c o d em p e g 2 ，a r ea d v a n c e d s i m u l a t i o ne x p e r i m e n t sm a n i f e s tt h a tt h e r e c o n s t r u c t e dp i c t u r e sd o n to b v i o u s l yd e g r a d et h es u b j e c t i v ea n do b j e c t i v e q u a l i t i e so f t h e 耐百n a lp i c t u r e s k e yw o r d s ：m p e g - 2 ，e r r o rc o n c e a l m e n t ，d c t , c o r r e l a t i o n ，m a d 第一章绪论天津大学硕士学位论文 第一章绪论 1 1 研究背景 近年来，随着数字通信技术、计算机网络技术、信息压缩编码技术和超 大规模集成电路( v l s i ) 技术的迅速发展，人类在多媒体通信领域中的研究与应 用取得了巨大发展。特别是随着i n t e r n e t 等各种信息网在全球的迅猛发展， 信息的传播和获取从未象今天这样方便和快捷。其中，m p e g 一2 视频编码标准 已经被广泛地应用于视频服务领域。m p e g 一2 视频一个重要用途就是基于包的 网络传输，如宽带综合业务数字网( b i s d n ) 、无线局域网( w l a n ) 。所有这些 网络中的应用都会面临着包丢失的问题。例如，在b - i s d n 中，由于网络堵塞 所导致的包丢弃的情况。在w l a n 中，传输包的一处错误会引起传播，从而导 致整包丢弃。在m p e 6 2 标准制定时，人们就已经意识到包的错误是一个重要 的问题，因此提出了许多方法使错误的影响减小到最小。一般情况下，将错误 的处理分成以下几步d j ： l i 发现错误在m p e g 一2 码流中即使单一的比特错误也会对图象质量 产生较大的影响，尤其是在解码器对收到的码流解码时失去同步，它将 引起图象的大面积出错。为了降低错误的影响，应当尽快找到出现错误 的位置并采取适当的措施避免对图象质量造成灾难性的影响。错误的发 现可以依据语法规则，比如非法的v l c 等或者依据数据上的考虑，比如 一个块中的数据超过6 4 等。 2 再同步在解码端，当解码器对收到的码流失去同步时，它将停止 当前的解码过程直到检测到下一个同步码。这个同步码在某种意义上来 说是唯一的，因为它除了在未出错的码流中重新同步时出现以外，不会 在其他位置出现。此同步码后面有足够的数据使解码器在检测到同步字 后可以继续解码过程。 3 数据”复原”一般采用的技术有前向错误纠正法，关键数据多路传 输法和可变字长码的两路解码法等。这些技术都可以使码流中介于出错 位置和再同步处之问的错误数据得到一定意义上的修复。 4 时间上的局部化处理由于运动补偿技术是m p e 6 2 编码标准个 重要的部分，因此任何预测帧的传输错误都会从一帧图象传到另一帧中。 局部化处理通过插入合法的图象帧，条或宏块，从而避免错误在时间上 的传播。严格意义上来说，同步码字的插入也是一种局部化处理一空域 局部化，因为这样可以避免错误在一帧图象内的传播。 5 错误隐藏最后，任何错误的影响可以从当前或前面的图象帧中 第一章绪论天津大学硕士学位论文 第一章绪论 1 1 研究背景 近年来，随着数字通信技术、计算机网络技术、信息压缩编码技术和超 大规模集成电路( v l s i ) 技术的迅速发展，人类在多媒体通信领域中的研究与应 用取得了巨大发展。特别是随着i n t e r n e t 等各种信息网在全球的迅猛发展， 信息的传播和获取从未象今天这样方便和快捷。其中，m p e g 一2 视频编码标准 已经被广泛地应用于视频服务领域。m p e g 一2 视频一个重要用途就是基于包的 网络传输，如宽带综合业务数字网( b i s d n ) 、无线局域网( w l a n ) 。所有这些 网络中的应用都会面临着包丢失的问题。例如，在b - i s d n 中，由于网络堵塞 所导致的包丢弃的情况。在w l a n 中，传输包的一处错误会引起传播，从而导 致整包丢弃。在m p e 6 2 标准制定时，人们就已经意识到包的错误是一个重要 的问题，因此提出了许多方法使错误的影响减小到最小。一般情况下，将错误 的处理分成以下几步d j ： l i 发现错误在m p e g 一2 码流中即使单一的比特错误也会对图象质量 产生较大的影响，尤其是在解码器对收到的码流解码时失去同步，它将 引起图象的大面积出错。为了降低错误的影响，应当尽快找到出现错误 的位置并采取适当的措施避免对图象质量造成灾难性的影响。错误的发 现可以依据语法规则，比如非法的v l c 等或者依据数据上的考虑，比如 一个块中的数据超过6 4 等。 2 再同步在解码端，当解码器对收到的码流失去同步时，它将停止 当前的解码过程直到检测到下一个同步码。这个同步码在某种意义上来 说是唯一的，因为它除了在未出错的码流中重新同步时出现以外，不会 在其他位置出现。此同步码后面有足够的数据使解码器在检测到同步字 后可以继续解码过程。 3 数据”复原”一般采用的技术有前向错误纠正法，关键数据多路传 输法和可变字长码的两路解码法等。这些技术都可以使码流中介于出错 位置和再同步处之问的错误数据得到一定意义上的修复。 4 时间上的局部化处理由于运动补偿技术是m p e 6 2 编码标准个 重要的部分，因此任何预测帧的传输错误都会从一帧图象传到另一帧中。 局部化处理通过插入合法的图象帧，条或宏块，从而避免错误在时间上 的传播。严格意义上来说，同步码字的插入也是一种局部化处理一空域 局部化，因为这样可以避免错误在一帧图象内的传播。 5 错误隐藏最后，任何错误的影响可以从当前或前面的图象帧中 第一章绪论 天津大学硕上学位论支 利用正确的解码信息得到隐藏。好的有效的隐藏算法会使错误图象的主 观质量得到极大的提高。 在这几个步骤中，发现错误是任何错误隐藏技术的基本部分，如果没有这 一步骤，那末错误传播将会引起图象质量的严重损害。发现错误后，就可以进 行错误隐藏。m p e g 视频压缩方案中，每帧图像数据分块处理，由被编码的视 频帧组成序列，每个序列中包括帧内编码( i ) 帧、单向预测编码 ) 帧和双向预 测编码( b ) 帧。m p e g 的这种结构意味着如果i 帧数据发生错误，它将损害许 多帧。同样的，p 帧内的错误将影响相关的p 帧和b 帧，然而b 帧的错误是 独立的。因此，对于采用i v i p e g - 2 标准的数字电视与数字高清晰度电视来说， 需要发展隐错技术来防止误码的损害。在m p e g - 2 句法中定义的s l i c e 结构压 缩方案允许解码器在出现错误后再次达到同步，并可根据接收到的以前和后面 无错数据进行恢复工作。 m p e g 一2 方案规范了数字视频的压缩标准，极大压缩了数字图象的容量， 从而方便了存储和传播。然而，它的副面影响使得错误具有了传播性。而且， 数字信号在传输过程中不可避免地会出现错误，因此，隐错技术的研究是必要 的而且意义重大。国外对隐错技术的研究已经到了比较成熟的阶段，也有不少 的论文发表，而国内的研究动态比较缓慢，论文也比较少。近年来，随着我国 高清晰度电视( h d t v ) 技术的发展，以m p e g - 2 为标准的码流得到广泛应用，针 对码流处理的各项研究也逐渐展开。隐错技术，尤其是对视频隐错的技术越来 越得到人们的重视。 1 2 数字信号传输及其特点 近年来，由于数字通信工程的发展，数字信息压缩编码技术的突破，使 电视图像、声音及各种多媒体信息都采用数字方式来处理，因为数字信号易于 处理和存贮，具有信号质量好，经多代录放和多环节传输之后，仍然能良好复 原，从而保证了图像、声音和各种信息的高质量。 所谓数字信号，就是由模拟信号经抽样，量化，编码以后形成的信号。数字 信号是由离散信号再经过信号幅度离散化形成的。数字化的三个过程，我们称 之为脉冲编码调制( p c m ) 。在数字信号传输的系统中要求具有较高的可靠性。 但由于传输信道内噪声的存在和信道特性的不理想造成的信号间的干扰，就不 可避免的会产生差错。通常，由于信道的线性畸变所造成的信号间干扰可以通 过均衡的办法来基本消除。信道中的噪声常常是造成传输差错的根本原因。目 前在数据传输中，人们所关心的主要是信息码元的差错概率，即误码率忍。 在i f i 等传输速率( 1 2 0 0 2 4 0 0 波特) 下，采用一般调制方法，对于干线有限载波 第一章绪论 天津大学硕上学位论支 利用正确的解码信息得到隐藏。好的有效的隐藏算法会使错误图象的主 观质量得到极大的提高。 在这几个步骤中，发现错误是任何错误隐藏技术的基本部分，如果没有这 一步骤，那末错误传播将会引起图象质量的严重损害。发现错误后，就可以进 行错误隐藏。m p e g 视频压缩方案中，每帧图像数据分块处理，由被编码的视 频帧组成序列，每个序列中包括帧内编码( i ) 帧、单向预测编码 ) 帧和双向预 测编码( b ) 帧。m p e g 的这种结构意味着如果i 帧数据发生错误，它将损害许 多帧。同样的，p 帧内的错误将影响相关的p 帧和b 帧，然而b 帧的错误是 独立的。因此，对于采用i v i p e g - 2 标准的数字电视与数字高清晰度电视来说， 需要发展隐错技术来防止误码的损害。在m p e g - 2 句法中定义的s l i c e 结构压 缩方案允许解码器在出现错误后再次达到同步，并可根据接收到的以前和后面 无错数据进行恢复工作。 m p e g 一2 方案规范了数字视频的压缩标准，极大压缩了数字图象的容量， 从而方便了存储和传播。然而，它的副面影响使得错误具有了传播性。而且， 数字信号在传输过程中不可避免地会出现错误，因此，隐错技术的研究是必要 的而且意义重大。国外对隐错技术的研究已经到了比较成熟的阶段，也有不少 的论文发表，而国内的研究动态比较缓慢，论文也比较少。近年来，随着我国 高清晰度电视( h d t v ) 技术的发展，以m p e g - 2 为标准的码流得到广泛应用，针 对码流处理的各项研究也逐渐展开。隐错技术，尤其是对视频隐错的技术越来 越得到人们的重视。 1 2 数字信号传输及其特点 近年来，由于数字通信工程的发展，数字信息压缩编码技术的突破，使 电视图像、声音及各种多媒体信息都采用数字方式来处理，因为数字信号易于 处理和存贮，具有信号质量好，经多代录放和多环节传输之后，仍然能良好复 原，从而保证了图像、声音和各种信息的高质量。 所谓数字信号，就是由模拟信号经抽样，量化，编码以后形成的信号。数字 信号是由离散信号再经过信号幅度离散化形成的。数字化的三个过程，我们称 之为脉冲编码调制( p c m ) 。在数字信号传输的系统中要求具有较高的可靠性。 但由于传输信道内噪声的存在和信道特性的不理想造成的信号间的干扰，就不 可避免的会产生差错。通常，由于信道的线性畸变所造成的信号间干扰可以通 过均衡的办法来基本消除。信道中的噪声常常是造成传输差错的根本原因。目 前在数据传输中，人们所关心的主要是信息码元的差错概率，即误码率忍。 在i f i 等传输速率( 1 2 0 0 2 4 0 0 波特) 下，采用一般调制方法，对于干线有限载波 第一章绪论大沣夫学顺 学似论丈 通道，胎约为i o 一l o ， 1 “的数量级。随着传输速率的提高，内的数量级也 将提高。由于数字信号在传输中受到衰减、杂波、干扰等所造成的质量劣化是 突变性的( 模拟信号质量的劣化是渐变的) 。也就是说，数字信号在衰减、杂波 或干扰没有达到某一门限之前，只要接收设备能判别出0 码和1 码，质量就不 会受到大的影响，而一旦超过此门限，接收设备判别不出0 码和1 码，信号就 会丢失。因此，在数字信号传输中最重要的是防止误码，也就是要尽力降低误 码率。为了提高传输质量，就要对数字信号及信道进行编码。通过信源编码， 我们可以去除信号的冗余信息。为了抑制信道噪声对信号的干扰，往往还需要 对信号进行再编码。形成不易受干扰并适合于在特定的信道中传输的形式，这 称为信道编码，其目的是提高传输的可靠性。包含有信源编解码，信道编解码 和调制解调器在内的数字通信系统可简单地用下列框图来表示“： 一调制 1 我宇 0 一一么 i 劈：麓1 4 1 - il 0 三 伍 么曝百0叫解诃 i 篚缨l i 图1 1 数字通信系统框图 近代通信从窄带的电话、语音广播到各种窄带的活动图象传播如可视电 话、会议电视、普通电视广播到高清晰度电视广播都在由模拟到数字方式发展。 数字信号传输有许多模拟传输所不具备的优点，诸如： 传输质量高，可经多次中断不致引起噪声积累，基本不受传输系统非线性 影响； 易于采用纠错编码提高抗干扰能力； 易于加密； 便于利用时分复用技术纳入多种信息业务兼容的综合业务数字通信网如 i s d n 、b 一1 s d e ： 数字电路容易大规模集成，数字设备可靠性高，维护简单 但是，数字传输在具备上述优点的同时也带来了一些困难。一方面，信号 数字化后码率过高，要求的频带过宽，对信道利用不经济，甚至现有的信道难 以容纳。这一问题对数字图象尤为如此。因此，一股不采用直接p c r d 方式的传 第一章绪论天律大学碗士学位论文 输，而是对数字化后的信源信号先进行数据压缩，然后再传输。另一方面，由 于采用压缩编码，使得数字信号中比特与比特之间的相关性增加，由一比特引 起的错误，很有可能影响后续比特解码产生传播。那末，解码后的数字信号就 会与原信号产生较大的误差，甚至无法恢复。为此，我们必须设法降低或消除 误码的产生。产生误码的主要原因是信道的频率特性和传输所引起的噪声。频 带的限制使信源发出的能量受到损失，而噪声又使信号中携带的信息受到了干 扰。通常，可以在信源码源序列中加入若干监督码元，这些监督码元和信息码 元之间有一定的关系。接收端可以利用这种关系由信道译码器来发现或纠正可 能存在的错码。这就是检错和纠错。另外，在要求不高的情况下，还可以通过 减少差错的主观察觉程度的方法来恢复信号，这种方法称为掩锚，或隐错。如 视频信号中，可用前一场的像索或前一帧的像素来代替当前场或帧等 1 3m p e g 一2 码流的传输 数字化视频压缩格式的标准化简化了计算机数据的形式对全运动视频进 行的处理存储，以及在现在和未来计算机网络上或者通过地球上的广播信道进 行的传输。数字化视频压缩标准应用范围包括全数字化t v 、视频会议、可视 电话、视频邮件、多媒体工作站、数字化电影、视频游戏、其他形式的娱乐和 教育。 1 3 1h 2 6 l 船e g lm p e g - 2 标准懵“ i t u ( c c i t t ) 建议的h 2 6 1 是一种视频压缩标准，用于在综合业务数字网 ( i s d n ) 上以p x 6 4 k b p s ，p = l ，3 0 的速率开展视频会议和可视电话业务。例如， 6 4 k b p s ( 旷1 ) 的速率适用于低品质的可视电话业务，其中视频信号传输占用 4 8 k b p s 的带宽，剩下的1 6 k b p s 用于音频信号。视频会议业务通常需要较高的 图象质量，在p 6 时，如用3 8 4 k b p s 或更高的速率即可达到这种图象质量的 要求。在1 9 8 3 - 1 9 9 0 年期间，由于欧洲工程c o s t ( 科技研究合作) 2 l l b i t s 中的 一些研究，因此导致了i t u ( c c i t t ) 建议的h 2 6 l 的出现。1 9 8 5 年，c o s t 2 l l b i t s 视频会议硬件分组开发了最初的在刀3 8 4 k b p s ，i f l ，5 速率下进行操作的编 解码器。该解码器在1 9 9 7 年被采纳为i t u ( c c i t t ) 建议h 1 2 0 。后来，很显然 可以用一个单独的标准包括所有的1 s d n 的传输速率，即p x 6 4 k b p s ，p - - i ，3 0 。 在1 9 8 9 年完成了这种技术指标的解码器，1 9 9 0 年被i t u ( c c i t t ) 采纳，成为相 应的建议h 2 6 1 。 j 2 6 1 标准除了是后来出现的视频压缩标准，如m p e g 一1 和m p e 6 2 ，形成 的基础以外。它还提供了两个重要的特征：1 ) 由于h 2 6 1 主要用于双向视频通 信，因此它规定最大编码延迟为1 5 0 m s 。已经证明，如果延迟超过1 5 0 m s ，就 4 第一章绪论天律大学碗士学位论文 输，而是对数字化后的信源信号先进行数据压缩，然后再传输。另一方面，由 于采用压缩编码，使得数字信号中比特与比特之间的相关性增加，由一比特引 起的错误，很有可能影响后续比特解码产生传播。那末，解码后的数字信号就 会与原信号产生较大的误差，甚至无法恢复。为此，我们必须设法降低或消除 误码的产生。产生误码的主要原因是信道的频率特性和传输所引起的噪声。频 带的限制使信源发出的能量受到损失，而噪声又使信号中携带的信息受到了干 扰。通常，可以在信源码源序列中加入若干监督码元，这些监督码元和信息码 元之间有一定的关系。接收端可以利用这种关系由信道译码器来发现或纠正可 能存在的错码。这就是检错和纠错。另外，在要求不高的情况下，还可以通过 减少差错的主观察觉程度的方法来恢复信号，这种方法称为掩锚，或隐错。如 视频信号中，可用前一场的像索或前一帧的像素来代替当前场或帧等 1 3m p e g 一2 码流的传输 数字化视频压缩格式的标准化简化了计算机数据的形式对全运动视频进 行的处理存储，以及在现在和未来计算机网络上或者通过地球上的广播信道进 行的传输。数字化视频压缩标准应用范围包括全数字化t v 、视频会议、可视 电话、视频邮件、多媒体工作站、数字化电影、视频游戏、其他形式的娱乐和 教育。 1 3 1h 2 6 l 船e g lm p e g - 2 标准懵“ i t u ( c c i t t ) 建议的h 2 6 1 是一种视频压缩标准，用于在综合业务数字网 ( i s d n ) 上以p x 6 4 k b p s ，p = l ，3 0 的速率开展视频会议和可视电话业务。例如， 6 4 k b p s ( 旷1 ) 的速率适用于低品质的可视电话业务，其中视频信号传输占用 4 8 k b p s 的带宽，剩下的1 6 k b p s 用于音频信号。视频会议业务通常需要较高的 图象质量，在p 6 时，如用3 8 4 k b p s 或更高的速率即可达到这种图象质量的 要求。在1 9 8 3 - 1 9 9 0 年期间，由于欧洲工程c o s t ( 科技研究合作) 2 l l b i t s 中的 一些研究，因此导致了i t u ( c c i t t ) 建议的h 2 6 l 的出现。1 9 8 5 年，c o s t 2 l l b i t s 视频会议硬件分组开发了最初的在刀3 8 4 k b p s ，i f l ，5 速率下进行操作的编 解码器。该解码器在1 9 9 7 年被采纳为i t u ( c c i t t ) 建议h 1 2 0 。后来，很显然 可以用一个单独的标准包括所有的1 s d n 的传输速率，即p x 6 4 k b p s ，p - - i ，3 0 。 在1 9 8 9 年完成了这种技术指标的解码器，1 9 9 0 年被i t u ( c c i t t ) 采纳，成为相 应的建议h 2 6 1 。 j 2 6 1 标准除了是后来出现的视频压缩标准，如m p e g 一1 和m p e 6 2 ，形成 的基础以外。它还提供了两个重要的特征：1 ) 由于h 2 6 1 主要用于双向视频通 信，因此它规定最大编码延迟为1 5 0 m s 。已经证明，如果延迟超过1 5 0 m s ，就 4 第一章绪论天律大学碗士学位论文 输，而是对数字化后的信源信号先进行数据压缩，然后再传输。另一方面，由 于采用压缩编码，使得数字信号中比特与比特之间的相关性增加，由一比特引 起的错误，很有可能影响后续比特解码产生传播。那末，解码后的数字信号就 会与原信号产生较大的误差，甚至无法恢复。为此，我们必须设法降低或消除 误码的产生。产生误码的主要原因是信道的频率特性和传输所引起的噪声。频 带的限制使信源发出的能量受到损失，而噪声又使信号中携带的信息受到了干 扰。通常，可以在信源码源序列中加入若干监督码元，这些监督码元和信息码 元之间有一定的关系。接收端可以利用这种关系由信道译码器来发现或纠正可 能存在的错码。这就是检错和纠错。另外，在要求不高的情况下，还可以通过 减少差错的主观察觉程度的方法来恢复信号，这种方法称为掩锚，或隐错。如 视频信号中，可用前一场的像索或前一帧的像素来代替当前场或帧等 1 3m p e g 一2 码流的传输 数字化视频压缩格式的标准化简化了计算机数据的形式对全运动视频进 行的处理存储，以及在现在和未来计算机网络上或者通过地球上的广播信道进 行的传输。数字化视频压缩标准应用范围包括全数字化t v 、视频会议、可视 电话、视频邮件、多媒体工作站、数字化电影、视频游戏、其他形式的娱乐和 教育。 1 3 1h 2 6 l 船e g lm p e g - 2 标准懵“ i t u ( c c i t t ) 建议的h 2 6 1 是一种视频压缩标准，用于在综合业务数字网 ( i s d n ) 上以p x 6 4 k b p s ，p = l ，3 0 的速率开展视频会议和可视电话业务。例如， 6 4 k b p s ( 旷1 ) 的速率适用于低品质的可视电话业务，其中视频信号传输占用 4 8 k b p s 的带宽，剩下的1 6 k b p s 用于音频信号。视频会议业务通常需要较高的 图象质量，在p 6 时，如用3 8 4 k b p s 或更高的速率即可达到这种图象质量的 要求。在1 9 8 3 - 1 9 9 0 年期间，由于欧洲工程c o s t ( 科技研究合作) 2 l l b i t s 中的 一些研究，因此导致了i t u ( c c i t t ) 建议的h 2 6 l 的出现。1 9 8 5 年，c o s t 2 l l b i t s 视频会议硬件分组开发了最初的在刀3 8 4 k b p s ，i f l ，5 速率下进行操作的编 解码器。该解码器在1 9 9 7 年被采纳为i t u ( c c i t t ) 建议h 1 2 0 。后来，很显然 可以用一个单独的标准包括所有的1 s d n 的传输速率，即p x 6 4 k b p s ，p - - i ，3 0 。 在1 9 8 9 年完成了这种技术指标的解码器，1 9 9 0 年被i t u ( c c i t t ) 采纳，成为相 应的建议h 2 6 1 。 j 2 6 1 标准除了是后来出现的视频压缩标准，如m p e g 一1 和m p e 6 2 ，形成 的基础以外。它还提供了两个重要的特征：1 ) 由于h 2 6 1 主要用于双向视频通 信，因此它规定最大编码延迟为1 5 0 m s 。已经证明，如果延迟超过1 5 0 m s ，就 4 第一章绪论天津大学硕士学位论文 不能给观看者在视觉上产生直接回传的效果。2 ) h 2 6 1 可以用低成本的v l s i 实现，这一点对大批量生产可视电话和电视会议设备来说尤其重要。 1 9 8 8 年，i s o 成立了活动图象专家组( m o v i n gp i c u t r ee x p e r tg r o u p ) ， 负责活动图象及其伴音的编码标准制定工作。1 9 9 0 年制定出标准草案，1 9 9 1 年成为国际标准，编号为i s o l l l7 2 。m p e g 标准用于数字存储媒体上活动图象 及其伴音的编码，其数码率为1 5 m b s 。在该标准中，图象采用c i f 格式，每 秒3 0 帧，两路立体伴音的质量接近于c d 声音质量。 m p e g 专家组下设三个委员会，即m p e g 系统委员会( m p e gs y s t e m ) 、m p e g 视频委员会( 船e gv i d e o ) 和m p e g 音频委员会( m p e ga u d i o ) 。这个多媒体数据 压缩国际标准制定好后，就用制定该标准的组织1 4 p e g 来命名。应当指出是，i d p e g 中除了视频图象压缩解压缩内容外，还有音频数据的压缩解压缩，以及音频与 视频多路复合和同步。m p e g 下属的3 个委员会分别制定出三个子标准，即m p e g 系统标准，m p e g 视频标准，m p e g 音频标准。 肝e g 系统对音频流与视频流多路复合和同步等问题进行了研究，并给出 了一些要求。m p e g 视频主要研究视频信号的压缩和解压缩问题。视频压缩的 算法依赖于两个基本要求：其一是基于1 6 1 6 块的运动补偿，此项技术实用 于因果预测器( 单纯预测编码) 和非因果预测器( 插值编码) ，运动补偿可以减少 帧序列时域冗余度；其二是基于变换域的压缩技术，可以减少空域冗余度。肝e g 音频研究音频信号的压缩算法。由于m p e g - 1 的位率仅为1 5 | l b s ，所以m p e g 组织又制定了m p e g 一2 ，其目的是为普通数字电视提供压缩编码算法，其位率 为4 - l o m b s 。图象质量接近演播室质量。同样m p e g 一4 也在进行当中，它涉及 的是可视电话应用中甚低码率的压缩( 8 - 3 2 k b p s ) 。其实，m p e g 标准一共分为4 部分，前三部分就是上面提到的m p e g 系统( i s o i e c l l l 7 2 1 ) 、m p e g 视频 ( i s o i e c l1 1 7 2 2 ) 和m p e g 音频( i s o i e c l l l 7 2 - 3 ) 。第四部分用于测试和验证 ( i s 0 i e c l l l 7 2 4 ) 。m p e g 一经推出，便很快受到广大多媒体软件开发商和硬 件厂商的重视，到目前为止，已开发出多种支持m p e g 标准的芯片和处理器。 其中典型的有c c u b e 公司开发的c l 4 5 0 m p e g 视频解码器。本论文讨论的码流 是基于m p e g - 2 语法的，m p e g 一2 语法的主要特点是； i 提供隔行扫描输入、高清晰度输入和色度通道的交替二次采样； i1 提供一个可调节的( s c a l a b l e ) 位流； i i i 提供改进的量化和编码选项； m p e g 一2 提供了分级语法，一般有四种分级，即：空域分级、s n r 分级、时域分 级和数据分割。主要应用于不同的领域中。本文将在后续篇章中较为详细地介 绍m p e g 一2 视频语法。 第一章绪论天滓大学硕士学位论文 1 3 2 舯e g 一2 码流系统简介 l d p e g 一2 系统编码有两种方法：传送流和程序流。传送流是根据i t u t r e c t t 2 2 2 0 1 s o i e c1 3 8 t 8 - 2 和i e c1 3 8 1 8 3 协议而定义的一种数据流，其 目的是为了在有可能发生严重错误的环境下进行一道或多道程序的编码数据的 传送和存储。这种错误表现为比特值错误或分组丢失。传输流可以用很多的方 法产生有效的数据流：从原始的编码的数据流，从程序流，从其他本身包含 个或多个程序的传送流都可以构成含有道或多道程序的传送流。程序流数据 流定义，用来传送和保存一道程序的编码数据或其他数据。它主要是针对那些 不容易发生错误的环境，同时也针对系统编码的处理为主要关注对象，特别是 软件处理的对象。程序流由两层构成：系统层和压缩层。程序流解码器的输入 流有一个包含压缩层的系统层。音频、视频解码器的输入流只有一个压缩层。 按照i t u tk e e 1 1 2 6 2fi s o i e c1 3 8 1 8 - 2 和i s o i e c1 3 8 1 8 3 标准对视频 和音频信号进行编码压缩后的原始流被组合形成p e s 分组当p e s 分组形成的 时候，使用该分组所需的与传送流及程序流有关的信息是可被加入的。传输流 和程序流的形成可由下列框图表示n 】： 黼- 一碍謦f 。la 。j 蝴v p e s p s 一碍嚣j 7 i f 醐 程序漉 。l 外锕冀i p e s 叫煮凝翁碍嚣i 7 i 刀珊研f m u x 西 传送滚 m u x 图1 2i t u tr e c h 2 2 2 0 i s o i e ci 3 8 1 8 - l 简化的总体框图 m p e g 一2 系统标准包括图中虚线右侧的处理。由图可知，传输流和程序流都是 从p e s 分组按m p e 6 - 2 系统语法生成的。一个原始流的具有相同流号的连续的 p e s 分组可以用来构造p e s 流。当p e s 分组用来构造p e s 流时，它们需包含原 始流参考时钟( e s c r ) 字段和原始流数据( e s r a t e ) 字段。p e s 流数据应保持它 们在原始流中的原始顺序。p e s 流中不包含一些传输流和程序流所包含的一些 必要的系统信息：例如组头、系统头、程序流映射、程序流目录、程序映射表 以及传送流分组语法等信息。f 面以图例的形式来描述t s 流和p s 流： 第一章绪论天津大学硕士学位逾丈 冷传送流语法： | _ 一18 8 _ 卜 酋斌有效负载 首酬方戏奠翥 - 善部有效负綦 、 、同步传输错误有教负载搿诺传送抽适应字 连续适应字斌 p l d 圮裁器lll 笋芦指示器起始糖示器优先级密控锄段控翻 图1 3 传送流语法图 其中适应字段又包含适应字段长度等信息。而有效负载为p e s 分组或程 序关联分段、条件访问分段、程序映射分段、私用分段之一，可由p i d 值来 判断有效负载的类型。其中，p e s 分组语法如下： p e s 分组： 1分组 流l d p e s 分可选p e sp e s 分缉l i 刀：殆组长度首部兹据乒芦 j 图1 4p e s 分组语法图 其中，可选p e s 首部又包含p e s 加密、p e s 优先级、版权等信息。流i d 指明p e s 中数据字节的类型，即为视频、音频等。 程序流语法： 图1 5 程序流图 其中，系统首部中又包含首部开始码、码率界限、c s p s 标志等信息。 由m p e 6 2 系统分析，我们知道，在传输包中含有传输错误指示器，即 t r a n s p o r t e f r o r i n d i c a t o r ，它是一个比特标志位，当它置为1 时表明在相关 的传输分组中至少有一个不可纠正的错误位。我们可以将这种无法恢复的包丢 弃，在开包解码时，就要对重构的视频或音频数据进行处理，以降低误差。 7 第一章绪论天淬大学硕士学位论文 1 4 本文结构 本课题的主要内容是完成解码器隐错算法的优化。本课题的成功研制将是 整个视频解码器正常运转的保障，控制的好与坏直接关系到解码输出( 显示) 。 对错误的处理可以深入到s l i c e 层，这一点将大大改善显示效果，对实现高清 晰显示有着很重要的意义。 本论文共分成5 个部分，第一章是绪论。简要地介绍了数字信号传输的特 点以及隐错的基本概念和步骤。第二章详细分析了m p e g 一2 码流语法，分别介 绍了i 、p 、b 帧的结构，分析错误具有传播性的原因以及。 第三章和第四章是本论文的重点。首先在分析m p e g - 2 视频码流结构的基 础上，对各种可能出现的错误以及这些错误对图象质量的影响做了详细的分 析，并将错误分类以针对性地提出隐错算法。然后，针对目前m p e g 一2 视频隐 错技术中提到的方案和算法，讨论并分析了时域和空域隐错的思想。同时通过 对人眼特性的分析结合图象的实时性要求和隐错技术的一般算法，提出一种新 的基于图象内容的隐错的思想。最后，给出i 、p 、b 各自的隐错算法流程，并 在微机环境下对出现随机错误的m p e g 一2 码流设计出实验模型进行模拟。 第五章给出隐错算法的模拟实验结果，并加以具体分析。 第二章m p e g 一2 跳频码流结构和错误类型天津大学硕上论文 第二章m p e g - 2 视频码流结构和错误类型 2 1m p e g 一2 视频码流的基本语法 视频序列数据由一称作层的比特流序列成。如果仅有一层，那么这编码 的视频数据称为不分级的视频比特流。如果有两层或更多层，那么这编码的视 频数据称为被划分等级。m p e g 2 是可分级的比特流。 第一层( 有序序列中的) 称为基本层，它总是可以被单独解码的。对基本 层的解码过程，下一节将详细介绍。其它层称为增强层，它只能由基本层开始， 与所有的低层( 在序列中前面的层) 一起解码( 未特别指明，本文只涉及基本 层) 。通常视频比特流可被看作语法的等级体系，其中各语法结构又包含一个 或更多的从属结构，这个结构很象i s o i e c l l l 7 2 中所用到的。 m p e g - 2 编码的比特流中的最高语法结构是视频序列。一个视频序列以一 个序列头开始，后面可选地跟着一组图象的头和一个或更多的编码帧。视频序 列以一个( s e q u e n c e e n d c o d e ) 终止。在一个视频序列的不同地方，某一特定 的编码帧的前面可能会有一个重复的序列头或一组图象的头，或两者都有。具 体地说，船e g 屯语法中将图象分为图象组、图象、条层、宏块层和块层六层。 如下图2 - 1 所示： 1 图象序列层 此层内包括一图象序列，共有多少层由设计人员决定。m p e g 一2 在此层中 还需要把图象帧分成组，称为图象组层g o p 。在此层内排列数据时，首先是基 本参数，其中包括：1 ) 图象尺寸；2 ) 像素纵横比；3 ) 帧频；4 ) 码率；5 ) 帧组数 及编号法；6 ) 传输缓寸容量；7 ) 其他基本参数。在这些基本参数之后，依此排 列各帧组。 2 图组层 在m p e g 一2 中。图象组头是可选的，它用在个编码i 一帧的紧前头，来向 解码器指明在随即访问时，紧跟在编码卜帧后面的第一个b 一图能否被正确重 构。实际上，如果不能得到前面的参考帧，那些b 一图就不能被正确重构，除 非它们仅使用向后预测。在编码比特流中，图象组头后面的第一个编码帧是i 一 帧。此层作为随即进出单元用于快速进退搜索和正反向编辑，是编辑i p e g - 2 码流的基本单元。在帧组层有i ，p ，b 帧。i 帧是仅用自身信息进行编码的图； p 帧是从过去的i 一图或p 一图使用运动补偿进行编码的图；b 帧是从过去的或将 来的j 一图或p 一图使用运动补偿进行预测的编码的图。m p e g 一2 对帧组层内包含 的帧数无限制。帧组层内首先应该提供的基本参数有：1 ) 时间码t i m e c o d e ； 第二章m p e g 一2 视频码流结构和错误类型天津大学硕士论文 图2 1 1 在场d c t 编码中的亮度宏块结构 就色差块来说，它的结构取决于正在使用的色差格式。对于4 ：2 ：2 和4 ：4 ：4 格式来讲( 在宏块的垂直方向有两个块) ，色差与亮度块同等对待。然而，在 4 ：2 ：0 格式中，色差块将一直按帧结构进行组织，以满足d c t 编码的目的。 6 块层 用作离散余弦变换的8 8 的矩阵。 2 1m p e 6 - 2 视频码流的编码步骤 m p e 6 2 视频中定义的编码表示能获得较高的压缩比( 一般可达到2 0 2 0 0 倍) ，并且能保持较好的图象质量。由于在编码过程中不保存象素的精确值， 因而算法是有失真的。究竟使用哪种压缩技术需要在高图象质量和高压缩比之 间作出折衷，因为当压缩时，图象质量和压缩比是一对矛盾。压缩时，还需满 足对编码数据进行随即存取这一要求。高压缩率不能光靠帧间编码来获得，然 而，随即存取这一要求可以用纯粹的帧内编码来实现。因此，这就需要在帧内 编码和帧问编码之问很好地权衡。视频数据可以表示成一个图象序列 i 。，i 。，i 。，它们按顺序快速显示如( 3 0 帧s ) 即形成运动图象，每幅图象可用 二维数组表示，每个数组元素的值有三个彩色分量r 、g 和b 。为了获得较高 的压缩比，可以采用多种技术。首先，为信号选择一适当的空间分辨率；然后， 算法使用基于块的运动补偿来缩减时域冗余性，利用运动补偿根据先前图象对 当前图象进行不定期预测( c a s u a lp r e d i c t i o n ) ，或根据将来图象对当前图象 进行定期预测，或根据当前图象和将来图象对当前图象进行插值预测。为每个 1 6 x 1 6 ( 象素x 行) 区域图象定义运动向量；接着使用离散余弦交换( d c t ) 对差分 信号( 即预测误差) 进行进一步压缩，从而消除空间相关性