（通信与信息系统专业论文）视频质量psnr的无参考评估方法研究.pdf

摘要 摘要 随着多媒体通信技术和视频压缩技术的迅速发展，各种数字视频应用广泛深 入人们的生活。由于数字视频质量评估在视频处理、压缩和视频通信等领域广泛 应用，特别是无参考视频质量评估在网络视频传输中的广泛应用。因此对于数字 视频质量评估技术的研究显得同益重要。 本文首先分析了影响视频质量的各种因素，总结了现有的视频质量评估方法。 进而详细分析了量化参数对视频质量的影响，重点讨论了无参考质量评估方法。 针对广泛用于评估视频质量的指标峰值信噪比( p s n r ) 因需原始信号而应用受限 的问题，本文提出一种在h 2 6 4 框架下无参考的估计p s n r 的方法。该方法基于 最大似然准则估计原始信源d c t 系数的分布特性，结合码流中量化参数信息来估 计量化噪声，从而不必完全解码即可获取计算压缩视频的p s n r 。最后给出了所提 方法的实验结果和性能分析，实验结果表明了方法的有效性，特别是针对中低量 化参数的编码情况，该方法估计的p s n r 值和实际的p s n r 值有着较好的一致性。 关键词：视频质量评估无参考量化参数峰值信噪比 a b s t r a c t r a p i dd e v e l o p m e n to ft e c h n o l o g i e si nm u l t i m e d i aa n dv i d e oc o m p r e s s i o n h a sl e d t op r o l i f e r a t i o no fv i d e oa p p l i c a t i o n s i no u rd a i l yl i f e t h ed i g i t a lv i d e oq u a l i t y a s s e s s m e n ti sw i d e l yu s e di nv a r i o u sv i d e oa p p l i c a t i o n s ，e s p e c i a l l yt h en o 。r e f e r e n c e v i d e oq u a l i t ya s s e s s m e n tp l a y sa ni m p o r t a n tr o l ei nn e t w o r kc o m m u n i c a t i o na p p l i c a t i o n t h e r e f o r e t h e r ei sa na c u t en e e df o rs t u d ya n dr e s e a r c h e so nv i d e oq u a l i t ya s s e s s m e n t i nt h i sd i s s e r t a t i o n ，t h ef a c t o r sw h i c hh a v ei n f l u e n c e so nv i d e oq u a l i t y , e s p e c i a l l y t h eq u a n t i z a t i o np a r a m e t e ra r ea n a l y z e df i r s t l y t h e n t h ee x i s t i n gv i d e oq u a l i t y a s s e s s m e n tm e t h o d sa r eg e n e r a l l ys u m m a r i z e d ，w h e r et h en o r e f e r e n c ev i d e oq u a l i t y a s s e s s m e n tm e t h o d sa r ed i s c u s s e di nd e t a i l t h ep e a ks i g n a l t o - n o i s er a t i o ( p s n r ) i s w i l d l vu s e df o rm e a s u r i n gv i d e oq u a l i t y , w h i c hi sr e s t r i c t e d f r o ma p p l i c a t i o na si t r e q u i r e st h eo r i g i n a lv i d e oi n f o r m a t i o n an o r e f e r e n c em e t h o df o re s t i m a t i n gp s n ri sp r o p o s e df o rt h ev i d e oc o d i n g s l a n d a r dh 2 6 4i nt h i sd i s s e r t a t i o n t h es t a t i s t i c a lc h a r a c t e r i s t i c so ft h ed i s c r e t ec o s i n e t r a n s f o 舯( d c t ) c o e m c i e n t sa r ef i r s t l ye s t i m a t e db ym a x i m u m l i k e l i h o o dc r i t e r i o n t h e a u a n t i z a t i o nd i s t o r t i o ni s t h e no b t a i n e db yc o m b i n i n gt h eq u a n t i z a t i o np a r a m e t e r i n f b n n a t i o ne x t r a c t e df r o mav i d e ob i ts t r e a m t h i sm e t h o dd o e sn o tr e q u i r ec o m p l e t eo r p a r t i a lv i d e od e c o d i n g ，w h i c hc a n b e u s e df o rm o n i t o r i n gt h en e t w o r k e dv i d e o e x p e r i m e n tr e s u i t ss h o wt h a tt h ee s t i m a t e dp s n r i sc o n s i s t e n tw i t ht h ea c t u a lp s n r ， e s p e c i a l l yw h e n t h ev a l u eo fq u a n t i z a t i o np a r a m e t e ri sl o w o rm e d i u m k e y w o r d ：v i d e oq u a l i t ya s s e s s m e n t n o r e f e r e n c eq u a n t i z a t i o np a r a m e t e r p s n r 西安电子科技大学 独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人 在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以 标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究 成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中做了明确的 说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：鞋釜日期塑互：兰：! 墨 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期问论文工作的知识产权单位属西安电子科技大学。学校有权保留 送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容， 可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合 学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名： 导师签名： 同期趟仝：；：! 兰 同期地鳗：主：b 第一章绪论 近年来，随着宽带数字网络的飞速发展及广泛应用，以及超大规模集成电路 ( v l s i ) 技术的发展和高速多媒体专用芯片的问世，各类视频处理和视频通信技术层 出不穷，多媒体信息时代已经到来。数字视频是目前多媒体通信中最主要的媒体 形式，如视频会议系统、可视电话系统、视频监控系统、远程教育及医疗、视频 点播、视频直播等都是基于视频的多媒体应用。由于视频通信使用者和视频服务 消费者对于视频的主观感受最终取决于所谓的视频质量，因此对于数字视频质量 评估技术的研究显得日益重要l ij 。 数字视频质量评估在视频压缩、处理以及视频通信领域中起着十分重要的作 用。实时或非实时视频系统的性能和各种视频传输信道的服务质量( q u a l i t yo f s e r v i c e ，q o s ) 最终均可通过视频质量反映出来。系统可以根据评估的视频质量给 出反馈信息以调节编解码器或信道的参数，从而保证系统的服务质量。对各种不 同编解码器的输出视频质量给出易于理解的量度，有利于对编解码器进行性能评 估和优化。视频质量评估还有助于设计、优化符合人类视觉特性的图形图像显示 系统。同时视频质量评估对于视频通信设备制造商和电信运营商都有着非常重要 的意义。如果设备商能够提供有说服力的视频质量评估结果，对于其产品的销售 将会有很大推动作用。对于运营商，视频业务属于新型业务，视频质量的评估数 据可以用于其业务推广宣传，客户满意度调查等。显然对于一般客户来说，他们 不懂复杂的技术，只能通过质量评估结果来影响他们的决定。 传统的针对模拟视频信号的质量评估方法是测量信号幅度、定时关系、信噪 比等物理参数。某些情况下，为了表征信号传输和处理中的各种线性和非线性失 真，可以在视频中插入静态测试信号并在接收端进行分析，这种方法得到的数值 与主观质量的相关性很好，并已经制定了相关的标准。随着数字视频压缩技术的 引入，传统的视频质量评估方法己无法适应新的应用要求。一方面，数字视频压 缩算法的设计目标与模拟算法不同，它并不是力求完全地复制原始信号波形，而 是在视觉效果上逼近原始图像，因而用波形的相似程度来衡量质量的好坏是有失 偏颇的；另一方面，由于信道带宽的限制，通常需要根据人的视觉特性去除一些 冗余信息，实现视频数据压缩，引起视频质量的下降。另外，由于存在方块效应、 震荡效应、边缘模糊等特征失真，使得对视频质量的评估更加困难。因此，需要 针对数字视频系统的特点，设计适用于数字视频质量评估的有效方法。 视频质量p s n r 的无参考评估方法研究 1 2 研究背景及意义 近年来，国际标准化研究机构非常重视视频质量评估的研究，目前参与视频 质量评估研究的标准化小组有： i t u t 的s g 9 ( i n t e g r a t e db r o a d b a n dc a b l en e t w o r k sa n dt e l e v i s i o na n ds o u n d t r a n s m i s s i o n ) 和s g 12 ( p e r f o r m a n c ea n dq u a l i t yo fs e r v i c e ) ； i t u r 的s g l l ： a n s i 的t 1 a 1 ； 另外，i t u t 和i t u r 的研究小组联合在一起，在1 9 9 7 年成立了视频质量专 家组( v i d e oq u a l i t ye x p e a sg r o u p ，v q e g ) l i 】，专门从事视频质量评估的研究和相 关标准的制定。v q e g 联合全球最强的实验室研究数字视频质量评估的测试条件 和方案，在全球范围内征集各种质量评估方法，并在指定的实验室对各质量评估 方法进行评估，给出各方法的测试研究报告。v q e g 力图在全球提供一个丌放式 的研究环境，提供数字视频质量评价方法的标准化过程，如图2 3 所示。 图1 1 视频质鼙评估方法的标准化过程 通常，人们将数字视频质量评估的方法分为两大类：视频主观质量评估 ( s u b j e c t i v eq u a l i t ya s s e s s m e n t ，s q a ) 和视频客观质量评估( o b j e c t i v eq u a l i t y a s s e s s m e n t ，o q a ) 。直接让观测者对视频质量作出直观判断的主观质量评估方法 是最为准确的评估方法，但该方法过于复杂且其结果易受多种因素影响，因此， 在实际应用中通常使用客观的、易于实现的视频客观质量评估方法。根据对原始 视频的依赖程度，客观质量评估法又可以分为三种类型：全参考( f u l l r e f e r e n c e ， f r ) ，部分参考( r e d u c e d r e f e r e n c e ，r r ) 和无参考( n o r e f e r e n c e ，n r ) 。如图1 2 所示的视频通信基本流程框架中，根据三类方法对原始视频序列的参考程度，我 们可以看出三种客观评估方法的适用范围。 第一章绪论 图1 2 视频通信基本流样框架 由图1 2 可以看出，全参考方法只适用于已知原始视频的编码器端，可以用它 来定量测量编码器的输出视频质量，它主要用于编码器的设计和对不同编码器的 性能进行评估和优化。部分参考方法需要部分原始视频或者需要通过传输额外的 一些信息，特别是无参考方法，在判断视频质量时不需要来自原始参考视频的任 何信息，仅仅通过对失真视频空域和频域的处理分析来提取失真视频的特征，从 而得到视频质量。适用于带宽有限，传输成本较高，不可能提供原始参考视频序 列的无线和i p 视频业务，可以用来实时或非实时的监控传输信道的服务质量( q o s ) 和视频系统的性能，并通过质量反馈来调节编解码器或信道的参数，保证有良好 的恢复视频质量。 随着信息技术尤其是计算机技术、网络传输技术、通讯技术和多媒体处理技 术的发展，视频信息在人们的生产和生活的各个方面应用越来越广泛，比如视频 会议系统、可视电话系统、视频监控系统、远程教育及医疗、视频点播、视频直 播等。因此研究无参考的视频质量评估方法对于网络视频系统的设计、运行和维 护中有着较大的实用价值。 1 3 论文研究内容及安排 本文主要研究了视频质量的客观评估方法，全文的内容和结构安排如下： 第一章介绍了视频质量评估的研究背景和意义。 第二章主要介绍了视频质量评估方法。首先分析了各种引起视频失真的因素， 并介绍主观和客观视频质量评估方法的发展历史及研究现状，重点讨论了几种有 代表性的视频客观质量评估方法。 第三章从无参考视频质量评估方法入手，结合当前研究较为有研究意义的几 种方法，重点讨论了在视频流应用中的无参考质量评估方法，对现有方法的优劣 进行比较和总结。 第四章分析了量化参数在视频质量中的重要作用，并从研究d c t 系数量化值 4 视频质量p s n r 的无参考评估方法研究 的统计特性入手，提出了一种在h 2 6 4 框架下的无参考估计p s n r 的视频客观质 量评估方法。 第五章以实验为基础，论证了所提方法的有效性。特别是在中低量化参数的 情况下，所提方法估计的p s n r 值与实际的p s n r 值有着较好的一致性。 第二章视频质量评估 第二章视频质量评估 2 1 引言 对视频质量进行评估是视频处理的一个基本问题。它不仅有其理论意义，更 重要在于实际应用中也有广泛的需求，尤其是随着视频压缩算法的迅速发展，其 中对压缩的效果进行评估的一个重要指标是考察在有损压缩时所造成视频质量退 化的程度。 最初，人们用传统的质量评估方法如m s e ( 均方误差) 、p s n r ( 峰值信噪比) 等方法通过与标准视频比较像素的灰度差异来评估视频质量的退化程度。然而， 因为这种方法是基于独立的像素差值，忽略了视频内容和观测条件对失真可见度 的影响，因此它往往和主观感知的视频质量的一致性较差。另一个重要考虑因素 是，上述方面使用前提是解码端能够得到原始视频信息作为参考，但是在很多实 际的应用中，尤其是在网络视频通信领域，解码端通常无法取得原始参考视频序 列信息。由此我们又进而研究在解码端提取到部分信息流特性或从空域和频域分 析来提取失真视频的特性的方法来评估视频质量。这样的方法具有现实意义，己 逐步演变为研究热点。 在本章中，首先介绍数字视频技术的发展，分析了影响视频质量的因素。接 着根据主观和客观将视频质量评估方法分类，并分别简述其发展过程中有代表性 的一些方法，以回顾整个视频质量评估的发展历程。 2 2 数字视频技术及视频质量影响因素 从信息论的角度看，描述视频信源的数据可以视为信息量( 信源熵) 和信息 冗余量之和【2 j 。视频和图像的信息冗余量有许多中，如空问冗余、时间冗余、视觉 冗余等，数据压缩的实质就是减少这些冗余量。从数学的角度来说，图像和视频 可以视为时间和空问的多维函数，压缩视频数据量的实质就是减少其相关性。此 外，根据人的视觉特性和实际应用的保真度要求，往往允许图像和视频有一定的 失真，因此视频编码系统通常采用有损压缩算法进行视频压缩以提高压缩效率。 然而，有损压缩算法会造成压缩视频质量的下降，特别是常用的基于块的编码技 术还会引起一些特有的编码失真效应，影响编码恢复视频的主客观质量。另外， 由于采用了运动补偿和熵编码等技术，视频通信系统中出现的信道误码往往会引 起误码扩散，导致接收端恢复视频质量急剧下降。从整体分析来看，引起数字视 频质量下降的主要原因是视频压缩和信道误码。 视频质量p s n r 的无参考评估方法研究 2 2 1 视频压缩标准发展史 视频处理技术及其应用是2 0 世纪最激动人心的技术之一。近年来，视频压缩 算法的进步和视频处理设备的发展使得数字视频得到了广泛的应用。在现阶段， 高效的视频压缩算法和顽健的视频压缩传输系统仍是人们研究的热点1 3 j ，从而产 生了一系列视频编码标准。国际电信联盟i t u t 制定的标准包括h 2 6 1 、h 2 6 3 和h 2 6 4 等，它们主要应用于实时视频通信领域，如会议电视等；以及国际标准 化组织i s o 制定的视频压缩标准包括m p e g 1 、m p e g 2 、m p e g 4 等，它们主 要应用于视频存储( d v d ) 、广播电视、因特网以及无线网上的流媒体。这些视频 压缩标准融合了各种性能优良的视频压缩算法。新一代视频压缩标准h 2 6 4 ，代 表着目前数字视频压缩的最高水平【4 j 。 自上个世纪8 0 年代以来，i s o i e 制定的m p e g x 和i t u t 制定的h 2 6 x 两大系列视频编码国际标准的推出，丌创了视频通信和存储应用的新纪元。h 2 6 1 是最早出现的视频编码建议，目的是规范i s d n 网上的会议电视和可视电话应用 中的视频编码技术。它采用的算法结合了可减少时间冗余的帧间预测和可减少空 问冗余的d c t 变换的混合编码方法。 m p e g 1 标准视频编码的部分基本算法与h 2 6 1 h 2 6 3 相似，也采用运动补 偿的帧间预测、二维d c t 、v l c 游程编码等措施。此外还引入了帧内帧( i ) 、预 测帧( p ) 、双向预测帧( b ) 和直流帧( d ) 等概念，进一步提高了编码效率。在m p e g 1 的基础上，m p e g 2 标准在提高图像分辨率、兼容数字电视等方面做了一些改进。 近年推出的m p e g 4 标准引入了基于视听对象( a v o ：a u d i o v i s u a lo b j e c t ) 的编 码，大大提高了视频通信的交互能力和编码效率。m p e g 4 中还采用了一些新的 技术，如形状编码、自适应d c t 、任意形状视频对象编码等。m p e g 4 标准实际 上是一个不断发展和更新的多媒体系统标准，几乎每年都会有新的编码工具提出， 扩充新的编码技术。 h 2 6 3 标准是i t u 于1 9 9 5 年制定的一种码率低于6 4 k b p s 的甚低码率视 频压缩编码标准1 5 j 。该标准不仅着眼于利用p s t n ( p u b l i cs w i t c h e dt e l e p h o n e n e t w o r k ，公共交换电话网络) 传输，而且兼顾p l m n 移动通信等无线业务。与 h 2 6 1 一样，在编码中，它也采用帧间预测减小时问冗余度，利用d c t 变换减小 空问冗余度；在传输中，采用可变长度编码技术；在解码恢复中，应用运动补偿， 从而进一步改善图像质量，提高压缩比。i t u t 在h 2 6 3 发布后又修订发布了 h 2 6 3 标准的版本2 ，非f 式地命名为h 2 6 3 + 标准。它在保证原h 2 6 3 标准核心 句法和语义不变的基础上，增加了若干选项以提高压缩效率或改善某些功能。 h 2 6 3 + 标准允许更大范围的图像输入格式，自定义图像的尺寸，从而拓宽了标准 使用的范围，使之可以处理基于视窗的计算机图像、更高帧频的图像序列及宽屏 第二章视频质量评估 图像。在h 2 6 3 视频标准提出并不断完善后，相关国际组织又提出了h 2 6 4 视 频标准。h 2 6 4 视频标准拟成为一个通用的应用于较广范围比特率、分辨率、质 量和服务的标准。除了其他应用，h 2 6 4 标准还涉及数字存储媒体，电视广播和 实时通信等。在创建这一标准的过程中，考虑到了各个典型领域的应用要求，制 定了必要的算法元素，并将其综合为一个单一的语法体系。因此，这一标准可以 使得各种应用系统中的数据交换变得很容易。视频标准发展史见图1 1 h 2 6 31 t 2 6 3 + h 2 6 3 + + m p e g s t a n d a r d s m p e g - 1m p e g - 4 1 9 x 41 9 8 61 9 9 x1 9 9 01 9 9 21 9 9 , 1 1 9 晰； l 蚺hi m l i l2 ( r ) 2 图1 1 视频标准发展历史 2 2 2 量化引起的视频失真 现有的视频压缩算法大多数都采用了基于块的运动补偿和变换编码。图1 2 给 出了该类视频编码器的基本算法框图。采样后得到的视频序列包含一系列的多幅 图像。一幅编码图像既可以是一个完整的帧( f r a m e l ，也可以是一个场( f i e l d ) 。视 频压缩首先把每一幅图像分成固定大小的宏块，每个宏块覆盖的矩形区域通常包 含一个1 6 1 6 的亮度采样分量和相应的两个8 x 8 的色度采样分量，然后以宏块为 基本单位对图像进行编码。 8 视频质量p s n r 的无参考评估方法研究 图像 帧问帧内指示 图像数据传输与否指示 量化器指示 最化变换系数 运动矢量 图1 2 视频编码器的基本算法框图 通常的视频压缩算法主要包括以下几个模块： ( 1 ) 预测 预测编码是利用像素之间的相关性，从时间域、空间域这两大方面去除冗余 信息。按其预测方式可以分为帧问编码模式和帧内编码模式。 帧间编码模式是利用视频的时间相关性，在参考图像内对编码宏块进行运动 预测，寻找与其匹配的图像块，并对预测得到的差值图像作进一步压缩处理。h 2 6 4 编码标准使用了多种复杂的帧间预测方式，如每个宏块都支持1 6 1 6 ，1 6 x 8 ，8 x1 6 或8 8 四种划分形式，并且8 x 8 模式还可以进一步划分为8 8 ，8 x 4 ，4 8 或4 4 。 另外为了提高预测精度，h 2 6 4 还采用内插技术，使得亮度信号的运动矢量达到 1 4 像素精度。复杂的帧问预测模式可以大大提高压缩效率，但也增大了视频压缩 数据i n j 的相关性，致使压缩后的视频对误码特别敏感。 帧内编码模式不依赖于其它参考图像。传统的帧内编码模式直接对宏块数据 进行变换量化编码，因此传统帧内编码宏块不依赖于其它宏块，具有较好的抗误 码性能，也相应的需要较多的编码比特数。具有更高压缩性能的帧内预测方法利 用了图像的空间相关性，利用解码恢复的相邻图像块进行帧内预测。h 2 6 4 编码标 准中，帧内预测块可以是1 6 x 1 6 的宏块，或是4 x 4 的亮度块。1 6 1 6 的宏块有4 个可选的预测模式，而4 x 4 的亮度块则有9 个可选的预测模式。帧内预测提高了 编码效率，却增强了各宏块编码数据的相关性，与传统帧内编码方式相比更容易 受到误码的影响。 ( 2 ) 变换 变换编码的目的在于去除帧内或帧问差值图像的内容相关性，然后根据变换 第二章视频质量评估 9 域系数的特点和人的视觉特性对变换系数进行编码来提高压缩效率。在数字视频 压缩中，目前最常用的变换方法是离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，d c t ) 。 d c t 常常被认为是对自然场景图像信号进行变换的准最佳变换，具有较好的去相 关性能，其变换特性接近k l 变换( k a r h u n e n l o e v et r a n s f o r m ) 。此外，由于d c t 的计算量较k l 变换小得多，并且可以获得快速d c t 算法以适应实时应用，因此 d c t 已在视频编码标准中获得了广泛的应用。早期的压缩标准，如h 2 6 3 、m p e g 2 等都使用8 8d c t 和i d c t ，其公式分别定义如下： f 0 ，v ) ：! c 0 ) c d 猡7y 77rg，y)cos垦兰坐cos(2y+1)vz(1-11 ) f 2 百c o ) c o 焉善几，y ) 半1 f 1 ) - r j = 0 y = o 1 u1 u 厂g ，y ) = 丢耄骞c o ) c ( v 扩o ，v ) c 。s 垒号丝c 。s 垒气竖 ( 1 - 2 ) - r = ov = 0 1 u u 啪= 悻 当材v = 0 其它 ( 1 - 3 ) 上式中的f ( x ，j ，) 代表原图像( 帧内编码) 的像素值，或是帧差信号值( 帧间 编码) ，f ( u ，v ) 代表8 8 d c t 变换后的系数。尽管理论上d c t 能得到精确的变换、 反变换，但在实际中编解码器的精度是有限的，无法获得完全精确的变换；编解 码器精度的不一致也会导致解码视频质量的下降。并且，由于浮点运算具有较高 的计算复杂度，在h 2 6 4 标准中使用4x4 整数变换来近似d c t 和i d c t 算法，本 文将在第四章节中详细介绍其推导和变换过程。 ( 3 ) 量化 为了达到压缩数据的目的，视频编码系统需要对d c t 系数进行量化处理。人 眼对恢复图像中低频信号的误差比对高频信号的误差更为敏感，而时域或空域中 高频信号的细节通常不易被察觉。因此视频压缩系统通常对d c t 系数中的高频信 息进行粗量化，在保证一定恢复图像质量的条件下尽量减少非零系数的个数，以 达到降低编码比特率的目的。具体的量化过程可以表示为： r c ：，。= 寻旦，0 m ，即7 ( 1 - 4 ) 蟛m 月 式( 1 4 ) 中巳一是d c t 的系数矩阵，q ，m 是量化矩阵，量化后的系数矩阵用q ， 表示。量化矩阵的设计可以结合人眼的视觉特性，对视觉敏感的频率分量进行精 细量化，对视觉不敏感的频率分量进行粗量化，并使总的量化失真保持在定阈 值以下，从而提高恢复视频的主观质量。本文将在第四章中详细介绍h 2 6 4 中相 1 0 视频质鼍p s n r 的无参考评估方法研究 关的d c t 系数量化及反量化过程。 ( 4 ) 熵编码 为了进一步压缩数据，需要对量化后的d c t 系数作基于统计特性的熵编码。 视频压缩系统常用的熵编码主要为h u f f m a n 编码和算术编码，这两种编码方式都 属于可变长码( v a r i a b l el e n g t hc o d e ，v l c ) 。h 2 6 4 中使用的自适应技术可以进一 步提高可变长码的压缩效率。然而，可变长码具有较差的同步性能，致使编码后 的码流对误码十分敏感。相应的，恢复视频质量也容易受到信道误码以及误码扩 散的严重影响。 ( 5 ) 环路滤波 编码后的环路滤波具有两大功i i - 平滑了块边界，尤其是在高压缩率的情况 下，可以获得非常可观的主观质量改进；经过滤波后的图像用于运动补偿预测时， 可以减小预测后的差值信号。h 2 6 4 标准中的环路滤波算法具有尤其出色的性能。 如前所述，量化在整个视频序列编码中占据着很重要的地位，是视频在压缩 过程中导致恢复视频质量下降的根本原因。因为在h 2 6 4 编码标准中，是先对d c t 变换后的系数矩阵进行量化，然后再对这个量化矩阵编码，如果量化后的非零系 数越少，则编码效果越好，而这也是编码方案性能良好的主要原因。也就是说， 宏块经过d c t 变换后，大多数系数都集中在低频区域，这部分视频内容细节，纹 理信息丰富，是视觉较为敏感区，因而对低频分量进行精细量化，反之对视觉不 敏感的高频分量进行粗量化，可以在保证一定视频质量的同时，通过对大部分高 频系数量化为零使得编码率降低，从而达到有效压缩的目的。 此外，现有的视频压缩标准采用的预测变换等技术也会导致多种视觉上的失 真效应【6 j 。这些失真效应主要有：方块效应( b l o c k i n ga r t i f a c t s ) ：是基于块d c t 压缩算法( 如m p e g 2 、h 2 6 3 等) 编码后恢复视频的主要失真，是指图像中编码 块边界的不连续性，这种不连续性是由相邻块在编码中相互独立的d c t 系数量化 过程造成的。块边界不连续的程度反映了方块效应的大小；模糊( b l u r r i n g ) 是指 视频内容空间细节的丢失和边缘清晰度的下降，产生模糊的原因主要是高频系数 的粗量化。不同的编码方法，将产生不同程度的各种视觉失真效应。 2 3 主观质量评估 视频主观质量评估就是选择一批非专家类型的受测者，让他们在一个特定 的受控环境中，连续观看一系列的测试序列大约l o 至3 0 分钟，然后采用不同方 法让他们对视频序列的质量进行评分，最后求得平均判分( m e a no p i n i o ns c o r e ， m o s ) ，并对所得数据进行分析。测试环境中的受控因素包括：观看距离、观测环 境、测试序列的选择、序列的显示时闯间隔等。根据不同的测试环境、测试目的， 第二章视频质量评估 有下列几种视频主观质量评估方法： ( 1 ) d o u b l es t i m u l u si m p a i r m e n ts c a l e ( d s i s ) 1 3 】 受测者观看多个原始参考视频和失真视频组成的“视频对”，并且每次总是先观 看原始参考视频，然后观看失真视频。观测者对视频的整体印象进行评判，用定 义的主观测度来表达评判，对失真视频的失真度进行评分。评分采用5 分制失真 测度，如表2 1 所示。参考、测试视频的显示以及评分过程如图2 3 ，要求观测者 在t 1 和t 3 时间段内观看视频，t 3 、t 4 时间段内进行评分。测试有两种形式：参 考、测试视频只显示一次，如图2 4a ；参考、测试视频重复显示两次，如图2 4b 。 重复显示的方式花费时间较多，但对失真较小的视频评分更准确。 表2 1d s i s 的5 分制火真测度 12345 觉察不到能觉察到但不令人稍微令人讨令人讨厌非常令人讨 的 讨厌 厌的的厌的 t lt 2 t 3t 4t 1 t 2t 3 t 2t lt 2 t 3t 4 引卜1 万一 t l = l o s参考图像 t 2 = 3 s 灰色背景 t 3 = l o s测试图像 t 4 = 5 - l l s 灰色背景 a 图像对只显示次b 图像对重复显示两次 图2 4d s i s 的测试过程 ( 2 ) d o u b l es t i m u l u sc o n t i n u o u sq u a l i t ys c a l e ( d s c q s ) i i 。j 受测者观看多个原始参考视频和失真视频组成的“视频对”，但与d s i s 不同的 是，原始参考视频和失真视频的显示顺序是随机的，并且受测者对每个“视频对” 中两幅视频的质量都进行打分。为了避免量化误差，这种方法提供了一个连续的 评分测度，但是为了与5 分制的评分标准一致，它也被等分成5 份，如图2 5 。在 测试过程中，首先将测试视频对显示一次或多次，使受测者得到对视频的主观认 识，然后再一次或多次显示视频对以进行记录评分。对于静止图像，每幅图像显 示3 4 秒、重复5 次( 最后两次用于评分) 比较合适。对于时变的运动序列，每段 序列显示1 0 秒、重复2 次比较合适。 视频质量p s n r 的无参考评估方法研究 非常好 好 还可以 差 l f 常差 图2 5d s c q s 的评分测度 ( 3 ) s i n g l es t i m u l u sm e t h o d s ( s s m ) 1 3 】 以随机的形式显示多个测试视频，并且对于不同观测者，视频序列的随机显 示顺序也不同。受测者只观看测试视频，对其质量进行打分。具体实现方式有两 种：一种方法是s s ( s i n g l e s t i m u l u s ) ，即不重复放映测试序列；另外一种是s s m r ( s i n g l es t i m u l u sw i t hm u l t i p l er e p e t i t i o n ) ，即把测试序列重复放映多次。最常用 的质量评分测度是5 分制，除此之外还有9 分制和11 分制，它们是5 分制的扩展， 可以提高评分的精度，如图2 6 所示。 图2 6s s m 的评分测度 ( 4 ) s i n g l es t i m u l u sc o n t i n u o u sq u a l i t ye v a l u a t i o n ( s s c q e ) 1 1 3 1 只显示测试序列( 不显示参考序列) ，与上述几种采用较短独立序列段进行测 试的方法不同，该方法选择的序列段持续的时间较长，最短为5 分钟。受测者持 续对观测序列进行评分，最后从一系列的打分中得到一个统计数据，得分不仅考 虑分值的大小，还要考虑打分的时间。这种方法适用于视频质量具有时变特性的 压缩系统，但是测试序列的选取对实验结果有较大的影响。 因为d s c q s 能表示视频间细微的质量差别，所以更适用于测试视频和参考视 频质量差别不大的情况。而d s i s 更适合评估特殊效应引起的视觉失真。由于人记 忆力的限制，d s c q s 和d s i s 的评分会倾向于依赖最后1 0 2 0 秒的视频质量，因 此这两种方法不适合评估长的视频序列，这是它们共同的缺点。另外，d s c q s 中 好 以 莲 常 好 可 茇 常 非 还 非 一 一 一 一 一 黼 5 4 3 2 5 一 躺 9 8 7 6 l l ：4 3 2 一 一 一 一 一 一 一 一 一 一 一娜 m 3 ：8 7 6 l i ：4 3 2 o 第二章视频质量评估 参考视频的使用、序列的重复等测试条件都不同于实际的家庭观看环境，这给主 观测试者进行准确评分带来了一定困难。s s c q e 就是针对这一问题设计的，它能 够较好的评估时变质量，但s s c q e 评分与节目的内容关系很大，并且由于缺少参 考视频，我们无法准确地对不同s s c q e 实验的评分进行比较。 主观质量评估是最准确的表示人们视觉感受的方法，优点是不仅适用于传统 的模拟系统，也适用于数字系统，得到的平均判分，能够准确地反映视频的质量。 缺点是主观评估方法缺乏稳定性，实现起来步骤复杂，代价昂贵，实时性不好， 不利于实时视频通信中的视频质量评估。人们希望能够用客观的，稳定的数学模 型来表达视频质量。由于主观评估方法在表达人们视觉感受中的权威作用，它经 常作为一些客观评估方法的参照和效果评估标准。 2 4 客观质量评估 由于视频主观质量评估过于复杂且其结果易受多种因素影响，因此，在实际 应用中需要一种客观的、易于实现的视频客观质量评估方法。因为受测者对视频 质量的主观感受最为真实和准确，所以在相同的视频系统和相同的测试序列条件 下，要求客观评估的结果应与主观评估的结果具有好的一致性或相关性。 对于一个视频客观质量评估方法来说，关键的是找出一个或几个最合适的视 频质量量度( v i d e o q u a l i t ym e t r i c ，v q m ) 来衡量视频质量的好坏。根据失真视频与其 相应的原始参考视频的比较程度，视频客观质量评估方法分为三大类：全参考方 法( f u l l r e f e r e n c e ) 、部分参考方法( r e d u c e d r e f e r e n c e ) 、无参考方法 ( n o n r e f e r e n c e ) ，下面就此分别介绍。 2 4 1 全参考方法( f u l l r e f e r e n c e ，f r ) 全参考方法是指把原始参考视频与失真视频在每一个对应帧中的每一个对应 像素之问进行比较。准确的讲，这种方法得到的并不是真正的视频质量，而是失 真视频相对于原始视频的相似程度或保真程度。最简单的方法如均方误差m s e 和 峰值信噪比p s n r ，其应用比较广泛。 ( 1 ) 均方误差m s e ： m s e =一厶) 2 自s 彳l ，s ， m n 其中，f q 、 分别代表原始参考视频对应帧和失真视频对应帧， 别表示视频帧的高和宽。 ( 2 ) 峰值信噪l 匕p s n r ： ( 2 - 3 ) m 、n 分 1 4 视频质量p s n r 的无参考评估方法研究 朋! r = l o l g _ 手等一 志善善( 一一墨广 亿4 1 其中，薯和i 分别为原始参考视频帧与失真视频帧中对应的像素值，m n 为 帧的大小。2 5 5 是信号峰值幅度，在8 b 采样的条件下等于2 5 5 。p s n r 的计算是基 于独立的像素差值，忽略了图像内容和观测条件对失真可见度的影响，因此它往 往和主观感知的视频质量的一致性较差，例如p s n r 往往不能准确反映方块效应 对视频质量影响的严重程度。另外，其它基于像素失真的质量评估方法也不能在 不同场景获得有效的应用。 ( 3 ) 基于结构失真的s s i m 评估方法 w a n g 】等提出基于结构失真的全参考视频质量评估方法，其基本思想是：自 然图象信号是高度结构化的，它们的像素有很强的相关性，这些相关性带有视觉 场景中的物体的结构的重要信息。人类视觉系统的主要功能是从视觉区域提取图 像的结构性信息。该方法把原始视频和失真视频从亮度、对比度和结构相似性这 三个方面进行比较，然后把比较结果综合考虑，方法的原理框图具体如图2 7 所示： 图2 7s s i m 方法的原理框图 对于原始视频x i 扛1 ，2 ，n ) 和失真视频】， mi 待1 ，2 ，n ) ，设，( x ，y ) 为亮 度比较函数，c ( x ，y ) 为对比度比较函数，s ( x ，y ) 为结构相似性比较函数。 砸，y ) = 丽2 , u , , u y + c i 七川2 端 s ( w ) = 而t 罗r v + c 3 ( 2 - 5 ) ( 2 - 6 ) ( 2 7 ) 第二章视频质量评估 其中，以= i = 1 兰。葺和以= 歹= l ：”表示原始参考视频和失真视频的平 均亮度，正= ：。( 一以) 2 一l 和= ：，( _ 一y ) 2 一1 为原始参考视频和 失真视频的标准差，如= ：。( 薯一以) ( 咒- , u y ) 一l 表示二者的协方差。q ，c 2 ， 巳是为了避免分母为零而设的常数，c = ( k 。) 2 ，c 2 = ( 如三) 2 ，c 3 = 乞2 ，k l ，k 2 l ， 三是像素的动态范围( 若是9 位灰度图像则l = 2 5 5 ) ，从实验结果看，取 q = 巳= 2 c 3 = 2 5 的结果比较符合主观质量感受。综合考虑亮度、对比度和结构信 息这三方面因素，得到s s i m 方法的表达式： s s i m ( x , j ，) = ，( 工，j ，) 。 c ( z ，y ) 芦 s ( x ，夕) 7 ( 2 8 ) 其中口，y 0 ，作用是分别对亮度、对比度和结构信息进行权值调整。先在 8 8 的局部窗口进行计算，然后在整帧视频中移动，整帧视频的质量评估用结构 相似均值( m e a ns t r u c t u r a ls i m i l a r i t y , m s s i m ) 来表示： m s s i m ( x , j ，) = j i 芝s s i m ( x ，y ，) ( 2 9 ) 1 “= l 其中，x i 和y ，是第，个窗口的视频内容，m 是一帧视频中局部窗口的数量。 实验结果表明这种方法确实与主观评估有较好的一致性。 以上介绍了几种较为常见的全参考的客观视频质量评估方法，在原始参考视 频序列可用的情况下( 例如在编码器端) ，用全参考方法对视频处理和压缩技术进 行评估，有助于算法的设计和优化，并且也可以监测传输前压缩视频的质量，从 而根据需要改变编码参数来调节视频质量。另外，随着对人类视觉系统研究的深 入，在视频质量评估中引入人类视觉特性h v s 这一点已被众多研究者所证实，在 视频质量评估中引入h v s 特性，将传统的客观评估方法与主观评估方法有机结合 起来，全参考视频质量评