（计算机应用技术专业论文）基于结构相似性的视频图像质量客观评价.pdf

摘要 摘要 随着计算机软硬件技术的发展，越来越多的数据以视频图像的形式出现。 然而，视频图像在从采集到最终呈现在观测者面前的过程中可能引入各种失真。 显然，经常需要测量视频图像的质量，以便优化系统，用最少的资源提供最好 的视觉质量。但是，主观质量评价方法费时、费力，最重要的是无法嵌入到实 际的应用系统中。而传统的客观质量评价方法，如峰值信噪比和均方误差，在 很多情况下不够符合入的主观感受。因此，有必要研究更贴近于入的主观感受 的客观评价方法。 结构相似性理论是一种关于质量评价的新思想。与自底向上地模拟人眼视 觉系统( h v s ) 的低阶组成结构的思路不同，结构相似性理论自顶向下地模拟 h v s 的整体功能，即h v s 主要从视觉场景中提取结构信息的功能。作为结构 相似性理论的一个实现，结构相似度( s s i m ) 指数有着简单高效的优点。本文深 入研究了结构相似性理论，以及s s i m 在图像质量评价和视频质量评价方面的 应用算法，并分别提出了改进。 在图像质量评价方面，本文将结构信息重新解释为图像中能量足够大的中 高频成分，从新的角度将s s i m 理解为一种更好的局部误差度量方式。提出一 种基于结构信息提取( s i e x t ) 的图像质量评价方法，将图像中的结构信息分离出 来给予较大的权重，并用s s i m 作为局部失真的度量。实验结果表明，s i e x t 比原方法和p s n r 等方法准确度更高。 在视频质量评价方面，由于视频序列的数据量巨大，原算法采用了随机选 取局部抽样区域的方式减小运算量，但随机选取无法保证算法的每次运行对同 一序列都给出一致结果。另一方面，人眼对图像中的边缘轮廓信息更敏感，特 别是运动的视频序列，因此本文认为边缘是一种很重要的结构信息，提出一种 按照边缘度选取局部抽样区域的算法( v e s s i m ) 。实验结果表明，v e s s i m 准确 度更高，且避免了随机算法每次运算结果不一致的弊端。 关键词视频质量客观评价：结构相似性：结构信息提取( s i e x t ) ；边缘结构相似 度( e s s i m ) ；人眼视觉系统( h v s ) a b s t r a c t a b s tr a c t b e c a u s eo ft h e d e v e l o p m e n to fc o m p u t e rs o f t w a r ea n dh a r d w a r e t h e a p p l i c a t i o no fv i d e oa n di m a g ed a t ab e c a m ep o p u l a r h o w e v e r , v i d e oa n di m a g ed a t a a r es u b j e c tt oaw i d e v a r i e t yo fd i s t o r t i o n sd u r i n ga c q u i s i t i o n ，c o m p r e s s i o n ，s t o r a g e ， t r a n s m i s s i o na n dr e p r o d u c t i o n ，a n da n yo fw h i c hm a yr e s u l ti nad e g r a d a t i o no f v i s u a lq u a l i t y i no r d e rt o o p t i m i z ea p p l i c a t i o ns y s t e m sa n dp r o v i d eb e t t e rv i s u a l q u a l i t yw i t hl e s sr e s o u r c ec o s t ，i ti sd e s i r a b l et om e a s u r et h eq u a l i t yo fv i d e oa n d i m a g e b u t ，s u b j e c t i v em e t h o d sa r et i m e c o n s u m i n ga n de x p e n s i v e ，a n dt h e yc a n ，t b ee m b e d d e di n t or e a la p p l i c a t i o n n e v e r t h e l e s s ，t r a d i t i o n a lo b j e c t i v em e t h o d ss u c h a sp e a ks i g n a lt on o i s er a t i o n ( p s n r ) a n dm e a ns q u a r e e r r o r ( m s e ) h a v el o w c o r r e l a t i o nw i t ht h ep e r c e p t u a lv i s u a l q u a l i t y s o ，i ti sn e c e s s a r yt od e v e l o pn e w o b j e c t i v em e t h o d s ，w h i c hc a nc o r r e s p o n db e t t e rt os u b j e c t i v ef e e l i n g s t h ep h i l o s o p h yo fs t r u c t u r a ls i m i l a r i t yi san e wi d e aa b o u tq u a l i t ya s s e s s m e n t d i f f e r e n tf r o mt h et r a d i t i o n a lp a r a d i g mw h i c hm o d e l st h el o w l e v e lc o m p o s i t i o no f t h eh u m a nv i s u a l s y s t e m ( h v s ) b o t t o m u p ，t h e 。n e wp h i l o s o p h ym o d e l st h e f u n c t i o n a l i t yo ft h eo v e r a l lh v st o p 。d o w n ，w h i c ha s s h i t i e st h em a i nf u n c t i o no ft h e h v si st oe x t r a c ts t r u c t u r a li n f o r m a t i o nf r o mv i e w i n gf i e l d s a sa l li m p l e m e n t a t i o n o ft h en e w p h i l o s o p h y , t h es t r u c t u r a ls i m i l a r i t y ( s s i m ) i n d e xi ss i m p l ea n de f f i c i e n t t h i sp a p e rs t u d i e st h ep h i l o s o p h yo fs t r u c t u r a ls i m i l a r i t ya n dt h eu s a g eo fs s i mo n i m a g eq u a l i t ya s s e s s m e n ta n dv i d e oq u a l i t ya s s e s s m e n t ，a n di m p r o v e da l g o r i t h m s a r ep r o p o s e d i nt h ei m a g eq u a l i t ya s s e s s m e n ta r e a ，w ei n t e r p r e tt h es t r u c t u r a li n f o r m a t i o na s t h em i d d l ea n d h i g hf r e q u e n c i e sw i t hh i g he n o u g he n e r g y , a n dv i e wt h es s i mi n d e x a sab e t t e rd i s t o r t i o nm e a s u r e m e n tm e t h o df o rt h el o c a la r e a s t h e n ，an e w i m a g e q u a l i t yi n d e xb a s e do ns t r u c t u r a li n f o r m a t i o ne x t r a c t i o n ( s i e x t ) i sp r o p o s e d i n s i e x t ，t h es t r u c t u r a li n f o r m a t i o ni ss e p a r a t e df r o mi m a g ea n dg i v e nh i g h e rw e i g h t ， a n ds s i mi su s e da sa ne r r o rm e t r i ct oe s t i m a t et h el o c a ld i s t o r t i o n e x p e r i m e n t a l r e s u l t ss h o wt h a tt h ep r o p o s e ds i e x tc a ne v a l u a t et h eq u a l i t yo fi m a g e sm o r e a c c u r a t et h a nt h eo r i g i n a la l g o r i t h ma n dp s n r s i n c et h ed a t aq u a n t i t yo fv i d e os e q u e n c ei sh u g e ，t h eo r i g i n a la l g o r i t h mu s e sa r a n d o mi n t r a 。f r a m el o c a l r e g i o n ss a m p l i n gt or e d u c ec o m p u t a t i o n a lb u r d e n h o w e v e r , r a n d o ml o c a lr e g i o n ss a m p l i n gc a n n o tg i v eu n i f o r mr e s u l t sf o re a c ht i m e t h ea l g o r i t h mr u n o nt h eo t h e rh a n d ，h u m a ne y ei sm o r es e n s i t i v et ot h ee d g ea n d c o n t o u ri n f o r m a t i o no fi m a g e s ，e s p e c i a l l yi nv i e w i n gs e q u e n c e so f m o v i n gp i c t u r e s t h u s ，w eb e l i e v ee d g ei st h em o s ti m p o r t a n ts t r u c t u r a li n f o r m a t i o n ，a n dw e p r o p o s e 北京工业大学t 学硕十学位论文 t os e l e c tl o c a lr e g i o n sa c c o r d i n gt oi t se d g i n e s s ( v e s s i m ) e x p e r i m e n t a lr e s u l t s s h o wt h a to u rm e t r i ch a sg o o dc o r r e l a t i o nw i t hp e r c e i v e dv i s u a lq u a l i t ya n dc a n a v o i dt h ed e f e c t so ft h eo r i g i n a la l g o r i t h mm e n t i o n e da b o v e k e y w o r d si m a g eq u a l i t ya s s e s s m e n t ；s t r u c t u r a ls i m i l a r i t y ；s t r u c t u r a li n f o r m a t i o n e x t r a c t i o n ( s i e x t ) ；e d g es t r u c t u r a ls i m i l a r i t y ( e s s i m ) ；h u m a nv i s u a ls y s t e m ( h v s ) i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：望士堂拘 导师签名： 第1 章绪论 第1 章绪论 1 1 研究背景及意义 视频图像信息由于其直观、生动、形象而深受人们的喜爱，然而由于数据 量巨大而不便于存储和传输。近年来，编解码技术、计算机硬件和通信技术的 发展使得高效处理和传输视频图像成为可能。因此，多媒体通信变得日益广泛， 深入到了人类生活的各个方面，如数字电视、可视电话、视频会议、安全监控 岔占 号宇。 然而，视频图像在采集、压缩、处理、传输和恢复的过程中可能会引入各 种失真。例如，相机在采集数据时，由于光学、传感器噪声、色彩校正、曝光 控制、镜头移动等原因会引起失真。采集后，为了减少传输或存储所需的资源， 常需用压缩算法处理，而压缩算法为了达到更大的压缩比通常会允许一定程度 的失真。数据通过有损信道传输时的比特误差也可能引入失真。此外，显示设 备由于分辨率低、校准不好等原因也会引起失真。显然，视频图像的采集、处 理和传输等系统经常需要测量图像的质量，以便于优化系统，用最少的资源提 供最好的视觉质量。 视频图像质量的评价既可采用主观方法【i 】，即由人来评价，又可采用客观 方法，即由算法自动地评价。视频图像的最终观测者是人，从这一点上讲，主 观方法是最可靠的。但是，主观方法需多次重复实验，费时费力，且易受观测 者个人因素的影响，很难应用于实际。更重要的是，主观方法无法嵌入到应用 系统中，优化系统的算法或参数设置。因此，很需要能自动、高效地分析图像 质量的客观算法，并且算法的评价结果应足够符合人的主观感受。 传统的客观方法主要有峰值信噪 = l ( p e a ks i g n a lt on o i s er a t i o ，p s n r ) 和均 方误差( m e a ns q u a r ee r r o r , m s e ) 等。它们虽然有着计算简单、物理意义明确、 数学上便于优化等优点，但仅仅是对像素点间误差的纯数学统计，将所有像素 点同等对待，没有考虑到像素点间的相关性和人眼视觉系统( h u m a nv i s u a l s y s t e m ，h v s ) 的感知特性，在很多情况下不够符合人的主观感熨2 。 鉴于主观方法和传统客观方法的不足，很有必要研究更贴近于人的主观感 受的客观方法。 客观评价方法在广泛的应用领域中扮演了重要的角色，如采集、压缩、传 输、重建、显示、打印、增强、分析、和水印等。一般可分为以下三个方面i j ： ( 1 ) 监控( m o n i t o r ) ：在质量控制系统中实时地监控图像质量。例如，视频 图像采集系统可使用客观评价算法来监测采集图像的质量，并据此自动调节， 使图像的质量达到最佳。 北京工业大学工学硕士学佗论文 ( 2 ) 优化( o p t i m i z e ) ：嵌入到视频图像处理系统中，优化系统或算法的参数 设置。例如，在视频通信系统中，可用客观评价算法优化编码器的预滤波和比 特分配算法，解码器的重建、容错和后滤波算法。 ( 3 ) 基准( b e n c h m a r k ) ：作为比较视频图像处理系统或算法优劣的基准。例 如，对于特定任务有多个处理系统可供选择时，可用客观评价算法辅助判断哪 个系统处理图像的质量最佳。 1 2 客观评价的目标 将图像应用于不同目的时，质量的含义会略有差异。例如，当人欣赏图像 时可能更注重图像的自然性与优美性，而当机器“观看”图像( 机器视觉) 时可 能更注重物体的可辨识性，虽然对于人类视觉质量较高的图像通常对于机器视 觉质量也较高，反之亦然。本文主要从人类视觉的角度探讨图像质量的问题， 因此，本文研究的客观评价的目标是设计能够“自动 估算视频图像“感知质 量 的算法。这里有两方面的含义：一方面是自动，即不需要人的干预；另一 方面是预测“感知质量”，即要与人的主观感受尽可能一致。事实上，有着不同 经历的人带着不同的目的观看同一幅图像时，感知的质量可能有较大差异。主 观的不确定性也一定程度上导致了客观算法的无所适从。 另一方面，按照应用的范围，客观算法可分为专用算法和通用算法。专用 算法用于评价某种特定失真类型的图像，如d c t 变换造成的块失真或基于小波 变换的压缩算法所引起的失真。专用算法假定已知图像的失真类型，可以在很 大程度上简化算法的设计，并且可以有相对更高的准确性。但是，专用算法对 失真类型的假定也限定了其应用范围，当图像的失真类型与算法假定不符时通 常有较大误差。通用算法并不假定图像的失真类型，设计时通常使用h v s 的“通 用”特性，目标是要足够灵活，可用来评价各种失真类型的图像，因此有更广 的应用范围。但由于失真类型的不确定性，通用算法的设计难度要大于专用算 法，且在评价专用算法假定失真类型图像时的准确性通常小于专用算法。本文 关注的重点是通用算法。 1 3 国内外研究现状 1 3 1 研究现状概述 在m a n n o s 和s a k r i s o n 关于图像质量客观评价的开创性工作 4 1 后，相关的研 究随着多媒体通信技术的发展受到了日益广泛的关注。 由于客观评价的首要目标是要尽可能与人的主观感受一致，一种自然的想 法就是模拟h v s 对视觉信号的处理过程。事实上，在过去的几十年中，国内外 学者的研究正是沿着这一思路进行的【5 2 ，本文将此类方法归类为基于h v s 特 性的方法。此类方法首先要通过生理心理学实验获得h v s 的前端特征构建视觉 第1 荦绪论 模型。但是，h v s 的内在复杂性使得其很多机制难以精确测量和模拟，也导致 此类算法的本质复杂性。在一些严格的测试中，此类方法的表现经常不尽人意， 与p s n r 等传统方法相比效果并没有显著改善，或是未能达到代替主观评价的 程度【2 2 2 6 1 。 由于基于h v s 特性方法的种种不足，近年来一些学者开始寻求新的途径。 其中，一种重要的思路就是从功能上模拟h v s ，即将h v s 当作一个黑盒系统， 不考虑其内部组成结构，而是模拟其输入输出。z h o uw a n g 等【2 7 3 4 1 提出的结构 相似性理论认为h v s 的主要功能是从视野中提取结构信息，可以用对结构信息 的度量作为图像感知质量的近似。结构相似性理论的实现结构相似度( s t r u c t u r a l s i m i l a r i t y , s s i m ) 指数从图像组成的角度将结构信息定义为独立于亮度、对比度 的，反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不 同因素的组合。由于s s i m 算法简单、准确性较好，提出后受到了国内外学者 的广泛关注，已被应用到一些相关的领域【3 5 4 。基于信息论的方法【4 2 。4 7 1 从另一 个角度模拟h v s 的功能，将失真过程建模为一个有损信道，认为待测图像是参 考图像通过这个信道而得到的，从而将视觉质量与参考图像和待测图像之间的 互信息联系起来。此方法准确度高，但运算量较大，较难应用于实际，有待于 进一步减小运算复杂度。 1 3 2v q e g 及其测试结果 19 9 7 年lo 月，视频质量专家组v q e g ( v i d e oq u a l i t ye x p e l sg r o u p ) = j 在意 大利都灵成立，成员主要来自于i t u rs g l l ，i t u ts g 9 和i t u ts g l 2 。 v q e g 的主要工作是研究视频质量客观评价方法，并向相关标准化组织推荐性 能突出的方法作为候选标准。 2 0 0 0 年3 月，v q e g 完成了f r - t vp h a s ei 的测试【2 3 也引。测试结果表明， 包括p s n r 在内的8 个模型中，有6 个模型的性能和p s n r 统计上相当，没有 哪个模型优于其它模型。另外一个模型的性能统计上低于其它模型。因此， v q e g 认为没有哪种客观评价方法能够替代主观评价，也未向i t u 推荐任何模 型作为建议提案，此次测试最大的收获是整合并发布了测试数据集来帮助以后 客观评价方法的发展。 2 0 0 3 年8 月，v q e g 完成了f r t vp h a s ei i 的测试【2 6 1 。测试结果表明，表 现最好的模型的性能显著高于p s n r 。但是，若根据v q e gp h a s ei 比较模型性 能的标准，在5 2 5 线制式数据的测试中完成测试的6 个模型的性能相当，在6 2 5 线制式数据的测试中所有模型的性能相当( 注：5 2 5 线制式数据的测试中，有两 个模型未完成测试) ，还是无法区分出更好的模型。根据补充的方差分析 ( a n o v a ) ，5 2 5 线制式数据的测试中表现最好的两个模型性能相当，6 2 5 线制 式数据的测试中表现最好的四个模型性能相当，并且优于各自测试中的其它模 北京工业人学丁学硕士学位论文 型。根据f 统计量，没有模型与完美模型( 即能完全准确预测人的主观评价的模 型) 性能相当，即还没有模型能代替主观评价。在此次测试中两种制式下表现都 是最好的模型n t i a 的v q m 成为i t u tr e c j 1 4 4 ( 2 0 0 4 ) 和i t u rr e c b t 1 6 8 3 ( 2 0 0 4 ) 两个标准的基础。 值得注意的是，虽然在v q e gp h a s ei i 的测试中有很多模型的性能优于 p s n r ，并且有模型被推荐给i t u 的标准，但是测试结果仍需慎重对待。事实 上，v q e gp h a s ei i 的测试中，如果按照p h a s ei 区分模型的标准仍然无法区分 出更好模型，在使用了p h a s ei i 的补充a n o v a 分析后才区分出了较优的模型， 这事实上也说明了区分模型的准则还处于发展中，有待进一步研究。另一方面， p h a s ei i 的测试序列集的内容多样性要小于p h a s ei ，这也降低了p h a s ei i 测试结 果的可信度，并且测试结果的数值与p h a s ei 不具可比性。 v q e g 两个阶段测试的价值主要体现在三个方面： ( 1 ) 建立了一个具有可靠主观分数、充足样本的视频序列库，对未来视频 质量客观评价的研究具有重要价值。 ( 2 ) 对客观评价算法有效性的验证建立了一套系统的方法，目前这些方法 已经成为学术界广泛接受的标准。 ( 3 ) 测试结果有效地揭示了客观评价方法的发展进程，为今后的研究指明 了方向。 1 4 本文主要研究内容 主观评价方法费时费力，而传统的客观评价方法不够符合人的主观感受， 因此，本文的研究重点是更贴近于人的主观感受的客观评价方法。 由于h v s 的很多内在机制尚不清楚，而且模拟h v s 处理视觉信号的过程 也有很多固有缺陷。而基于信息论的方法由于模型的参数估计导致运算量巨大。 因此，本文将研究的重点放在基于结构相似性理论的全参考视频图像质量客观 评价方法上。 本文深入研究了结构相似性理论，s s i m 及其在图像质量评价方面( m e a n s t r u c t u r a ls i m i l a r i t y , m s s i m ) 和视频质量评价方面( v i d e os t r u c t u r a ls i m i l a r i t y , v s s i m ) 的应用算法，并分别提出了改进。 在图像质量评价方面，本文将结构信息重新解释为图像中能量足够大的中 高频成分，从新的角度将s s i m 理解为一种更好的局部误差度量方式。提出一 种基于结构信息提取( s t r u c t u r a li n f o r m a t i o ne x t r a c t i o n ，s i e x t ) 的图像质量评价方 法，将图像中的结构信息分离出来给予较大的权重，并用s s i m 作为局部失真 的度量。实验结果表明，s i e x t 比原方法和p s n r 等方法有更好的准确性。 在视频质量评价算法方面，由于视频序列数据量巨大，v s s i m 采用了随机 选取局部抽样区域的方式减小运算量，但随机选取无法保证对同一序列算法每 第l 章绪论 次运行都给出完全相同的结果。由于人眼对图像中的边缘或轮廓信息更加敏感， 特别对于运动序列，因此，本文认为边缘是一种很重要的结构信息，提出了按 照边缘度选取局部抽样区域的算法( v i d e oq u a l i t ya s s e s s m e n tb a s e do ne d g e s t r u c t u r a ls i m i l a r i t y , v e s s i m ) 。实验结果表明，本文的算法准确度更高，且避 免了随机算法每次不能给出完全相同结果的弊端。 1 5 本文结构 本文主要研究了视频图像质量评价的结构相似性理论和s s i m 指数，分别 对其用于图像、视频质量评价时的算法作出改进，并通过实验分析比较了原算 法、改进算法以及其它典型算法的性能表现。各章内容安排如下： 第1 章：绪论。介绍了视频图像质量客观评价的研究背景和意义，以及国 内外的研究现状。 第2 章：视频图像质量评价综述。介绍了视频图像质量的主观评价方法， h v s 的特性，以及全参考、部分参考和无参考的客观评价方法。 第3 章：客观评价方法的验证。介绍了验证客观评价方法有效性的常用方 法。介绍了根据应用需求选择客观算法时应考虑的问题。 第4 章：结构相似性理论和s s i m 指数。介绍了结构相似性理论和s s i m 指数，以及s s i m 在图像、视频质量评价中的应用。分析了s s i m 的对比公式、 分解依据及各分量的重要性。 第5 章：基于结构信息提取的图像质量评价。介绍了m s s i m 已有的一些 改进算法。详细论述了本文对m s s i m 的一种改进实现。实验分析了m s s i m 、 m s s i m 已有的改进算法、本文的改进算法以及其它典型算法的性能表现。、 第6 章：基于边缘结构相似性的视频质量评价。详细论述了本文对v s s i m 的一种改进实现，实验分析了本文的改进算法与原算法及其它典型算法的性能 表现。 第2 章视频图像质量评价综述 本节分别从主观和客观两个方面介绍视频图像质量的评价技术。从对参考 图像信息需求程度的角度，客观方法可分为3 大类：全参考方法( f u l l r e f e r e n c e f r ) 、部分参考方法( r e d u c e d r e f e r e n c e ，r r ) 和无参考方法( n o r e f e r e n c e ，n r ) 。 传统上最常用的m s e 和p s n r 属于全参考方法的范畴。为了使评价结果更符 合人的主观感受，大部分客观方法都从不同的角度模拟h v s ，或是引入h v s 的特性。在介绍客观方法时，首先分析m s e 和p s n r 的不足，接着介绍h v s 的感知特性，最后从全参考、部分参考和无参考三个方面介绍典型的客观方法。 2 1 主观方法 主观评价在一定测试条件下由多个观测者对待测图像的质量进行评分，然 后对大量的评分数据进行统计学处理。评价结果有两种表达方式：一种是绝对 评分表达m o s ( m e a no p i n i o ns c o r e ) ，即表示待测图像的绝对质量；另一种是差 值表达d m o s ( d i f f e r e n c em e a no p i n i o ns c o r e ) ，即表示待测图像与参考图像质 量的差值。根据不同的应用需求，有不同的测试条件。标准i t u rr e c b t 5 0 0 t 1 】 定义的正式主观评价方法中，建议了标准的观测环境、观测者的选择、测试序 列的选择、评价过程和分析方法等。下面给出了两种更常用的主观评价方法。 ( 1 ) d o u b l es t i m u l u sc o n t i n u o u sq u a l i t ys c a l e ( d s c q s ) 观测者观看参考序列和待测序列组成的“视频对”，参考序列和待测序列的 显示顺序随机，观测者对每个“视频对 中两个序列的质量都评分。测试过程 中，先将测试“视频对”显示一次或多次，使观测者得到对序列的主观认识， 再将测试“视频对”显示一次或多次以进行评分。对于静止图像，每幅图像显 示3 4 秒，重复5 次( 最后两次用于评分) 比较合适。对于视频序列，每段序列显 示1 0 秒，重复两次比较合适。观测者给出的分数采用如图2 1 所示的从“优” 到“坏”的5 级质量尺度。分析时基于每个“视频对 参考序列和待测序列的 分数差，通常根据一个等价的o 1 0 0 问的数值计算。 优千孚1 ? 王王 差 ll 牟 ll 北京丁业大学t 学硕十学位论文 ( 2 ) s i n g l es t i m u l u sc o n t i n u o u sq u a l i t ye v a l u a t i o n ( s s c q e ) s s c q e 只播放待测的视频序列，且持续时间较长，通常为2 0 3 0 分钟。观 测者持续对待测序列评分，评分的质量尺度与d s c q s 一致，最后从一系列的 评分中得到一个统计数据，得分不仅考虑分值的大小，还要考虑评分的时间。 ( 3 ) d s c q s 和s s c q e 的比较 d s c q s 是实际评测中应用最多的主观评测方法，能表示视频间细微的质量 差别，能够最大程度地降低图像场景、情节等对主观评测的影响，更适用于待 测序列和参考序列质量差别不大的情况。 由于人的记忆力有限，d s c q s 的评分会更倾向与依赖最后1 0 2 0 秒的视频 质量，因此不适合评价长度大的视频序列。d s c q s 中参考视频的使用、序列的 重复等测试条件都不同于实际的家庭观看环境，这给观测者进行准确评分带来 了一定困难。 s s c q e 是针对以上d s c q s 的问题设计的，能够较好地评价视频质量具有 时变特性的压缩系统，但是待测序列的内容对实验结果有较大的影响，并且由 于缺少参考视频，无法准确的对不同s s c q e 实验的评分进行比较。 ( 4 ) 主观评价的优缺点 人是图像的最终观看者，因而主观评价是最可靠和有效的，客观评价无法 与之比拟。主观评价不仅适用于传统的模拟系统，也适用于数字系统，给出的 质量值能准确地反映各种静态和运动图像质量。此外，主观评价也是研究客观 评价的基础。 。 然而，主观评价也有许多的不足：需要大量的观测者，评价过程繁琐，人 力和物力投入大，耗时长，且容易受到很多因素的影响，如：亮度条件、显示 设备、观测距离、观测者的视力、观测者对图像内容的喜好、适应性效应、疲 劳效应和不同观测者之间分数的校正等，结果的稳定性和可移植性较差。最重 要的一点是不能嵌入到实际的系统中，应用范围很有限。 2 2 传统的客观方法 m s e 的表达式为： m s e 2 击萎v - i 萎n - i 叭训) 一m 硝( 2 - 1 ) 其中，m 、为图像的高与宽，f ( x ，y ) 和( x ，y ) 分别表示参考图像和待测图 像中点( x ，y ) 的像素值。p s n r 本质上与m s e 相同，表达式为 p s n r = 1 0 1 9 志 ( 2 2 ) 三为图像的最大灰度级，对于8 位图像( 即2 5 6 灰度级) 的图像，三取2 5 5 。 第2 章m 镕目像i 计价综4 m s e 和p s n r 有着计算简单、物理意义明确等优点，但是在很多情况下并 不符合人的主观感受闭。图2 - 2 给出了一个m s e 失效的典型例子。图( 曲是原始 图像，图( b ) 一( 0 为图( a ) 经过不同失真处理得到的图像，并图像的m s e 值相等。 显然各失真图像的视觉质量有较太差异，图( b ) 、( c ) 和( d ) 的视觉质量显然好于图 ( e ) 和( 0 ，特别是对比度拉伸处理过的图( b ) ，视觉质量有提高的趋势。 ( a ) 原始l e n a 圈像 5 1 2 x 5 1 2 8 比特，像素 ( b ) 对比度拉伸图像 ( c ) 高斯噪声污染图像 棚) 椒盐噪声污染图像 ( 0 模糊失真图像( oj p e g 压缩失真图像 图2 - 2 m s e 失效的例子 f i g u r e2 - 2f a i l u r eo fm s e 图2 3 给出了一个p s n r 失效的典型例子。在图像的不同区域加入加入同 等数量的噪声，图( a ) 是原始图像，图在较为平坦的天空区域加入噪声，图( c ) 在细节较为丰富的海岸区域加入噪声。虽然( b ) 、( c ) 两幅图像的p s n r 值相等， 但视觉效果却有显著差异。显然图( c ) 的视觉效果好于图，几乎感觉不到失真。 m s e 和p s n r 在很多情况下失效的一个重要原因是它们仅考虑了参考图像 和待测图像间点对点的绝对误差，未考虑图像空域像素点间的相关性，也未考 虑误差的正负，例如，给图像的每个像素点加上固定的正值误差和绝对值固定 但正负随机的误差时，m s e 和p s n r 值相同，但视觉效果会有极大差异。另一 方面，人眼看到的图像并非是孤立的像素点，而是许多局部像素共同作用形成 北京i 业 学工学碗学位* z 的边缘、纹理等成分。同样的失真发生在不同区域时会有皆然不同的视觉敏感 度，例如人眼对平坦区域的噪声很敏感而对边缘纹理区域的噪声却很难察觉。 又如，人眼对图像中前景区域的失真比对背景区域的失真更敏感。事实上，一 些压缩算法将图像的前景和背景区域分别编码，对背景区域使用更大的压缩比 而较少降低视觉质量。为了更准确地反映人的主观感受有必要在客观算法中 引入h v s 的特性。 ( 町原始图像( b ) p s n r = 3 2 d b0 ) p s n r = 3 2 d b 留2 - 3p s n r 失散的例子 f i g u r e2 - 3f a i l u r eo f p s n r 2 3 h v s 的特陛 通过对人眼某些视觉现象的观察并结合视觉生理、心理学的实验，人们发 现了h v s 的很多特性。本节主要介绍与图像感知质量的相关视觉特性。 23 l 对比度敏感度 对比度是对亮度相对变化的一种量度。对比度敏感度是指人眼分辨亮度差 异的能力，受到很多条件的影响，如周围环境的亮度、临近区域亮度的变化等。 空间频率不同时对比度敏感的响应也不同。对比度敏感度一般用对比度敏感 度函数( c o n t r a s ts e n s i t i v i t yf u n c t i o n , c s f ) 来描述，定义为人眼刚好能分辨差异 时的调制度随空间频率的变化，与临界对比度( 也称为视觉闽值) 互为倒数。 不同实验得到的c s f 虽略有不同，但基本上都认为具有带通滤波器的性 质，在高低频端敏感度下降。公式( 4 ) 是一种常用的c s f 函数形式，由m a l n o s 和s a k r i s o n s 5 i 提出， 第2 章视频图像质量评价综述 a ( o = 2 6 x ( 0 0 1 9 2 + 0 1 1 4 f ) e x p - ( o 1 1 4 f ) 】( 2 3 ) 式中= 山了巧为空间频率( 周期度) ，五、乃分别为水平、垂直方向的空间频 率。函数曲线如图2 所示。从图中可以看出c s f 曲线在中频区域表现出较为敏 感的特性，在低频和高频区域，敏感度有所下降。h v s 的对比度敏感特性使得 人眼在观看图像时产生一种边缘增强的感觉，即侧抑制效应。 图2 - 4c s f 特性曲线 f i g u r e2 - 4c o n t r a s ts e n s i t i v i t yf u n c t i o n 2 3 2 多通道结构 视觉皮层神经元细胞对不同颜色、频率、方向的视觉信息有着不同的敏感 度，功能上相当于一组有方向的带通滤波器。它们将视网膜上的图像分解成一 组若干个方向、空间频率和时间频率带宽均有限的信号( 即通道) ，再分别进行 处理。这些通道之间相互作用影响，以产生最佳视觉。 2 3 3 掩盖效应 掩盖效应是指一个激励的出现会影响另一个激励的可见性，主要有以下几 种： 对比度掩盖，人眼对失真的敏感度在非常亮或非常暗的区域下降。 纹理掩盖，人眼对边缘、纹理区域中噪声的敏感度较平坦区域小。 运动掩盖和切换掩盖，当视频序列有高速运动或发生场景切换时，人眼对 失真的敏感度降低。 2 3 4 几种敏感特性 ( 1 ) 对边缘敏感。人眼对图像边缘、轮廓的失真更敏感。 ( 2 ) 对方向敏感。视觉通道中神经元的方向敏感性，使得人眼对不同方向 上的图像细节信息具有不同的敏感度，对水平方向和垂直方向上的细节敏感度 大于其它方向的敏感度。 北京t 业大学t 学硕士学位论文 ( 3 ) 对亮度信息比对色度信息敏感。h v s 的敏感性是非均匀的，对亮度的 分辨能力比对色度的分辨能力高很多。因此，将亮度和色度信息分开编码，用 更多的b i t 表示亮度分量，可在不引起较大感知失真的情况下大幅减小数据量。 此外，研究还表明，人眼对图像纹理细节的敏感度与它所处的背景亮度有 关，对高、低亮度背景中的纹理细节，人眼敏感度较低。 2 4 全参考方法 全参考方法要求获得完整的参考图像，通过将待测图像和参考图像作对比 得到待测图像的质量。准确的讲，这种方法得到的并不是真正的图像质量，而 是图像的相似度或保真度。以往的大部分研究集中在全参考方法上。但是，现 有的全参考方法大多计算相当复杂，且在不同程度失真、多种交叉失真情况下 的准确率还有待严格验证。因此，全参考方法仍有待进一步研究。 目前的全参考方法主要有基于h v s 特性的方法、基于结构相似性的方法和 基于信息论的方法等。传统的客观评价方法m s e 、p s n r 也属于全参考的范畴。 2 4 1 基于h v s 特性的方法 为了使评价结果与人的主观感受一致，一种自然的思路就是模拟h v s 对视 觉信号的处理过程，本文将此类方法归类为基于h v s 特性的方法。此类方法主 要根据生理心理学实验得到的h v s 前端特征构建视觉模型。下面给出了此类方 法的一般框架和典型算法。 2 4 1 1 一般框架 通误误 l 参考图像卜 预 c s f j 质量失 _ - - 道 差差 i 处 滤 - 呻 分量合真评价 l 失真图像卜+ 理波 解化并 i 图2 5 基于h v s 特性方法的一股框架 f i g u r e2 - 5g e n e r a lf r a m e w o r ko fh v sb a s e dq u a l i t ya s s e s s m e n ts y s t e m 大部分基于h v s 特性的方法都可以用如图2 5 所示的框图表示，虽然细节 可能不同。处理步骤包括：预处理、c s f 滤波、通道分解、误差量化和误差合 并等步骤。预处理过程中算法根据需要对图像做各种的处理，例如：将图像缩 放对齐、变换到彩色空间、通过非线性变换将像素点的数值转算法换为亮度值、 用低通滤波器模仿点扩散函数( p o i n ts p r e a df u n c t i o n ，p s f ) 。c s f 滤波模拟h v s 对不同时域、空域频率的敏感度，有时也放在误差量化之后进行。通道分解将 图像分解为对时域、空域的频率、方向敏感的子带( 通道) 。误差量化将误差根 第2 苹视频图像质黄评价综述 据其在不同通道中的可见性加权，模拟了h v s 的掩盖效应。误差合并将图像空 域范围内所有误差合并为单一值，一般采用m i n k o w s k i 的形式。 由于h v s 的很多特性、机制目前尚不清楚，此类方法只模拟了h v s 的部 分功能。此类方法基于的心理学实验大都设计在恰视差( j u s tn o t i c e a b l e d i f f e r e n c e ，j n d ) 附近，这也导致了此类算法在失真远离恰视差情况下的准确率 通常较低。由于h v s 是一个