（电路与系统专业论文）部分参考pevq视频质量评价模型的研究.pdf

摘要 摘要 2 0 1 0 年3 g 商用进程加快，3 g 业务中的可视电话被认为是最具特色的业务 之一，提高可视电话的视频质量一直是国内运营商努力的方向，用户对可视电 话服务质量的感知体验直接关系着3 g 产业链的发展，视频质量评价给运营 商、生产厂商及销售商的运营网络的服务质量和手机终端产品质量一定的理论 依据和应用价值。 本文首先综述目前无线视频的应用情况，分析当前国内外的各种视频质量 主客观评价技术以及当前运营商所采用的视频质量评价方法，从中概括出现有 评价体系的不足与难点。其次，着重介绍联芯科技的l c 6 3 1 1 + 模块，在此模块 上进行二次开发，通过把标准测试视频代替摄像头采集的视频数据发送出去， 并在收端把码流保存下来的方式，获得t d ( t d - s c d m a ) 网络中的真实的源 视频序列和接收端的劣化视频序列。另外，从实验结果来看，视频在传输中丢 失不少帧，本文提出一种对齐算法来对齐这部分视频。最后，针对国际电信联 盟( r r u ) 推荐的视频质量评价算法p e v q ( p e r c e p t u a le v a l u a t i o no f v i d e oq u a l i t y ) 评价方法进行研究，该方法是基于人类视觉感知的模型，具有较高的主观相似 度。通过分析p e v q 的原理，提出新的r r p e v q 模型，r r p e v q 模型是基 于部分参考的评价模型，实用性大为提高。最后，对新提出的r r p e v q 模型 进行性能测试，结果表明与p e v q 评价分数有较好的相似度，且实用性大大提 高。 本文所研究的视频质量评价方法采用在线方式，稍作调整即可应用于路测 系统，模型的性能仍然有提高的空间，这在今后的工作中可以做进一步的研 究。针对真实场景中劣化的形态，可以进一步的针对这些特征形态改进模型， 这是以后需要研究的方向。 关键词视频质量评价；r r p e v q ；部分参考： a b s t r a c t 3 gr e c e i v e dag r e a td e v e l o p m e n tl a s ty e a r , a m o n ga l lk i n d s o f3 gs e r v i c e s ，v i d e o t e l e p h o n ei sc o n s i d e r e dt ob eo n eo ft h em o s tu n i q u es e r v i c e s d o m e s t i co p e r a t o r si s t r y i n gt h e i rb e s tt oi m p r o v et h ev i d e oq u a l i t yv i d e o p h o n e ，t h eu s e rp e r c e i v e dq u a l i t y o fv i d e ot e l e p h o n ys e r v i c e sd i r e c t l yr e l a t e dt ot h ed e v e l o p m e n to f3 gi n d u s t r yc h a i n ， v i d e oq u a l i t ya s s e s s m e n to f f e rat h e o r e t i c a lb a s i sa n da p p l i c a t i o nf o ro p e r a t o r s ， m a n u f a c t u r e r sa n dq u a l i t yo fm o b i l ep h o n e t h i sp a p e rf i r s tr e v i e w st h ec u r r e n tu s eo fw i r e l e s sv i d e o ，a n a l y z et h ec u r r e n t d o m e s t i ca n df o r e i g nv a r i o u ss u b j e c t i v ea n do b j e c t i v ev i d e oq u a l i t ya s s e s s m e n t t e c h n i q u e sa n dt h ev i d e oq u a l i t ye v a l u a t i o nm e t h o du s e db yt h ec u r r e n to p e r a t o r s ， s e c o n d , w ei n t r o d u c et h el c 6 3 1 1 + m o d u l ew h i c h i s p r u d u c t c db yl e a d c o r d c o r p o r a t i o n , w ed e v e l o pt h el c 6 3 1 1 + a n dg e tt h er e a lv i d e os e q u e n c e ，i n s t e a do f a r t i f i c i a lv i d e os e q u e n c ea n di t st h ei d e a lw a yt ot h es o u r c ev i d e os e q u e n c ea n d v i d e os e q u e n c er e c e i v i n ge n do fd e g r a d a t i o n i na d d i t i o n ，t h ee x p e r i m e n t a lr e s u l t s s h o wt h a tal o to ft h ev i d e of r a m ei sl o s td u r i n gt r a n s m i s s i o n ，t h i sp a p e rp r e s e n t sa m e t h o dt oa l i g nt h ea l i g n m e n to ft h i sp a r to ft h ev i d e o f i n a l l y ，t h ei n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ( r r 哪r e c o m m e n d e db yt h eo b j e c t i v ev i d e oq u a l i t y a s s e s s m e n ta l g o r i t h m ，o n eo ft h ep e v qe v a l u a t i o nm e t h o di su s e d t h em e t h o di s b a s e do nam o d e lo fh u m a nv i s u a lp e r c e p t i o n ，w i t hh i g hs u b j e c t i v es i m i l a r i t y b y a n a l y z i n gt h ep e v qp r i n c i p l e ，w ep u tf o r w a r dan e wr r - p e v qa s s e s s m e n t , r r - p e v qi sb a s e do nt h ee v a l u a t i o no fr e d u c e d r e f e e n c ea s s e s s m e n t , a n di t sm o r e p r a c t i c a l f i n a l l y ，t e s tt h er r - p e v qa s s e s s m e n t , r e s u l t ss h o wt h a tt h ea s s e s s m e n ti s s i m i l a rt op e v qa s s e s s m e n ta n dg r e a t l ye n h a n c et h ep r a c t i c a l i t y t h i sp a p e rs t u d i e dt h ev i d e oq u a l i t ye v a l u a t i o nm e t h o do fo n l i n ea n di t 啪b e a p p l i e dt or e a lt e s ts y s t e ma f t e rs o m ea d j u s t m e n t s ，t h ep e r f o r m a n c eo f t h em o d e lt h e r e i ss t i l lr o o mf o ri m p r o v e m e n t ，w h i c hr e q u i r es o m ed e e p e rr e s e a r c h r e f e rt ot h e d e t e r i o r a t i o ni nt h er e a lu s e ，t h ea s s e s s m e n tc a nb ef u r t h e ri m p r o v e d ，a l s ot h i si st h e d i r e c t i o no ff u t u r er e s e a r c h k e yw o r d s v i d e oq u a l i t ya s s e s s m e n t ；r r p e v q ；r e d u c e d r e f e r e n c e i t l 第一章绪论 1 1 研究背景及意义 1 1 1 无线视频的应用 第一章绪论 2 0 1 0 年3 g 移动通信网络迅速普及，4 g 无线网络建设也被提上日程，各种 4 g 终端已经大量的上市，无线网络速度迅速提升。无线网络速度的提升带给民 众更佳的通讯体验，各类视频点播，视频通话，视频会议也越来越多的在现实 生活中得到应用，人们充分享受到科技进步带来的便利。然而无线网络不同于 有线网络，无线视频在采集，编码，传输过程中或多或少的会存在劣化，尤其 是传输中的各种信道噪声干扰已经严重影响到视频质量。为了得到更好的实时 性，许多视频应用采用电路域传输。无论客观评价如何发展，视频质量的好坏 最终还是取决于用户或消费者对于视频图像的主观感受，因此决定对数字图像 与视频质量评估技术的研究就是为贴近用户的主观感受。现实生活中的各种视 频系统的性能和各种有线无线的视频传输信道的服务质量q o s ( q u a l i t yo f s e r v i c e ) 最终均体现在视频质量上，所以数字视频质量评价在视频压缩、处理以 及多媒体服务领域中起着十分重要的作用。通过对视频质量的监测，人们可以 根据评估的视频质量给出反馈信息来及时的调节编解码器或信道的参数，从而 保证视频系统的服务质量；另外对还可以针对各种编解码器的输出质量给出合 理的的考量，有利于评估和优化编解码器的性能；统一的视频客观质量评价标 准还有助于设计、制造符合人类视觉感知特性的图形图像显示系统；构建标准 的评价的平台，对各种视频系统及编解码系统进行评估，些显示设备开发商可 以在有限的资源条件下设计一套处理质量最好的系统，这就更加需要有合理的 质量评价指标作为指导标准。另外，国内的各大运营商至今仍缺少评价其视频 电话服务质量的标准，急需要制定一个标准。 1 1 2 无线视频质量评价方法概述 从评价方法上来说，图像视频的质量评价方法可以统一分为主观评价与客 部分参考p e v q 视频质量评价模型的研究 观评价两大类。由于人是所有多媒体信息的感受者，因此评价上以人类主观质 量评价的准确度最高。主观质量评估的一般做法是选择一批非专家类型的受测 者，让他们在一个特定的良好的环境中连续观看一系列的测试视频，受测者对 所观看视频的质量进行评分，最后求得平均判分m o s ( m c a no p i n i o ns c o r e ) 或 d m o s ( d i f f e r e n t i a lm e a no p i n i o ns c o r e ) 。影响最后得分的因素包括：背景光 照、观看距离、显示设备、测试序列的选择、待测视频显示时间间隔等。客观 评价则非常简单，通过软件或仪器对视频图像的质量进行自动评价即可。 主观评价固然准确，但需要很多人力。在现实应用中，客观评价模型更具 有实用价值，因为视频图像已成为新一代无线网络的主体业务，大量的视频图 像需要在系统设计、性能衡量以及运营维护中得到准确、客观的评价。主观方 式需组织一定人员按一定规则进行操作，其流程十分繁琐费时，需要消耗巨大 的人力资源不说，其评价结果易受外界环境、主观因素及个人情绪的影响，也 不适合日益迫切的实时、随时的评价的需求。此外，新一代无线网络的性能不 仅要求网络对视频图像业务的强大支持，还要求能够准确检测、评价及调度不 同等级视频业务，针对无线视频及图像的客观质量评价的研究正是实现上述要 求的前提，因此，研究能取代人眼进行准确、客观、甚至实时的通用无线视频 质量评价模型具有重要的研究意义。 1 1 3 无线视频质量评价现状及发展 现今，主观评价仍然在评价无线视频系统被大量运用。据悉，国内的运营 商如中国移动、电信、联通在其3 g 视频电话路测过程中，仍然只是简单的用 人眼观测来评价而没有采用客观的评价手段。然而主观测试固有的局限性，导 致其不适合在生产、运行和维护等场合使用。测试过程不仅费时费力，检测结 果较难符合客观性、可重复性和数值性等应用需求。传统意义上评价模拟或数 字视频质量的本质就是观察者对所接收到的画面的满意程度。传统的方案中直 接用测量静止测试图像失真的方式来评价模拟系统和全带宽数字视频系统，即 通过发送静止的测试图像( 电视台常用方格图) 来获得信号，再进行失真情况 分析，从而得到视频的质量情况。现今的视频传输都采用压缩码流，因此视频 质量的评价不能采用传统方案，压缩码流的图像质量会随着压缩码率大小、画 2 第一章绪论 面结构复杂度和采用的编码算法的不同而变化，但是静止的测试图像不能完全 反映视频质量的所有特性，所以需要使用比静止测试图像更复杂的实际场景来 体现压缩视频子系统的这种属性。虽然在视频及图像的自动评价领域存在着诸 多技术难题，但是市场需求总会吸引众多的国内外研究机构和企业投入大量的 人力、物力开展该领域的研究。 在过去的二十年中，人们提出许多方法来评价图像质量，视频质量评价方 法较少。其中最简单的方法是用一些简单的数学统计量来表征图像质量，最常 见的统计量是均方误差( m s e ，m e a ns q u a r e de r r o r ) ，以及由它派生出来的信噪 比( s n r ，s i g n a ln o i s e r a t i o ) ，峰值信噪比( p s n r ，p e a ks i g n a ln o i s er a t i o ) ，均方 根误差( r m s e ，r o o t m e a ns q u a r e de r r o r ) 等。这类方法具有简单、易于实现等优 点，物理意义明确，已经成为现今流行的评价算法的基础理论，许多研究理论 是在上面的几个参数中改进和发展，在很多应用中还被广泛使用。这些参数并 没有太多没有加入对人类的视觉心理感受以及图像本身的结构的考量，已经不 能客观的反映人的视觉特性，经常与人的主观评价脱。 相关的机构为了更好地衡量各视频质量评估算法的性能，已经开始逐步的 成立一些专家组，以更好的推进这一研究进程。国际电信联盟远程通信标准化 组u ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n ) 早在1 9 9 7 年就成立专门的视频 质量专家组v q e g ( v i d e oq u a l i t ye x p e r t sg r o u p ，v q e g ) 到2 0 1 0 年底，v q e g 已经结束了三项评估工作：f r t v - 阶段1 和f r t v - 阶段2 ，以及针对s d t v 视频 质量全参考评价模型的研究。2 0 0 8 年8 月，r r u - t 第九研究小组发布r r u - t j 2 4 6 和j 2 4 7 两个新标准，其中j 2 4 7 推荐4 个全参考视频质量评价模型， j 2 4 6 推荐部分参考视频质量客观评价模型。上述两文件适合评价低于4 m b s 传输速率下多媒体服务的视频质量，总共有v g a 、c i f 和q c i f 三种视频分辨 率。2 0 1 0 年1 月，玎u 公布了j 2 4 9 文件，主要内容是部分参考情况下数字有 线电视的感知视频质量测量技术。 与本文联系最紧密的是玎u 于2 0 0 8 年8 月公布的j 2 4 7 建议标准，j 2 4 7 在全参考中的客观感知多媒体视频质量测量技术( o b j e c t i v ep e r c e p t u a l m u l t i m e d i av i d e oq u a l i t ym e a s u r e m e n ti nt h ep r e s e n c eo faf u l lr e f e r e n c e ) 中建议推 荐4 个评价模型：日本的n 1 盯、德国的o p t i c o m 、英国的p s y t e c h n i c s 及韩国 的y o n s e iu n i v e r s i t y ，v q e g 也提出其全参考评价模型p e v q ，而p e v q 正是本 3 部分参考p e v o 视频质量评价模型的研究 文提出的r r p e v q 模型的思想所在。 1 2 课题来源 课题来源于京信基金( 京信通信系统( 广州) 有限公司厦门大学) 与厦大 一直以来的合作项目，前期已经完成了一些全参考视频质量客观评价算法和， 在此基础上进一步完成部分参考的算法。 1 3 论文的主要研究内容及章节安排 本文的主要研究内容是对包括：1 现有的视频质量评价体系进行调研，分 析了视频评价体系的发展趋势；2 几种经典评价模型的优缺点基础上，首先进 行无线视频素材的获取，针对视频在传输过程中容易丢帧的现象，提出一种对 齐算法用于对齐由于劣化而不再对准的视频序列；3 视频评价体系的发展方 向；4 在原有研究p e v q 全参考视频图像处理的理论基础上，提出新的部分参 考评价模型r r p e v q 。 4 第二章视频及图像质量客观评价基本原理 第二章视频及图像质量客观评价基本原理 当今的所有客观评价算法都是基于一个共同的出发点，由于人眼才是测定 评价算法是否正确的唯一根据，因此近三十年来心理物理学( p s y c h o p h y s i c a l ) 方法一直在图像视频质量研究中占主导地位。本文的出发点也是心理物理学方 法，在此之前先用一些篇幅来阐述人眼的视觉感知特性( h v s ) 的来源和基于 此发展起来的若干个评价体系。 2 1 人眼视觉感知特性( h v s ) 人类在对外部信息获取的诸多途径中，人眼无疑是最重要的渠道，人类超 过6 0 的信息都是从人眼中获取。人类的眼睛在过去几百万年的进化过程中， 逐渐形成现在独特的生理结构，所以人眼因此也有相应的特性。人眼在结构上 由角膜、晶状体、虹膜、瞳孔、玻璃体和视网膜组成，类似人们所用的照相 机。其中与视觉感受联系最紧密的当属视网膜，视网膜相当于相机中的感光器 件，视网膜的的主要作用是将接收到的光信号转换成人脑可解析的生物电信 号。视网膜中的感光细胞有锥细胞与杆细胞，其中的杆细胞主要在光线较暗的 情况下起作用；而锥细胞正好相反，其在光线较亮且对比度较大的情况下起作 用。视网膜上的柱状细胞和锥状细胞共同作用的结果形成人眼对光线的感知。 在光线较亮的条件下起主要作用的锥状细胞又分三类，它们最敏感的颜色分别 是红，绿和蓝，分别占6 4 ，3 2 ，2 的比例，随着亮度水平的降低，锥状细 胞变得越来越不敏感，而柱状细胞的作用却越来越强烈，到暗视觉条件下，柱 状细胞主导视觉的感受。因为锥状细胞对颜色的感受很敏感，而昏暗的外部条 件下锥状细胞不起作用，暗视觉条件下人们对颜色不敏感。 h v s 视觉特性在视频质量评价中常常被利用的有以下几点： ( 1 ) 不同亮度条件下，人眼对颜色变化敏感度也不同，同一副图片上亮度高 的区域吸引人眼更多的注意。 ( 2 ) 图像视频的边缘更加影响主观感受，人眼容易感觉到边缘的位置变化， 而对于边缘的灰度误差，人眼并不敏感。而对于视频来说，由于人本身的动物 5 部分参考p e v q 视频质量评价模型的研究 属性，人眼对运动的物体尤其敏感，人眼能在茫茫的森林中一眼就找到一只跳 跃的小猴子。 ( 3 ) 人眼的具有视觉掩盖效应。视觉掩盖效应定义为当一种激励得到存在 使另一种激励不可见时，就产生视觉掩盖现象。其受到背景照度、纹理复杂性 和信号频率的影响【6 】。 ( 4 ) 人眼为了达到其亮度的动态范围，人眼对亮度的响应具有对数非线 性。由于人眼的这种非线性，人眼对于平均亮度区域的灰度误差并不敏感。研 究表明，人眼的视觉特性是一个多信道( m u l t i c h a n n e l ) 模型，它具有多频信道分 解特性，如：给人眼一个较长时间的光刺激后，如果再给同样的刺激，其灵敏 度就会降低，但对其它不同频率段的刺激，其灵敏度却不受影响。 2 2 现行的视频质量评价体系 现行的视频质量评价体系按照评价是否存在源参考视频可以分成全参 ( f r ，f u l lr e f e r e n c e ) 、部分参考( r r ，r e d u c e dr e f e r e n c e ) 和盲参考 ( n r ，n or e f e r e n c e ) 评价体系。因为源视频序列的关系，这三种评价体系的 优缺点同样很明显：全参考可以对源视频序列和被测视频序列的各项指标进行 最细致的比对，是三者中最精确的方法，缺点难以获取源视频序列，使用局限性 很大。而现有的盲参考对视频图像的评价盲目性很大，各项指标没有标准，评 价结果与主观评价也相去甚远，在实际中很难应用。部分参考综合两者的优缺 点，只利用原始视频图像的部分关键信息的质量评价方法，设计精良的的部分 参考评价方法能较好地反映人眼对视频图像的感知效果，已经成为该领域的研 究热点。本章节对上述三种评价模型只作简单的介绍，本文的重点在于部分参 考，部分参考评价体系将会在后面章节详细介绍。 2 2 1 全参考评价体系 全参考评价体系来源于在无线视频传输系统开发的测试阶段需要检验整个 通信系统的视频传输性能，通常的做法是：使用不同视频文件在不同时间、不 同环境、不同移动速度等条件下进行传输实验，在每次视频系统传输视频实验 中，实验现场主要以采集和录制数据为主，数据分析和处理工作则等回到实验 6 第二章视频及图像质量客观评价基本原理 室后再开展，这样可以节约工作人员的时间和成本。图2 1 是一个全参考评价 体系完整的流程图。这种模式限制了不能实时进行评价，只能事后进行评价， 它是一种具有非实时性且能提供完整参考的评价模式。 菰 j 卜卜西 l ， 待测视频 竺竺! 坌竺i 图2 - 1 全参考评价方案示意图 由图2 - 1 可知，全参考评价模型可以获得所有的原始信息作为参考，通过 比较原始视频与失真视频之间的差异来度量失真视频的质量。从中可见，对参 考视频的视频编码、数据打包、无线传输、数据解包、视频解码一概打包，只 获取首尾两端的视频。在工业界中广泛使用的m s e ( m e a ns q u a r ee r r o r ) 与 p s n r ( p e a ks i g n a l - t o n o i s er a t i o ) 方法就是这一类型中的典型代表。 实际的视频和图像在人眼中的主观感受远不是一个简单参数就能表达的， 这也就衍生出若干种分类。在过去的几十年内，各企业及研究机构陆续提出许 多针对部分参考的视频质量自动评价理论。 从评价理论的角度可将现有主要的全参考方法划分成三大类：全像素统计 理论，h v s 特性仿生理论，h v s 特征参数检测理论。 1 ) 全像素统计理论：众所周知，视频是由若干个相互独立的一一幅幅图像 连接丽成，而每幅图又是一个一个像素组成。通过计算参考素材和待测素材在 象素层面上差异，予以统计和量化，从而了解视频图像的整体质量好坏。根据公 式表达形式的理论差异，又可细化成差值统计方法和相关统计法，峰值信噪比 ( p s n r ) 和均方误差( m s e ) 的差值统计方法的代表，也是目前应用最广的图像质 量客观评价方法。 2 ) h v s 特性仿生理论：h v s 特性仿生理论认为人眼可看成是不同截止频 率的滤波器组，通过对输入信号的有效滤波( 滤去不引起感知响应的干扰信息) 从而感知外在信息，如表2 1 所示。因此，h v s 特性仿生理论的研究思路是采用 “从底而上一的设计方法，通过构造h v s 的感知模型，模拟人眼对外来信号的 7 部分参考p e v q 视频质量评价模型的研究 处理机制，从而实现对视频质量的评价。由于感知模型构造特点的不同，又可 以将该理论细化成h v s 特性的单通道仿生理论和h v s 特性的多通道仿生理论两 类。由于本文的重点不在全参考评价体系，因此不作详细介绍。 3 ) h v s 特征参数检测理论：近年来h v s 特征参数检测理论逐渐取代h v s 特性仿生理论成为新的研究热点。其设计理论同样是采用“从上而下 的模 式，其目的不是要仿生模拟h v s 的感知机制，而是根据人眼的h v s 特性来设计 典型特征参数的提取，从而描述视频及图像的质量，如表2 1 所示。根据其特征 参数的评价特点，目前有两大类方法：单参数检测方法和多参数检测方法。二 者区别在于视频质量评价综合时，单参数检测方法仅仅依靠某一典型参数的评 价结果；多参数检测方法则需对各单参数评价结果进行合并处理。通常而言， 多参数的评价方法由于信息来源更全面、充分，具有更好的评价性能；但特征 参数的增加会造成合并处理上的困难，如果合并处理不当，评价结果未必能优 于单参数的检测。因此，合理选择和配置特征参数，设计科学的参数合并方案 是h v s 特征参数检测理论的主要难点之一。 表2 1h v s 仿生理论综述 全像素统计理论 优势 劣势 容易实现，应用厂“泛未考虑h v s ，结 果主观相似性低 h v s 特性低级特性仿生单通道计算量适中，考虑h v s 机制不全 仿生理论h v s ，主观相似性较面，易出现盲区 好 多通道模拟h v s ，劣化检测计算量大，实时 是适应性佳，主观相性差 似性好 高级特性仿生理论从图形分析较低，机理解分析过程复 理较好把握杂，加权系数难 定 h v s 特征 单参数检测理论计算量小，主观相似 难以全面评价视 参数检测性较好频质量 理论多参数检测理论计算量适中，主观相 对不同劣化的适 似性好，参数配置灵应性较差，需针 活对性设计 2 2 2 部分参考评价体系 网络优化是提供视频通信服务的运营商日常工作中最重要的一部分，为了 能给客户提供最优的视觉体验，运营商有必要实时对终端接收到的视频质量进 行监控，从而更自针对性的开展网络优化。视频电话服务、无线数字电视广播 8 第二章视频及图像质量客观评价基本原理 在内的视频服务在无线传输中都会产生劣化，且源视频不是在任何时候都方便 获取，全参考评价体系无法做到实时监控视频质量，因此研究一种能够实时的 评价无线视频质量的评价方法应用在视频服务质量的监控中就显得非常重要， 这时部分参考和盲参考评价体系应运而生。 部分参考和盲参考评价设计的初衷就是为了在测试过程中可以不需要停止 播放的。部分参考评价方法可以仅利用参考图像的部分信息来评价劣化视频图 像的质量，而盲参考则完全不使用任何参考素材的信息，只根据待测素材就进 行质量评价。盲参考尚无性能良好的模型，研究难度较大，一般比较现实可行 的都是采用部分参考方法，部分参考评价模型方案如图2 2 所示 | 参考视频| | 圈圈团曩 图2 2 部分参考应用方案示意图 从图2 2 中可见，首先，在发送端对待测素材进行处理，提取所关注的重要 特征信息，这些信息将被以尽量无误码的传输方式独立传递到接收端；在接收 端以同样的处理方式提取待测素材的上述特征信息；最后将提取的特征信息与 传递来的特征信息进行对比，一系列合并处理后描述出传输质量。无参考体系 则完全不需要任何参考信息，通过对待测视频的信息分析描述其质量等级。部 分参考评价体系中，根据特征传递方案，又可以分为两类：基于辅助信道的参 数传递和基于数字水印的参数传递。 1 )基于辅助信道的参数传递 基于辅助信道的参数传递的关键在于特征参数的选取，挑选最能代表一帧 图像或者连续视频最关键特性的参数来传递。在参数的选择上，主要有方块效 应、模糊度、结构度，此外还有一些较新颖的参数配置，部分参考评价模型的 研究工作的其中一个重点和难点也是设计特征参数这一项。典型传输结构如图 2 2 所示，辅助信道与信息传送信道是独立分离的。因为特征参数的特殊意义， 四 部分参考p e v q 视频质量评价模型的研究 在实际应用中，还需要尽量提高辅助信道的纠错保护能力。业内基于该理论的 比较经典的评价模型是i 匀s t c p h c nw b l f 和m a r g a r e tp i n s o n 提出来i 拘v q m ( v i d c o q u a l i t ym e t r i c ) 模型【。v q m 评价模型采用空一时域多方位检测机制，能够体现 视频独特的空域和时域机制，其检测结果性能优越；同时v q m 在设计中使用辅 助信道传输机制，对原素材传输的影响不大，具有较好实用性。v q m 模型对于 本文的研究有重要的意义，下节还有详细介绍。 基于数字水印的参数传递 ， 数字水印技术，顾名思义就是通过向待测素材中添加多余信息( 一般是添加 随机码，亦可是其他图像) 来实现评价目的。其理论依据是：添加脆弱性或半脆 弱性水印信息的图像或视频在遭到外在劣化损伤时，其损伤亦将叠加在水印信 息上，因此检测添加信息的完整性可以侧面了解包含这些信息的待测素材劣化 情况。其通用评价模型即：在发送端嵌入精确设计好的水印图样，在接收端按 相反的方向提取水印图样与参考水印图样对比，这样便可以侧面考查待测视频 图的受损情况。然而数字水印技术的缺点同样很明显，由于添加水印，难免会 造成视频图像质量的损伤。另外水印损伤和信道劣化之间的并不能证明有必然 的联系，而且也很难保护好数字水印的重要信息1 6 1 2 2 3 盲参考评价体系 盲参考评价完全不需要参考素材的任何信息，可直接通过对待测素材( 视 频或图像) 的检测判定其质量。具有不受原素材信息制约、不占用额外带宽、 应用方便、集成灵活等优势。但是由于没有任何原素材信息参考，需要事先根 据所针对的检测内容特征进行分析，比如说有的场景画面细节丰富、有的画面 变化剧烈、有的方块效应明显等，这些都需要突出某些特征参数来分析。因此 盲参考评价理论的主要思路是：预先设定应用场景及主要劣化形态；针对这些 场景及劣化特征设计针对性的特征参数；根据具体应用，设计针对上述特征参 数的盲检测方案；最后通过经验公式、拟合算法设置模式识别技术等将特征参 数值映射成视频图像的质量等级。 但是问题马上就出现，主要体现在以下两点： 第一，盲参考评价算法极其依赖特定素材和场景。换句话说就是指盲参考 评价体系只对具有特定特征的素材或者只对典型的劣化形态及劣化程度才具有 1 0 第二章视频及图像质量客观评价基本原理 一定的准确性。如果假设条件有偏差，检测性能就大幅下降，倘若事先不把视 频分类，模型可能完全失效。这也是盲参考理论设计模式所决定的固有的缺 陷。 第二，设计初，影响检测算法性能的因素有主观实验的素材内容、测试条 件、人员专业程度等。另外，检测过程也无法得到原素材的信息参考。因此， 设计初主观实验的效率严重制约着算法性能的好坏，也就很难及时纠正和调整 算法的性能。 因此，在具有实时性要求的应用场合中还是部分参考评价理论的性能较 好。 2 3 视频质量客观评价经典算法 常用的视频图像客观经典评价算法有峰值信噪比、边缘峰值信噪比和结构 相似度。这些算法堪称是视频质量评价算法的基础，早已存在并在工业界广泛 为人所知和应用。在此基础上发展而来的结构相似度( s s l m ) 理论与v q m 部 分参考评价模型仍然是众多学者的研究重点。 2 3 1 结构相似度( s s l _ ) 德州大学a u s t i n 分校的“图像和视频工程实验室 1 9 1 在视频及图像质量评 价领域研究具有较广的影响力。著名的s s i m ( s t r u c t u r a ls i m i l a r i t yi m a g e m e t r i c ) 理论就是由德州大学a u s t i n 分校提出的，s s i m 理论独树一帜，是当前 影响力较广的评价方法之一 s s i m 理论基于如下的认识：自然图像信号像素间有很强的相关性，尤其是 空域中接近的像素，可以从这种相关性中提取场景中物体结构信息；h v s 适合 于从图像中提取结构信息，可以把对结构信息的度量作为图像感知质量的近 似。s s i m 理论是以自底向上模拟h v s 从视觉中提取结构信息，又优于以往的 h v s 低阶的组成结构的全新思想。这一新思想做到从对感知误差度量到对感知 结构失真度量的转变，而不是简单的通过叠加与h v s 认知模式有关的误差来描 述图像质量。 s s i m 算法具体步骤，先把图像切割为n x n 大小的方块，假设切割后共 部分参考p e v q 视频质量评价模型的研究 有m 个图像块，然后计算各部分的差异，然后将其组合实现整个h v s 。s s i m 算法原理图如图2 - 3 所示，通过统计亮度、对比度、结构三个特征融合，生成 一个结构相似索引图s s i m - m a p ，最后得到评价结果。其统计亮度，o ，y ) 、对比 度c o ，y ) 和结构s o ，y ) 三个特征分别定义为： ，o，y)一丽2*j*y+c1 ( 2 - 7 ) 弘：+ 弘：+ c i co，)，)=丽20oy+c2 ( 2 - 8 ) 仃：+ 盯：+ c ， 蚓一杀 仫9 ) ，仃。+ 0 1 其中，以为图像块x 的均值，反映其亮度信息；吒为x 的方差，反映其对 比度信息；吒q 为z 与) ，之间的协方差，反映两信号之间的相似性。c lqc 3 均为小的正数常量，以避免分母为零或接近零时造成结果的不稳定性。综合这 三种相似性标准则构成x 和y 之间的相似性m o s 分数为： s s i m ( x ，y ) 一p o ，y ) f 。【c o ，y ) r b o ，y ) 】7 ( 2 1 0 ) 其中口 0 ，声 0 ， 0 ，q 一( 堆) 2 ，般白= 0 0 1 ，c 2 一( k 2 l ) 2 ， k - 0 0 3 。l 是像素值的阶数( 例如每像素8 比特的灰度图像，= 2 5 5 ) ， c 3 一c 2 2 。最后图像的平均结构相似度m s s i m 定义为： m $ s i m ( x ，y ) 。吉善删“，只) ( 2 - 1 1 ) 砒秽一综合越较叶琢苗_ ： j 度 图2 3s s i m 实现原理图 s s i m 算法将图像的亮度、对比度与结构信息分开处理，通过组合三者的相 第二章视频及图像质量客观评价基本原理 似值来度量总的图像质量，该算法取得了较好的性能。并且直接考量两个自然 图像结构的改变，在某种程度上绕开自然图像内容复杂性及多通道去相关 的问题，许多研究也是基于s s i m 理论基础上展开。 2 3 2v o m 部分参考评价模型 v q m 1 】( v i d e oq u a l i t ym e t r i c ) 是_ w o l fp i n s o n 等人提出一种基于部分参考 的视频质量评价模型，该模型由边缘检测、特征提取、失真掩盖、空间失真综 合和时间失真综合等模块构成，兼利用色度分量来度量色彩失真的特征、局部 对比度特征和运动信息特征等，其系统框图如图2 - 4 所示。模型的分成以下几 个步骤： 首先，对图像进行边缘检测，突出图像的边缘特征，然后把视频序列的每 一帧分成多个相邻的空时区域( s tr e g i o n ) ，对每个s t 区域进行特征提取， 并根据人眼的视觉特性门限对各特征值钳位，最后通过空间和时间综合得出质 量分数。下面就表征空域信息某个特征的计算过程进行详细介绍： h r c 至- i ：f o 剑i r 趣 一一_ ：! ! 图2 4v q m 系统框图 1 s i - l o s s 参数提取【1 l s i - l o s s 参数设计用来检测空间信息的增减。先使用一个1 3 像素的空间信息 滤波器s 1 1 3 ，该滤波器在4 5c y c l e s d e g r e e 处具有峰值响应。s 1 1 3 滤波器设计 用来检测视觉感知中较敏感的边缘失真。s 1 1 3 利用的是1 3 1 3 像素的水平和垂 直滤波器，相比9 像素的索贝尔( s o b e l ) 滤波器，1 3 像素的s 1 1 3 滤波器可以 检测出人眼觉察不到的细节。s 1 1 3 滤波器由如下所示： 一 念围孥 厦翮圈谬 部分参考p e v q 视频质量评价模型的研究 f - 0 0 0 5 2 6 2 5- 0 0 1 7 3 4 4 6 - 0 0 4 2 7 4 0 1 0 0 7 6 8 9 6 11 l - 0 0 9 5 7 7 3 9 0 0 6 9 6 7 5 1 - 0 0 6 9 6 7 5 1 - 0 0 9 5 7 7 3 9i i - 0 0 7 6 8 9 6 1 0 0 4 2 7 4 0 1 - o 0 1 7 3 4 4 6 - 0 0 0 5 2 6 2 5l ( 2 ) 计算每一个空时区域的标准差石： 其中，n ( i ，j ，f ) 表示空时域的像素值。 l o s s ( s , t ，一訾( 2 - 1 3 ) 其中：l ( s ，t ) 表示完成上面三个步骤的劣化视频帧，f o ( s ，f ) 表示完成 2 h v l o s s 参数：检测边缘的垂直和水平方向相对于对角方向的移 新的滤波器模板，一个包含水平和垂直边缘，记为和；另一个 a 应用，对每帧的亮度信息滤波 1 4 第二章视频及图像质量客观评价基本原理 c 计算每个s r 区域的均值 d 应用感知门限，把每个小于3 的值用3 代替 e 计算其比例( r a t i o t t v ) f 运用比值函数竺竺尝，其中，口砌。表示失真视频的 r a t i o , 。 计算比例，r a t i o 表示源视频的计算比例。, g 取每个o 2 秒的最差的5 方块进行平均得到空间平均。 h 求取均值得到时间平滑 i 使用平方函数对每一个时间平滑参数结果进行线性处理 j o 0 6 处进行裁减 3 h v g a s 参数：该参数设计用来检测对角线方向、水平方向或垂直 方向的边缘位移。其计算步骤与h v l o s s 计算步骤大致相同，不同的是在 第f 步使用的是对数比较函数，时间平滑之后没有再进行裁剪及非线性处 理。 4 c h r o m a s p r e a d 参数：该参数设计来检测色度值和c r 的采样分布的 变化情况，可以衡量色度损伤。计算得到色度信息的特征值之后，再使用 欧几里得几何距离得到重建图像和原始图像的比较值，对每一帧时间的图 像块求标准差得到空间平滑，最后把得到的数据排序并应用1 0 的时间平 滑函数，得到结果在最小值0 6 处进行裁剪。 5 s i g a i n 参数【2 3 l ：该参数用于考量由于边缘锐化或增强给视频质 量带来的改进程度。其计算过程，把原始图像的厶。孙和重建图像的厶。， 应用感知阈值8 代替，即将小于8 的值用8 代替；之后得到两个厶，后使 用对数比较函数进行比较，对所有块平均值使用空间平滑和时间平滑处 理，再使用最小值0 0 0 4 进行裁剪处理，这表征了当前边缘增强的总体平 均水平。总体计算对该参数加权之前，将这个参数上限限制为接近o 1 4 ， 是为了防止对v q m 带来超过1 3 质量单位的过多改进，这里的质量单位 指的是在通用主观数据集里所能观察到的最大改进。 6 c t a t i g a i n 参划2 3 l ：该参数设计来测量诸如边缘噪声等一直存 在的运动边缘损伤。其计算过程为将上面对4 x 4 x o 2 的s 一丁区域得到的 1 5 部分参考p e v q 视频质量评价模型的研究 尼钾和厶玎应用感知阈值处理之后相乘，得到的结果分别针对原始图像和 重建图像通过对数比例比较函数得出比较结果，再对每0 2 s 的区域求平均 得到空间平滑的结果，采用1 0 的处理方式进行时间平滑处理即可得到该 参数值。 7 c h r o m a e x t r e m e 参数：该参数设计来检测数字传输过程带来的严 重局部损伤。其计算与c h r o m a s p r e a d 计算步骤相似，仅s r 平滑函数的 选择不同。通过欧几里得几何距离得到原始图像和重建图像的比较值之 后，对每个时间片段内的区域应用a b o v e 9 9 t a i l ( 参数值从低到高排列， 然后计算大于或者等于9 0 临界水平的参数的平均值，并用这个平均值减 去9 0 临界水平值) 的空间平滑函数，之后对得出的结果在时间上计算标 准差得到所要参数。 3 v q m 特征参数综合 通过阈值对分数进行调整，以保证v q m 的取值在一定的范围内，把上