（计算机科学与技术专业论文）基于模糊和噪声度量的视频质量评价模型及应用.pdf

薯3 - ，竹 t ； 一 ， 霸 l， 口 ， 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 枞戤：纠勿缈醐：3 、节 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位 本人签名： 导师签名： 适用本授权书。 日期： 日期： 7 7 矿 f；少 asl_蜃i r，#t#i-g，ft 基于模糊和噪声度量的视频质量评价模型及应用 摘要 随着i p 网络和3 g 网络的迅速发展，业务提供能力的增强，数字 视频通信已经发展成为了一个重要的领域。在视频压缩和传输技术上 的巨大进步，为各种视频业务应用提供了强有力的支持。虽然数字视 频技术为电信运营商带来了新的业务应用和盈利的增长点，但是满足 用户需要的视频业务质量仍是运营商面对的挑战。因此需要对视频业 务质量进行监测，而对视频质量的评价是视频业务质量监测功能中必 不可少的部分。本论文的目的是研究并实现一个视频质量评价模型， 从用户角度客观地反映视频业务的播放质量，为网络视频业务的开展 提供有力保证。 本文通过分析比较各种视频质量的评价方法，提出了一个无参考 的客观视频质量评价模型，以满足对网络视频业务质量的实时监测应 用。确立了本论文的研究内容：视频质量评价模型以模糊效应和噪声 效应的度量为基础，重点研究视频模糊效应和噪声效应的度量算法。 在度量算法中考虑了人类视觉系统的特性，使算法评价结果更符合人 眼的视觉感知。仿真实验结果表明，该模型计算出的视频模糊指标、 噪声指标和综合指标与主观评价结果有很好的相关性。 为了将视频质量评价模型应用于固定和无线网络，本文以组件形 式实现该模型，并详细描述了组件的设计与实现方法，以及在实际网 络业务监测系统中的应用。实验证明该组件在实际监测环境下能提供 准确的视频质量评价结果，具有一定的使用价值。 关键词：视频质量评价模糊噪声度量组件 北京邮电大学硕士论文 i l f 甚 f ， ， 北京邮电大学硕士论文 d e oq u a l i t ya s s e s s m e n tm o d e lb a s e do n b l u ra n dn o i s em e t r i csa n da p p l i c a t i o n s a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n t a n ds e r v i c e p r o v i s i o nc a p a b i l i t i e s e n h a n c e m e n to fi pa n d3 gn e t w o r k s ，d i g i t a lv i d e oc o m m u n i c a t i o n sh a s b e c o m ea l l i m p o r t a n ta r e a t h et r e m e n d o u sp r o g r e s si nt h ev i d e o c o m p r e s s i o na n dt r a n s m i s s i o nt e c h n o l o g yp r o v i d es t r o n gs u r p o r tf o ra v a r i e t yo fv i d e ob u s i n e s s 印p l i c a t i o n s w h i l et h ed i g i t a lv i d e ot e c h n o l o g y h a sb r o u g h tn e wb u s i n e s sa p p l i c a t i o n sa n dp r o f i t a b l eg r o w t hf o rt e l e c o m o p e r a t o r s ，b u tt h e ya r es t i l lf a c e dw i t hc h a l l e n g e st h a tt h eq u a l i t yo fv i d e o s e r v i c ef o ru s e r sn e e dt ob em e e t t h e r e f o r e ，m o n i t o r i n gt h eq u a l i t yo f v i d e os e r v i c ei sn e e d e d 。a n dt h ee v a l u a t i o nf o rv i d e oq u a l i t yi sa l l e s s e n t i a lp a r to ft h em o n i t o r i n gf u n c t i o n t h ep u r p o s eo ft h i sp a p e ri st o s t u d ya n dt or e a l i z eav i d e oq u a l i t ye v a l u a t i o nm o d e l ，w h i c ho b j e c t i v e l y r e f l e c tt h ep l a y b a c kq u a l i t yo fv i d e os e r v i c ef o m eau s e rp o i n to fv i e w ， a n dp r o v i d es t r o n gg u a r a n t e e sf o rt h ed e v e l o p m e n to fn e t w o r kv i d e o s e r v i c e i nt h i sp a p e r ，b ya n a l y s i s i n ga n dc o m p a r i n ga v a r i e t yo fv i d e oq u a l i t y e v a l u a t i o nm e t h o d ，an o r e f e r e n c eo b j e c t i v ev i d e oq u a l i t ye v a l u a t i o n m o d e li s p u tf o r w a r d ，w h i c hc a nr e a l t i m em o n i t o rt h eq u a l i t vo ft h e o n l i n ev i d e os e r v i c e t h er e s e a r c hc o n t e n to ft h i sp a p e ri st h a tv i d e o q u a l i t ya s s e s s m e n tm o d e li sb a s e do nt h em e t r i co fb l u r r i n e s se f f e c ta n d n o i s ee f f e c t ，a n dt h em e t r i ca l g o r i t h m so fb l u r r i n e s se f f e c ta n dn o s i e e f f e c tw a sk e yr e s e a r c h t h ec h a r a c t e r i s t i c so fh u m a nv i s u a ls y s t e mw e r e c o n s i d e r e di nt h em e a s u r e m e n ta l g o r i t h m st om a k ee v a l u a t i o nr e s u l t s m o r ec o n s i s t e n tw i t hh u m a nv i s u a lp e r c e p t i o n e x p e r i m e n t a lr e s u l t ss h o w t h a tt h ev i d e ob l u r r i n e s si n d i c a t o r s n o i s ei n d i c a t o r sa n di n t e g r a t e d i n d i c a t o r so b t a i n e df r o mt h em o d e lh a v eg o o dc o r r e l a t i o nw i t hs u b j e c t i v e e v a l u a t i o nr e s u l t s i i i i no r d e rt h a tv i d e oq u a l i t yv a l u a t i o nm o d e lw a sa p p l i e dt of i x e da n d w i r e l e s s n e t w o r k s ，i nt h i sp a p e r ，t h em o d e lw a s i m p l e m e n t e da s c o m p o n e n t ，a n dad e t a i l e dd e s c r i p t i o no ft h ec o m p o n e n td e s i g na n d i m p l e m e n t a t i o na sw e l la sm o n i t o r i n ga p p l i c a t i o n si nt h ea c t u a ln e t w o r k t r a t l i cw a sg i v e d e x p e r i m e n t ss h o wt h a tt h e c o m p o n e n tc a l lp r o v i d e a c c u r a t ee v a l u a t i o n r e s u l t so fv i d e o q u a l i t y i nr e a l m o n i t o r i n g e n v i r o n m e n t s ，a n dh a sac e r t a i na p p l i c a t i o nv a l u e k e yw o r d s ：v i d e o q u a l i t ye v a l u a t i o n ，b l u r ，n o i s e ，瑾枷c ， c o m p o n e n t i v o(l 北京邮电大学硕士论文 目录 目录v 第一章绪论1 1 1 弓i 言1 1 2视频业务质量指标。1 1 3 本文工作与章节安排。3 1 3 1 研究内容3 1 3 2章节安排。4 第二章视频质量评价方法5 2 1 视频质量评价方法介绍s 2 1 1 主观评价方法5 2 1 2 客观评价方法6 2 2 本文采用的视频质量评价模型9 第三章基于模糊和噪声度量的视频质量评价1 0 3 1 模糊效应度量1 0 3 1 1 图像模糊特征分析1 l 3 1 2 韦伯一费希纳定律。1 4 3 1 3模糊效应度量算法1 5 3 1 4 验证试验与结果分析。1 8 3 2 噪声效应度量。2 1 3 2 1 噪声评价方法介绍2 2 3 2 2 噪声效应度量算法2 4 3 2 3 试验与结果分析。2 6 3 3 视频总体质量一2 9 3 3 1拟合模型。2 9 3 3 2 试验结果3 0 第四章视频质量评价组件的设计与实现3 2 4 1 组件功能需求和设计原则3 2 4 1 1 组件功能需求3 2 v 北京邮电大学硕士论文 4 1 2 组件设计原则3 2 4 2 组件总体结构。3 3 4 2 1 组件内部各模块关系3 4 4 2 2 组件内部主要执行试图3 5 4 2 3 组件主要数据结构3 9 4 3 组件主要模块设计4 1 4 3 1 外部接口模块4 1 4 3 2 s e s s i o n 管理模块4 3 4 3 3 编解码模块4 5 4 3 4 视频质量b l u r 指标计算模块。4 7 第五章视频质量评价模型的应用。4 9 5 1 i p t v 视频业务质量监测应用4 9 5 2 3 g 视频电话业务质量监测应用。s 2 第六章 论文总结与展望5 5 6 1 本文总结5 s 6 2 课题展望5 5 参考文献5 7 致谢5 9 研究生期间发表论文。6 0 v i j j ：毫 j j y ，： ! 北京邮电大学硕士论文 1 1 引言 第一章绪论 随着i p 网络和3 g 网络的迅速发展，业务提供能力的增强，数字视频通信已经 发展成为了一个重要的领域。在视频压缩和传输技术上的巨大进步，使一些高质 量的视频通信成为了可能。特别是一些数字视频通信系统的出现，使很多新的电 信业务应用成为现实，例如，直播卫星、数字电视、高清电视、m t v 、视频会 议、i n t e m e t 视频、3 g 视频电话、手机电视等。数字视频是非常灵活的，能够进 行视频增强，传递，以及在很多种压缩标准之间进行转换，在很多设备上进行播 放，为各种视频业务应用提供了强有力的支持。 虽然数字视频技术为电信运营商带来了新的业务应用和盈利的增长点，但是 为了在激烈的竞争中获胜并盈利，各大运营商都面临着众多挑战，其中就包括视 频数据业务的服务质量q o s ( q u a l i t yo f s e r v i c e ) ，提高用户的体验质量q o e ( q u a l i t y o f e x p e r i e n c e ) ，支持更新、更高级的服务。因为通过通信网络进行传播的数字视 频数据，在视频获取、编码压缩处理、传输以及解码播放过程中都会产生各种各 样的失真现象，严重地影响用户使用业务的感受。例如，为了减少存储视频数据 时需要的存储空间、传输数字视频数据而需要的带宽，经常使用一些有损的视频 压缩技术，这些技术在量化处理过程中可能造成视频质量的严重下降；在易错的 传输信道( 如无线信道) 上传输的视频比特流，由于在传输时的损伤可能引起接 收端的视频观看效果很差；分组交换的通信网络( 女h i n t e r n e t ) ，依据网络的情 况和服务质量( q o s ) 可能造成接收的视频数据包丢失和严重的延时；所有的这 些传输错误都可能造成接收端的视频失真。因此对于一个视频业务系统能够发现 并量化视频质量下降的程度是至关重要的，以便对视频业务系统进行维护，控制 甚至是增强数字视频的质量，来满足视频业务用户的需求，而对于数字视频系统 要达到这样的要求，一个有效的图像或视频质量度量方法是非常必要的。 1 2 视频业务质量指标 影响视频业务质量的因素有很多，包括：视频编码器的性能，传输信道的性 能，如信道的误码率、丢包率、信道噪声等；接收端解码器的性能，如容错性以 及差错处理能力等。每一个环节的错误都会影响到最终的视频播放质量，因此视 北京邮电大学硕士论文 频业务质量包括源端视频压缩质量、网络传输质量和接收端视频播放质量三个方 面。 一、编码器端 经过网络传输的视频其质量会受到节目源也就是视频源端的影响，解码和压 缩过程通常会在视频质量和所需的压缩级别之间进行折衷，以满足各种网络状态 的需要。信源端的视频质量客观测量一般采用相对评估，即在编码时将压缩过的 图像与原始图像比较以获得相应指标的值，综合多个指标值对视频质量进行评 估。 二、网络传输 在视频通信系统中，用户收看到的图像或视频是经过网络传输和解码后的重 构图像。由于口网络是基于“尽力而为 的服务模型，而无线网络环境是具有差 错的网络，都无法保证端到端的传送质量。 网络传输质量指标参数1 】【2 】主要包括： 1 ) 可用带宽：主要衡量用户从网络取得互联网视讯应用数据的能力，当可 用带宽低于所点片源的编码速率时，视频业务的质量将无法保证。 2 ) 时延：网络视讯应用是实时性业务，尽管播放器都有一定的缓存能力， 但当延迟超出缓存能力时，迟到的包将被播放器丢弃，从而影响视频的 播放质量。 3 ) 丢包：丢包是导致视频质量劣化的最本质原因，由于视频数据是前后关 联的，并且不同的数据包对于重构图像的重要性不同，因此即时少量的 丢包( 如i 帧数据的丢包) 也可能引起解码器主动丢弃其他相关的数据包， 引起质量下降。 钔抖动：一般视频播放器是针对稳定的码流，当抖动过大时会导致解码器 主动丢包，引起视频的图像质量下降。 三、接收端 接收端的视频内容质量评价指标能更直接、真实、及时地反映用户的体验质 量，对于视频业务的推广和运营商服务质量的提高有重要意义。视频内容质量评 价指标如下： 1 ) 模糊度：模糊指图像高频细节部分丢失造成的图像边缘清晰度降低现象。 造成的原因可能是编码器为了适应固定码率而主动引入的，另外传输差 错和丢包同样会引起模糊。 2 ) 噪声：噪声可以理解为“妨碍人类视觉器官对信源信息理解的因素”， 它往往是由于视频数据包在传输过程中丢失、乱序和误码等原因引起的。 视频帧中的噪声破坏了图像内部的连续性，使图像中出现不协调的块、 条带、大面积的模糊等现象，降低了视频的质量。 2 亡 l j 。? i ， 北京邮电大学硕士论文 3 ) 块效应：块效应是由节目源的低比特压缩导致的视频损伤，它使解码后 的图像出现模糊，当块效应严重时整个图像似乎由一块块的马赛克组成， 它严重影响了用户对视频质量的评价。 4 ) 动态性：视频动态性反映的是视频运动的剧烈程度。 1 3 本文工作与章节安排 1 3 1 研究内容 对于视频通信系统的视频质量测试，一直是人们研究的难点。对于数字视频 通信系统的视频质量测试，通常通过p s n r 值来进行衡量，常用于静态图像质量的 分析。然而人的视觉系统是一个复杂系统，人的主观对视频质量的感觉不能仅用 p s n r 来表达。视频业务质量受源端视频压缩质量、网络传输质量和接收端视频播 放质量三个方面的因素影响，现有的业务质量监测系统主要关注网络传输质量的 评价。由于用户是最终的视频接收者，因此本文侧重于研究用户接收端视频业务 播放质量的评价方法的研究，从而更直接、真实、及时地反映用户的体验质量， 并且能适应各种不同的网络架构。 本文研究内容包括： 1 ) 视频质量评价模型 本文首先研究图像或视频质量的各种评价方法，包括图像或视频质量的 主观评价方法，客观评价方法。分析了主观评价方法的优点和缺点，以 及主观评价方法的主要用途；分析了客观评价方法中全参考、半参考和 无参考三种评价方法的原理，使用的条件，并比较了三种方法的优点和 缺点。根据各种方法的比较结果和网络实时业务的应用条件提出了适用 于数字视频通信系统的无参考客观视频质量评价模型。 2 ) 视频质量评价算法 视频质量评价模型的最终输出结果为视频质量度量( v q m ，v i d e o q u a l i t y m e t r i c ) ，它是评价视频总体质量的客观测量值，是多种视频质量指标参 数的综合。上一节中描述的各种内容质量参数，从不同方面反映了视频 的受损情况，本文主要针对其中的视频模糊指标、噪声指标进行研究。 本文将在第三章具体描述视频模糊指标、噪声指标的计算方法，以及将 这些指标拟合的方法。 3 1 视频质量评价组件实现 北京邮电大学硕士论文 在设计完视频质量模糊指标、噪声指标的计算方法后，本课题将以组件形 式实现提出的无参考客观视频质量评价模型。组件中包括视频解码，回放， 视频质量模糊指标、噪声指标的计算，以及指标拟合和结果显示。 1 3 2 章节安排 本论文的章节主要安排如下： 第一章内容为绪论，主要描述了数字视频业务的发展，以及面对的问题；分 析了视频业务质量监测技术，并阐述了本文的研究内容。 第二章内容为介绍视频质量评价方法，本章主要分析了主观和客观评价方 法，并比较了客观评价中三种方法的优点和缺点、适用条件，最后提出适用网络 实时业务应用的视频质量评价模型。 第三章为视频质量评价模型中模糊和噪声效应度量的算法设计，本章主要为 视频质量模糊度量、噪声度量的算法分析设计，以及将模糊指标和噪声指标综合 分析方法。 第四章为视频质量评价组件的设计与实现，本章将阐述以组件形式实现视频 质量评价模型的设计，包括组件的结构和模块的描述。 第五章内容为视频质量评价模型的应用，主要阐述了评价模型在i p t v 和3 g 视 频业务质量监测中的应用。 第六章为论文总结与展望，本章对全文的内容作了总结，以及对本课题将来 继续加深和改进的地方作了展望。 4 北京邮电大学硕士论文 第二章视频质量评价方法 2 1 视频质量评价方法介绍 对于常用的图像和视频质量评价方法主要有两类：主观评价方法和客观评价 方法。主观评价方法，让观察者按照评价准则对同一图像或视频进行打分，该方 法劳动强度太大，且易受各种主观因素影响，对同一图像或视频序列的评价结果 不具有稳定性，所以可应用的场合很小。客观评价方法，使用算法计算与图像或 视频质量有关的参数指标来反映视频质量，不受主观因素影响。 另外，国际电信联盟所属的视频质量专家组v q e g ( v i d e oq u a l i t ye x p e r t s g r o u p ) 提出了三类视频质量测试法，即全参考、部分参考和无参考数据的视频质 量度量【3 1 。 2 1 1 主观评价方法 对于评价图像和视频质量的最可靠的方法就是主观质量评价，因为在大多数 的应用中观察者才是视频服务的最终使用者。主观评价的实旌步骤一般为：在规 定的测试环境下，将待评价的图像序列播放给评价者观看，记录他们的打分，然 后将所有评价者的打分进行统计并计算平均分m o s ( m e a no p i n i o ns c o r e ) 作为评 价结果。m o s 方法多年来一直被认为是最可靠的质量评价方法，然而该方法实 施速度缓慢、条件要求苛刻，使用很不方便，对大多数应用程序来说无论从时间 还是资金方面来说，代价都是昂贵的。现在r r u rb t 5 0 0 7 标准【4 】定义了两种标 准的主观评价方法：双刺激连续质量分级法d s c q s ( d o u b l es t i m u l u sc o n t i n u o u s q u a l i t ys c a l e ) ，单刺激连续质量评价法s s c q e ( s i n g l es t i m u l u sc o n t i n u o u sq u a l i t y e v 如a t i o n ) ，以下为两种主观评价方法的简单介绍。 d s c q s 属于全参考视频质量评价方法，待评价的图像和对应的参考图像都 被分成1 0 秒长度的图像片段，按随机顺序播放给评价者，片段之间由2 秒长度的 灰画面间隔。在播放第二遍时，由评价者为两个片段的图像质量打分。在评价结 束时，计算参考片段和待评价片段的m o s 得分，作为该片段的质量等级。由于 评价者在测试前不知哪段是参考图像，哪段是待评价的图像，该方法能最大程度 地降低图像场景、情节等对主观评价的影响。 在s s c q e 中，评价者只观看待评估的图像。待评估图像由不同内容场景、 不同质量参数( 如码流速率) 片段组合而成。评价者要在一个质量指示滑板上调节 指示位置给出当前图像质量的主观评分。滑板上的评分数字每秒钟采集两次，每 北京邮电大学硕士论文 隔几秒钟计算一次平均值，再计算多个评价者同对应时段的m o s 得分，即得到 图像质量的平均打分。s s c q e 方法由评估者控制主观质量打分的速率，动态为 视频序列打分，能够快速跟踪图像质量的变化，适合质量变化差异较大的视频内 容。 由以上可知，主观评价方法也主要有以下缺点：观察者必须是一个群体，人 力和物力投入大，得到测试结果所需时间长；观察者个体差异大，不同的图像内 容与情节以及不同时间、人员的评价都可能有很大不同；主观评价无法实现实时 监测，更无法定位问题出在哪里。但是主观评价方法在用于验证其他图像和视频 质量评价方法的有效性上还是很有用途的，可以根据主观评价实验来验证其他方 法的结果。 2 1 - 2 客观评价方法 图像和视频的客观质量评价的目的就是要设计一种可以自动预测出人眼感 知图像和视频的质量的测试方法，而没有人的主观因素的影响。总体来说，图像 和视频的客观质量评价方法可以应用于以下三个方面： 1 ) 可以用作实时视频质量监测系统来监测和控制视频系统中的图像质量。 例如一个视频服务获取系统可以用质量评价方法来监控视频序列中质量差的图 像，然后根据评价结果指出的不足自动调整图像来获取最高质量的视频。类似的， 网络视频服务者也可以通过质量评价方法来检查网络上传输的数字视频质量、控 制并提高视频流中图像的质量。 2 ) 可以应用到基准视频处理系统和算法中。如果某个特定的视频任务由多 个视频处理系统处理的话，就会产生多个视频流，应用质量评价方法可以在多个 视频流中决定到底哪一个视频流中的图像质量是更好的，因此相应的视频处理系 统就是能够提供更好质量的处理结果。 3 ) 可以嵌入到视频处理程序中来优化算法和参数设置。例如，在一个视觉 通讯系统中，通过视频质量评价方法可以知道视频在编解码过程中的各种参数对 视频质量的影响，因此也就可以分别在编码器端和解码器端调整各种参数和各种 滤波器等，来提高视频序列中图像的质量。 通常把原始图像或视频看做是无失真的或高质量的图像或视频序列，用作失 真图像和视频的参考。根据原始图像或视频的存在与否可以将图像或视频的客观 质量评价方法分成三类【5 j ：全参考质量评价方法，半参考质量评价方法，和无参 考质量评价方法。 1 全参考评价方法 6 北京邮电大学硕士论文 全参考f r ( f u l lr e f e r e n c e ) 图像或视频质量评价方法，这类质量评价方法利 用完整的原始图像或视频和失真的图像或视频进行比较，其评价系统如图2 1 所 示。 传输损伤 客观视频 质量度量 图2 1 全参考评价系统图 当前应用最广泛的的全参考( f r ) 客观质量评价方法是均方误差( m s e ) 和 峰值信噪比( p s n r ) ，如公式( 2 1 ) 、( 2 2 ) 所示。 m s e = 吉“- y t ) 2 ( 2 1 ) j 暑l 厂2 p s n r = 1 0 1 0 9 - 二一( 2 - 2 m s e )， 公式中为图像或视频帧中像素的个数，和e 分别为原始信号和失真信号中 第i 个像素，三为像素值的范围，( 如8 比特每像素时为2 5 5 ) 。均方误差( m s e ) 和峰值信噪比( p 阶瓜) 之所以被广泛应用是因为他们计算方便，具有清晰地物 理意义并且数学最优化处理起来简单。然而，它们与人感知到的图像或视频帧的 质量相差性比较大。 全参考质量评价方法的优点就是计算准确，但其最大的缺点是在最后的分析 比较点上需要大量原始图像或视频帧信息作为参考，这在一些实时业务应用中是 无法满足的，其次为了保证评价结果的准确性，失真视频和原始视频信息在空间 和时间上要严格对齐。 2 半参考评价方法 第二类是半参考r f ( r e d u c e dr e f e r e n c e ) 质量评价方法，该类方法中，原始 图像和视频信号不完整存在，只将其中的某些特征作为附加信息传输到评价系统 中评价失真的图像或视频质量，其评价系统如图2 2 所示。 7 北京邮电大学硕士论文 输入廖考视频 传输损伤 客观视频 质量度量 图2 2 半参考评价系统图 如上所述，半参考质量评价方法仅需要原始图像或视频的部分信息作为参考。 通常从原始图像或视频中提取出一些特定的特征或物理信息传输到接收端，作为 参考侧的信息来评价图像或视频的质量。w e b s t e r 6 1 提出了一个最早的半参考评 价方法，其就是利用了特征提取的方法。 半参考质量评价方法在准确性上可能没有全参考评价方法高，但是它的计算 复杂度相对比较低，可以使实时性应用成为可能。然而，半参考方法需要原始信 息和失真信息之间同步。 3 无参考评价方法 第三类是无参考n r ( n or e f e r e n c e ) 质量评价方法，该类质量评价方法中， 没有使用任何的原始图像或视频的信号，只很据失真的图像或视频序列来评价质 量，该类方法的评价系统如图2 3 所示。 客观视频 质量度量 图2 3 无参考评价系统图 如上所述，无参考质量评价方法只使用失真后图像或视频序列。因为在很多 的实时传输应用中，需要参考的原始图像和视频或其部分信息都是很难满足的， 所以在这些情况中，开发一个无参考的质量评价方法是很必要的。大多数的无参 考方法是通过测量不同种类效应信号的强度来评价质量的，女w w u t 7 1 和w a i l 一8 1 基 于块效应来评价质量。 无参考质量评价方法相对于以上两种方法准确性可能会低，但是其使用的场 景比较多，适用的条件比较宽松，尤其适合于实时业务的应用。设计无参考评价 算法是很有难度的，因为不好区分图像或视频帧中原有的特征和失真时的效应信 号。 北京邮电大学硕士论文 2 2 本文采用的视频质量评价模型 在数字视频通信中，最常见的对视频本身内容失真现象的评价指标有：块效 应( b l o c k i n e s s ) 评价指标，块效应通常由于较低的码流速率和粗糙的视频图像 量子化指标造成的损伤；模糊效应( b l u r r i n e s s ) 指标，主要由于片源编码压缩 降低了分辨率而造成的损伤，该指标主要评估视频图像轮廓清晰度和立体空间精 度的失真指标；噪声效应( n o i s i n e s s ) 指标，噪声效应主要由于传输信道和随机 噪声造成的损伤；平滑度( s m o o t h n e s s ) 指标，主要在接收端评估视频流传输时 由于受到较低的抽样频率( d o w n - s a m p l i n g ) 、编码过程的分辨率精度处理( c o d i l l g p t o o 略s e s ) 和受到干扰的传输( p e r t u r b e dt r a n s m i s s i o n s ) 的影响。 本文主要研究并设计视频的模糊效应和噪声效应的度量算法。由以上对图像 和视频质量客观评价方法的分析可知，当原参考全部或部分信息不可得到时，无 参考评价方法是适合的，并且该方法也非常适用于实时应用，所以本文基于设计 的图像和视频的模糊效应和噪声效应度量算法提出如图2 - 4 所示的视频质量评价 模型。 图2 4基于模糊和噪声效应度量的视频质量评价模型 此模型的计算过程为首先将视频在接受端的解码输入到视频质量评价模型， 然后分别计算出视频的模糊效应评价和噪声效应评价结果，并将两种评价结果进 行综合，最后得出视频的整体质量。该模型属于无参考评价方法，并且很容易扩 展，通过将其他的效应无参考评价算法加进来，实现视频质量更全面的评价。 9 北京邮电大学硕士论文 第三章基于模糊和噪声度量的视频质量评价 根据上章提出的无参考视频质量评价模型，本章内容首先研究并设计图像和 视频的模糊效应和噪声效应的度量算法，并进行试验验证，最后介绍视频整体质 量的拟合方法。 3 1 模糊效应度量 图像或视频帧的模糊效应定义为其高频区域里( 如有纹理或物体的周围) 空 间细节内容丢失和边缘的清晰度减弱【9 】。在图像处理和多媒体通信中，模糊是图 像和视频帧失真的最常见形式之一。在图像和视频信息的获取，传输，存储，显 示，以及任何的编解码和压缩算法的处理过程中，都会引进模糊失真现象。因此 根据模糊现象出现在图像和视频帧的不同处理过程，主要分为以下几种：自然模 糊：图像本身的内容就是模糊的，如图像的背景部分；运动模糊，其主要由相机 和拍摄物体之间的相对运动引起；失焦模糊，主要由相机失去焦点引起；噪声模 糊，主要由在存储和传输过程中产生的噪声引起；以及还有编解码和压缩算法引 起的信息损失而引起的模糊( 如图3 1 所示：( a ) 为原清晰图像，( b ) ( c ) 分别为基于 b l o e k - d c t 和w a v e l e t 压缩方法产生的模糊图像) 。本文对图像和视频帧的模糊评 价方法中不考虑模糊的种类，只对图像和视频帧的模糊结果进行分析。 锄o l 删 伽 b l o c 孙d c t鼢w a v s , l e 5 l 图3 1由压缩引起的模糊效应 l o 北京邮电大学硕士论文 评价模糊效应的无参考算法有很多，典型的有：c a v i e d e s 和g u r b u z 1 0 j 基于图 像中局部边缘的峰度值来测量清晰度，其清晰度可作为图像模糊的相反值。他们 的算法首先将图像分成8 * 8 像素的方块，然后再检测出所有含有边缘信息的方块， 并计算其d c t 峰度值作为含有边缘信息方块的清晰度值，整幅图像的清晰度就定 义为含有边缘信息方块的平均清晰度值。h u t l l 】使用标准化的高斯函数来模拟焦 点模糊，以此提出了一个高斯模糊检测算法；c h u a n 寸1 2 】计算出图像的梯度分布 并和梯度的正态分布进行比较，其分布的标准偏差作为图像模糊的测量。以上这 些算法复杂，也没有考虑人的视觉特性，都未能反映人对模糊的主观感受。 m a r z i l i a n o ”】提出了一种基于图像中边缘检测和宽度测量的模糊评价方法，此算 法简单，适合实时应用，但该方法没有考虑到边缘的方向性，导致图像的评价结 果和图像内容相关，限制了其应用范围。此外，模糊测量结果并没有使用任何感 觉上的加权和视觉上的主观测试数据，也未能反映人对模糊的主观感受1 1 4 】。本 文根据以上图像模糊评价算法的优缺点，充分地考虑图像中的模糊信息，利用人 类视觉系统的非线性特性( 韦伯一费希纳定律) 以及对比度对模糊感觉的影响提 出了一种新的无参考客观图像模糊评价方法，使其对图像模糊效应的评价结果更 符合人类的主观感受。 在本文对图像模糊的评价方法中，首先分析图像模糊时的各种特征，并将这 些特征汇总作为输入人类视觉系统的模糊物理量强度，再利用人类视觉系统的非 线性特性，从而得到人对图像模糊的感觉强度，其感觉强度就是对图像模糊的最 终评价结果。在实验和结果分析中，将本文的图像模糊评价结果和主观评价结果 进行比较验证。以下为本章详细内容。 3 1 1 图像模糊特征分析 1 模糊使边缘宽度变大 图像中模糊最明显的地方是边缘和纹理区域，模糊效应会使图像中边缘的宽 度变大而失去清晰剧1 3 】，即模糊效应对图像中的边缘具有平滑作用。如图3 2 所 示：( a ) ，c o ) ，( c ) 为3 副模糊程度依次增加的边缘图像，( d ) ，( e ) ，( 0 为其对应的 边缘宽度示意图。从图3 2 中可看到，当图像的模糊程度曾加时，其边缘宽度也 随之增加。 2 模糊使边缘梯度峰值减小 通过对比清晰图像和其模糊图像的边缘梯度峰值，可以发现当图像模糊程度 的增加，边缘梯度峰值随之减小。如图3 3 所示：( a ) ，( c ) 为清晰和模糊图像，( b ) ， ( d ) 为清晰和模糊图像中同一行的边缘梯度值示意图。 北京邮电大学硕士论文 a )( b 一 l c i l e 图3 2 模糊图像和其对应的边缘宽度 b ! i 母 勺 i j _ f镛 秘0 。6l l 硌埔 。，训，j ： 图3 3 清晰图像和模糊图像边缘梯度峰值 北京邮电大学硕士论文 3 模糊使图像中可检测到的边缘长度减少 如图3 4 所示，( a ) ，c o ) 为清晰图像和其边缘图像，( c ) ，( d ) 为模糊图像和其 边缘图像。通过扫面图中( b ) ( d ) 两幅图像的边缘像素点个数( 其总数作为边缘长 度) 可看到，当图像模糊时，检测到的边缘长度要明显变少。 ( c l d 图3 4 清晰图像和模糊图像检测到的边缘长度 4 图像对比度对模糊的影响 根据以上对图像的模糊特征分析，可以总结为：当图像模糊时，其边缘宽度 会变大，边缘的梯度峰值减小，图像中可检测到边缘长度减少。因此本章将这些 模糊特征按公式( 3 1 ) 形式作为输入人类视觉系统的图像模糊物理量强度，即图像 模糊物理量强度与边缘宽度成正比，与边缘的梯度峰值成反比，与边缘长度成反 比。 = 争毫( 等吒 ( 3 - 1 ) q 为图像模糊的物理量强度，其值越大表示模糊的强度就越大，s 为像素灰度 最大值( 如，8 比特时为2 5 5 ) ，为检测到的边缘像素点个数，也即检测到的边 缘长度，孵为相应边缘点的边缘宽度，g f 为相应的边缘梯度峰值，膨为相应边缘 两侧的对比度对模糊强度的影响，由【1 4 1 中可得到： 北京邮电大学硕士论文 i 一0 0 0 4 2c ，+ l 0 c ，5 0 尺f2 1o 8 0 9 2e - o 0 2 4 i ( c 俐5 1 c 2 0 0 ( 3 - 2 ) 公式( 3 2 ) 中g 为相应边缘点两侧的对比度。这个公式符合人的感觉，可以从 图3 - 5 中得到证明。图3 5 中经过同样模糊处理的两幅图片，图像( a ) 的对比度大于 嘞的对比度，而图像( b ) 给人模糊的感觉程度明显要强些。 3 1 2 韦伯一费希纳定律 口 ( i ) c b ) 图3 5 对比度对模糊感觉的影响 非线性是视觉系统的心理特性，例如人类能够很容易的区分出1 支烛光和2 支 烛光的亮度差别，但却很难区分出2 0 支烛光和2 1 支烛光的差别，这就是非线性。 为了使评价结果更符合人类的主观感受，本课题将人眼的非线性也加入到了图像 模糊效应的评价中。 韦伯一费希纳定律【1 5 】是表明心理量和物理量之间关系的定律，它说明了人的 一切感觉，包括视觉、听觉、肤觉( 含痛、痒、触、温度) 、味觉、嗅觉、电击 觉等等，都遵从感觉不是与对应物理量的强度成正比，而是与对应物理量的强度 的常用对数成正比的。为了描述连续意义上心理量与物理量的关系，韦伯一费希 纳把最小可觉差( 连续的差别阈限) 作为感觉量的单位，即每增加一个差别阈限， 心理量增加一个单位，这样可推导出如下公式( 3 3 ) 。 s = k 木i n + c ( 3 - 3 ) 公式( 3 3 ) 中s 为感觉量、k 为常数、i 为物理量，c 是积分常数。含义是感觉量 与物理量的对数值成正比。也就是说感觉量的增加落后于物理量的增加，物理量 成几何级数增长，心理量成算术级数增长( 如图3 6 所示) 。 1 4 北京邮电大学硕士论文 文献将这一定律应用到了视觉领域，证明了视觉的非线性也符合韦伯一费 希纳定律。本文将这一定律引入到图像模糊效应的评价中来，得到了人眼对模糊 效应的客观评价结果。韦伯一费希纳定律在本文中对模糊的客观评价如下公式 (