（计算机应用技术专业论文）iptv服务视频质量客观评估方法的研究.pdf

中文摘要 视频质量评估的研究是图像信息工程的基础技术之一。在视频通信应用中 的视频传输技术，视频处理中的编码压缩技术和视频恢复技术，所有这些技术 不论优劣都会在一定程度上影响到视频的质量。同时随着网络技术的飞跃发展， 视频在网络上的应用已经成为主流。r v 项目就是利用网络技术，将电视网络 和当前的i n t e r n e t 网络进行了结合。基于网络的视频质量评估是改进和提高i p t v 服务质量的必经之路。 目前视频质量评估的算法很多，在视频编解码损伤的评估上取得了很好的 进展。但是针对实时的网络视频质量评估还有很多问题没有得到解决。因此论 文针对胛v 的视频质量评估展开研究，通过研究视频损伤产生的原因和当前已 有的视频质量的评估算法，提出一个新的基于人眼视觉模型的无参考质量评估 算法，并综合设计出i p t v 视频质量的评估系统。论文的主要研究内容和创新点 包括： 在视频传输前，对编码压缩损伤进行评估。论文主要采用动态图像质量评 估算法。它得到的结果很好的反映了人眼视觉的一些特性。 在视频传输中，监测传输网络情况。论文选取了几个已经提出的影响视频 质量的网络状况指标。同时通过对传输链路中发送包格式的研究，加入一些在 视频包出现异常时可以反映视频质量损伤的一些指标。 在视频传输到客户端机顶盒后，论文提出了一种新的无参考视频质量评估 方法h v sn f 。这个方法分两个部分，以网络状况的好坏进行划分。当网络质 量很好时，算法认为视频的损伤主要集中在压缩编码上。而当传输的网络状况 出现恶化的时候，定义了一种基于人眼视觉模型研究的视频图像质量评估方法。 该方法将视频图像用g a b o r 滤波进行通道的划分，然后分析每个通道的块状损 伤，将所有的损伤累计综合得到视频的损伤值，从而可以得到视频的质量。 最后，综合视频质量评估在视频传输前期，中期，后期三个阶段的研究， 论文提出建立一个完整的基于人眼感知模型的i p l v 质量评估系统，并部分模 拟实现了刖质量评估系统，也是将算法推向实用化的有益尝试。 关键词：视频质量评估，动态图像质量评估模型，媒体传输指标算法，人眼视 觉模型，基于人眼视觉模型的无参考算法 a b s t r a c t v i d e oq u a l i t ya s s e s s m e n ti so n eo ft h em o s ti m p o r t e n tt e c h n o l o g i e si ni m a g e p r o c e s s t h e r ea r em a n yf a c t o rw i l ld e s t r o yt h eq u a l i t yo fv i d e o ，s u c ha s v i d e o t r a n s p o r tf o r mt h es e r v i c et ot h er e c e i v i n ge n d d e c o d i n ga n d s oo n n om a t t e rh o w e x c e l l e n tt h e s et e c h n o l o g i e sa r c ，t os o m ee x t e n t ，w i l la f f e c tt h eq u a l i t yo fv i d e o a l l t h e s ea p p l i c a t i o n sa r er e q u i r e dt oh a v eas u t i a b l ev i d e oq u a l i t ya s s e s s m e n tm e t h o d w i t ht h er a p i dd e v e l o p m e n to fi n t e r a c tt e c h n o l o g y , n o w a d a y s ，v i d e oa p p l i c a t i o n so n n e t w o r kh a v eb e t a ) m ev e r yp r o p u l a r i nt h e s ea p p l i c a t i o n s 口t vp r o j e c ti so n eo ft h e m o s ti m p o r t a n ta p p l i c a t i o n s ，w h i c hc o n n e c ti n t e r a c tw i t ht h et v n e t s ot h ec u s t o m s n o to n l y 啪w a t c hc l e a rd i g i t a lt vp r o g r a m ，b u ta l s o c a l ld e m a n ds o m ev i d e o s e r v i c c sa n ds oo n i tm a k e sc u s t o m sa n dt vs e v i c e si n t e r a c t ，s ot h i sp r o j e c ti sv e w i m p o r t a n ta n du s i n go f s u i t a b l eq u a l i t yo fs e r v i c ea s s e s s m e n ti sn e s s e r y u s i n gq u a l i t y 螂e s s m e n tt oc o l l e c tr e a l t i m ev i d e oq u a l i t y , i ti st h eo n l yw a y t oi m p r o v et h e 册r v q u a l i t yo f s e r v i c e t h e ma 他a1 0 to fm e a s u r e m e n t sf o rt h ev i d e oq u a l i t ya s s e s s m e n t ，a n ds o m eo f t h e s em a k eab i gp r o g r e s si nm e a s u r e i n gt h ed e s t r o y m e n to fv i d e oc o d i n ga n d d e c o d i n g b u tn o w a d a y s t h e r ea r em a n yp r o b l e m si nr e a l - t i m ev i d e oq u a l i t y a s s e s s m e n t ，w i t ha n ym e t h o dc a ns o l v et h e mp e r f e c t l y s o ，i nt h i sp a p e r , w es t u d y v i d e 0q u a l i t ya s s e s s m e n ti n 州p r o j e c ta n dt h ef a c t o r sw h i c hw i l lc a u s et h e d e s t o r y m e n to fv i d e o a c c o r d i n gt os o m ep r o p o s e da s s e s s m e n t so f v i d e oq u a l i t y , w c f i n a l l yd e s i g nav i d e oq u a l i t ym e a s u r e i n gs y s t e m f o r 口t vp r o j e c t t h em a i n r e s e a r c h e sa n di n n o v a t i o n so ft h i sp a p e r a sf o l l o w ： b e f o rt h ev i d e ot r a n s m i s s i o n ，v i d e oi n j u r i e sa r ec a u s e db yt h em e t h o d s o fv i d e o c o d i n ga n dd e c o d i n g i nt h i sp a p e r , t h em o v i n gp i c t u r e sq u a l i t y m e a s u r e m e n ti s c h o s e n t h er e s u l to ft h i se v a l u a t i o ni sm o r ei nl i n ew i t ht h er e s u l t so ft h eh u m a n p e r c e p t i o n d u r i n gt h em e d i as t r e a mt r a n s p o r t i n go nt h ei n t e m e t ，t h en e t w o r ks i t u a t i o n s h o u l db em o n i t o r h e r e ，s o m ei n d e x e sa r eu s e dt os h o wt h es i t u a t i o no ft h en e t w o r k a tt h es a m et i m e ，w es t u d ya b o u tt h em e d i ap a c k e ta n dp r o p o s es o m eo t h e r i n d e xt o r e f l e c tt h ei n j u r yi nt h en e t w o r k a tt h ee n d ，t h em e d i as t r e a mf i n a l l ya r r i v e st ot h et o p b o x h e r ean e wm e t h o d i sp r o p o s e d i ti san o r e f e r e n c ev i d e oq u a l i t ym e a s u r e m e n tc a l l e dh v s n fa n d c o n s t r u c tb yt w op a r t s t h en e t w o r km o n i t o rr e s u l ti st h em a i nf a c t o rt od e c i d ew h i c h t y p eo ff o r m u l aw i l lb eu s e d w h e nt h em o n i t o rr e s u l tr e f l e c t st h a tt h en e t w o r ki sv e r y w e l l ，h v s n fj u d g et h ei n j u r yh a p p e n e di nc o d i n ga n dd e c o d i n g o nt h ec o n t r a r y , h v s n fu s e an e wv i d e oq u a l i t ya s s e s s m e n tw h i c hb a s eo nh u m a nv i s i o ns y s t e mt o c a l c u l a t et h ei n j u r yc a u s e dt h r o u g ht h en e t w o r kt r a n s m i s s i o n t h i sm e a s u r e m e n tu s e g a b o rf i l t e rt od i v i d ev i d e oi m a g ei n t of r e q u e n c yc h a n n e l s ，a n da n a l y z et h ei n j u r yi n e a c hc h a n n e l ，t h e nc u m u l a t ee a c ho n ea n dg e tt h er e s u l to fv i d e oq u a l i t y f i n a l l y , d e p e n do nt h er e s e a r c ha b o u tv i d e oq u a l i t yi nt h ee a r l y , m i d d l ea n dl a t e p e r i o do fm e d i at r a n s m i s s i o n ，h e r ean e wc o m p l e t ei p t vq u a l i t yo fs e r v i c es y s t e m h a sb e e np r o p o s e d t h i ss y s t e mb a s e do nh u m a nv i s i o ns y s t e m ，a n ds o m ep a r t so f t h i sh a v eb e e ns i m u l a t e d i ti sau s e f u li np r a c t i c a la p p l i c a t i o n k e y w o r d s ：v i d e oq u a l i t ya s s e s s m e n t ：m o v i n gp i c t u r e sq u a l i t y m e a s u r e m e n t ( m p q m ) ：m e d i ad e l i v e r yi n d e x ( m d i ) ；h u m a nv i s i o ns y s t e m ( h v s ) ： h u m a nv i s i o ns y s t e mn or e f e r e n c e ( h v s _ n d 1 1 1 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅。本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库 进行检索，可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时 授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论 文，并向社会公众提供信息服务。 ( 保密的论文在解密后应遵守此规定) 燃帐牛 武汉理工大学硕七学位论文 1 1 研究背景及意义 1 1 1 研究背景 第1 章绪论 i p l v 业务是口网络上发展出来的新兴业务，它提供组播、点播、时移电视 等视频功能，而且结合通讯技术，使用户互动地参与视频节目。它还可以非常 容易地将电视服务和互联网浏览、电子邮件，以及多种在线信息咨询、娱乐、教 育及商务功能结合在一起，在未来的竞争中处于优势地位。i i r i v 的未来发展目前 是业界关注的焦点话题。据m r g 市场研究公司的统计，全球胛v 用户将由2 0 0 4 年的2 0 0 万增加至2 0 1 0 年的2 0 0 0 万，预计全球刚市场2 0 0 5 2 0 1 0 年的复合 增长率为1 0 2 ! 。在国内，i p t v 产业仍然处于试验阶段，中国电信、中国网通 在各地积极开展蜊试验，并在部分地区投入商用。所以，对i p t v 设备和网 络的性能评估在部署前后的测试就显得非常重要。 与口城域网上现有的数据业务、语音业务相比，i p t v 业务具有大带宽、实 时性强的特点，对口网络的要求很高。过去i p 网络被认为能够容忍的一些缺陷 给删业务带来了很大的负面影响，比如承载i p t v 视频信息的数据包5 m s 的 抖动、0 1 的丢失率，就可能在i p l v 终端上出现马赛克、黑屏等现象。反过来， i p l v 业务的发展也给i p 城域网带来了压力。i p l v 流量和在线用户的数量之间 是非线性的增长关系，有可能导致部分网元( 业务路由器等) 负荷过载。 视频质量是i p t v 服务的关键，其好坏直接决定了i p t v 业务的服务质量。 怎样收集用户对于当前视频质量的满意成度，积累的丰富数据，成为当前i i y l 运营部门更好地了解用户需求的关键点。 1 1 2 研究意义 研究实时的自动i p t v 视频质量评估方法，是十分有意义的。一个可以成功 应用的视频质量评估方法，通过实时监测i p l v 网络的关键网元节点，可以对 i p t v 视频服务质量较为准确的进行评估。从而实现故障的快速定位，协助i p t v 武汉理工大学硕士学位论文 运营管理部门及时解决问题，处理用户投诉。同时，分析i p t v 业务的服务质量 ( q o s ) ，根据评估系统得到的结果判断业务的质量，尽量做到在用户的业务体 验变差前发现问题，解决问题，从而为用户提供高品质的i p l 业务。另外，通 过这些累计的评估数据，口t v 运营部门可以更好地了解业务对网络的需求和影 响，在尽可能减少网络设备投资的前提下容纳更多的业务，并在复杂的融合环 境中保证业务质量，实现网络的合理规划和持续优化，并且开展i p l v 用户行为 分析、i f r v 业务趋势分析、非法业务拦截等增值服务。 1 2 国内外研究现状 1 2 1 视频质量评估的研究现状 视频质量评估在视频压缩、处理以及视频通信领域中起着十分重要的作用： 实时或非实时视频系统的性能和各种视频传输信道的服务质量最终均可通过视 频质量反映出来，系统可以根据评估的视频质量给出反馈信息以调节编解码器 或信道的参数，从而保证系统的服务质量：对各种不同编解码器的输出视频质量 给出易于理解的量度，有利于对编解码器的性能进行评估和优化；视频质量评估 还有助于设计、优化符合人的视觉方法的图形图像显示系统等。因此，对视频 质量的研究，国内外都一直在进行着。 近年来，国际标准化研究机构非常重视视频质量评估的研究。在1 9 9 7 年， i t u t 和u r 的研究小组联合在一起成立了视频质量专家组( v i d e oq u a l i t y e x p e r t sg r o u p ，v q e g ) ，专门从事视频质量评估的研究和相关标准的制定，力图 在全球提供一个开放的研究环境。该机构成立以来得到了很多机构和企业的支 持，提出了一系列的关于视频质量评估的标准如：p s q m 指标1 2 j ，p e s q 指标1 3 j ， 3 s q m 指标【4 1 等。 经过研究，通常将视频质量的评估分为了两大类，主观评估和客观评估。 现在研究较多的为视频质量的客观评估。视频质量的客观评估可以实时自动的 得到评分，不受主观因素的影响。在视频质量的客观评估方面，发展是巨大的。 从1 9 7 4 年m a n n o sjl 和s a k r i s o ndj 提出在图像质量评估中运用视觉科学，建 立图像保真度评估模型，到1 9 9 6 年c h r i s t i a nj v a nd e nb r a n d e n 提出基于人眼视 觉模型的动态图像质量评估算法；从比较全部损伤视频和原始视频的全参考视 2 武汉理工大学硕士学位论文 频质量评估算法，如峰值性噪比算法等，到借鉴数字水印的思想，在视频序列 中隐性嵌入所需要的部分原始视频相关信息，从而产生的数字水印方法；从单 一考虑网络状况指标，如媒体传输指标算法，到2 0 0 3 年m o h a m e d 提出的利用 神经网络通过网络状况指标进行视频预测的理论。视频质量的客观评估就是在 发现问题，解决问题的基础上不断进步，迅速发展起来。 在国内，对视频质量评估也给予了高度的重视。特别是随着多媒体在中国 的大量引用，针对国内紧张的网络状况，对视频质量的评估方法的发展也做出 了自己的贡献。如国家自然科学基金项目“第三第四代无线通信中视频抗误码 技术研究 和华为公司“3 g 视频通信的技术框架和关键技术研究”，主要研究了 数字视频的客观质量评估方法，提出了几种新的数字视频的客观质量评估方法， 以及一种基于水印技术的视频误码掩盖方法1 5 j 。 1 2 2i p l v 服务质量评估的研究现状 在i p l v 的实际应用中，很多厂商也对视频质量的评估做出了很大的贡献， 他们提出很多计算视频质量的指标，并通过仪器可以直接测量当前视频质量的 好坏。比如泰克公司推出的s p e c t r a 2 1 v q m 监测解决方案，它可以帮助用户判断图 像质量差的原因，如口传输网络中发生丢包、延迟或数据损毁。s p e c t r a 2 1 v q m 支 持多种服务质量分数和视频行业标准、并采用非专有前向纠错分析技术。 i n e o q u e s t 公司也是i p 视频传输质量测试专家。他们设计，制造和推广针对 电信行业、数字电视服务商、系统集成商以及i p t v 网络组件制造商的口视频 测试工具。l n e o q u e s t 提供先进的、多功能的硬件平台和专用的软件程序，为i p t v 网络的测试、监控和分析提供完整的产品解决方案。 i n e o q u e s t 仪表现已被中国电信作为i p t v 服务质量监测的主要标准之一。 其仪表主要采用无参考的m d i 算法，实时监测网络各个节点多路视频流的网络 数据，如丢包，延迟，乱序等，判断是否会对视频质量造成影响。 此外，o p t i c o m 公司的p e v q 指标1 6 1 ；i x i a 公司的v - f a c t o r 指标l7 - 8 】等等。 1 3 论文主要研究内容 论文以i p t v 项目为载体，研究实时的客观视频质量评估技术。视频质量评 估是一项复杂的工程，他由众多因素构成，并不能单的考虑其中的一个或者 3 武汉理工大学硕十学位论文 几个因素。因此，如何选择适合的算法对视频质量进行预评估，并改进传统的 视频评估方法，使之更适合i p l v 项目的视频质量评估。最后如何构建出一个完 整的州视频质量评估实时系统，从各个方面综合的考虑视频质量的损伤，这 都是论文的研究内容。具体研究工作如下： ( 1 ) 研究现有的主、客观视频质量评估算法。了解当前提出最新算法，以及 每个算法的适用范围和优缺点。根绝需要选择适合的算法加以使用。 ( 2 ) 研究基于人眼视觉模型的图像处理方法。查阅现有的人眼视觉感知模型 的文献，了解视觉成像的基础和特性，选择适合的图像处理方法，模拟人眼视 觉的感知，以得到最精确的视频评估结果。 ( 3 ) 研究视频在网络传输的前、中、后三个阶段视频产生损伤的主要原因， 并量化损伤因素与视频质量损伤之间的关系。视频传输前主要为编码压缩损伤， 传输中网络状况对媒体流的影响，传输后对误码数据进行分析和处理，单一视 频质量进行总体的评估。 ( 4 ) 以人眼视觉模型为基础，提出了一种新的无参考视频质量评估算法。该 算法针对视频在网络上的应用，能较好的解决当前对网络应用的视频质量评估 难的问题。 ( 5 ) 综合所有对于视频质量评估的研究，构建一个针对i p t v 项目的视频质 量评估系统。它考虑到了对视频产生损伤的各个方面，并能实时监控当前的网 络状况和用户体验情况，进而得到较为准确的视频质量评分。 1 4 论文的组织形式 全文共分六章，大体章节安排内容如下： 第1 章绪论。介绍i p l v 视频服务质量评估的研究背景及意义、研究现状、 主要研究内容以及论文的组织形式。 第2 章视频质量评估方法的研究。介绍了当前两种主要的视频质量评估方 法，主观评估和客观评估。并对客观评估进行了具体的分析。对三类客观评估 算法的适用范围，优点和缺陷进行了详细的研究。 第3 章视频质量损伤形成因素的研究。分析视频损伤产生的两大主要原因： 视频压缩损伤和网络传输损伤。并分两个小节对这两个因素进行了分析和研究。 ( 1 ) 对视频编码压缩损伤的研究。 4 武汉理工大学硕十学位论文 ( 2 ) 对视频网络传输中损伤的研究。 第4 章基于人眼视觉感知模型的无参考视频质量评估算法的研究。本章首 先介绍了基本的人类视觉模型，提出一个新的算法h s vn f ，使之在无参考模 式下实现对视频质量有效的评估。 第5 章刚视频质量评估系统的构建。在对现今网络监控系统的研 究基础上提出了一个完整的i p l v 视频质量评估系统设计思路。 第6 章总结与展望。本章对该论文所进行工作做出总结，并提出对视频质 量评估研究工作未来的展望。 武汉理t 大学硕士学位论文 第2 章视频质量评估方法的研究 视频是由图像的时间序列构成的。数字视频中的每一幅图像被称为一帧。 视频播放时，以每秒2 5 3 0 帧的速度投影到显示器上，根据视觉暂留原理，人眼 无法辨别单幅的静态画面，看上去是平滑连续的视觉效果1 9 l 。 目前，视频评估的方法主要借助于图像的质量评估。即将视频信号采样为 一系列完整的帧，如图2 1 所示( 大多数视频格式普遍采用m p e g 的帧格式， 视频被划分为若干个图像组，每组图像进行帧问压缩，成为不同的帧格式，如l 帧、p 帧、b 帧等) 。对每一帧图像进行评估，综合评估得到该视频的质量。 象够 图2 - 1 、数字视频图像可看作连续图像帧的集合 视频质量的评价方法主要可以分为主观视频质量评估与客观视频质量评估 两种。其中，主观评价对于视频量的评价是最重要的，但主观评价复杂、费时、评 价结果因人而异、无法实现实时在线视频质量测量。而客观测试指标客观，具有 可重复性，容易实现自动方便的监控且适合各种应用i l 。在这一章中，将对这两 个评估方法做一定介绍，特别详细描述了客观视频质量评估方法。 2 1 主观视频质量评估 视频主观质量评估就是让一群观察者对同一段视频片段按视觉效果的好坏 进行打分1 1 1 】。观察者为一批非专家类型的受测者，让他们在一个特定的受控环 境中，连续观看一系列的测试序列大约1 0 至3 0 分钟，然后采用不同方法让他 们对视频序列的质量进行评分，最后求得平均判分，并对所得数据进行分析。 典型的主观质量评估通常包含下列几个步梨“j ： ( 1 ) 选择一组未处理的视频片段作为比较基准。 6 武汉理t 大学硕士学位论文 ( 2 ) 选择处理或传输系统的设定值( 损伤设定值) 。 ( 3 ) 选定如何将处理过的视频呈现给评估者并且收集评估结果的科学方法 ( 主观视频评估算法的选择) 。 ( 4 ) 邀请足够数量的评估者，通常不少于1 5 人。 ( 5 ) 进行主观评估。 ( 6 ) 计算每个评估者给予每组不同损伤设定所给出的评价( 通常取平均值) 。 在丌u t 建议书b t 5 0 0 当中描述了许多种进行主观画质评量的方法。其中 一种标准化的作法是d s i s ( d o u b l es t i m u l u si m p a i r m e n ts c a l e ) 1 3 l 。受测者观看 多个原始参考视频和失真视频组成的“视频对 ，并且每次总是先观看原始参考 视频，然后观看失真视频。观测者对视频的整体印象进行评判，用定义的主观 测度来表达评判，对失真视频的失真度进行评分。 主观质量评估不仅适用于传统的模拟系统，也适用于数字系统，得到的平 均判分m o s ，能够准确地反映图像或视频的质量，见表2 - 1 所示。但是测试环 境中的受控因素很多，包括：观看距离、观测环境、测试序列的选择、序列的 显示时间间隔等。 表2 - 1 、m o s 五分制视频质量评测标准 主观质量评估必须提供严格的测试环境，考虑大量的影响因素，因而实现 起来步骤复杂，代价昂贵，实时性不好，不利于实时视频通信中的视频质量评 估。 2 2 客观视频质量评估 客观视频质量评估，是相对主观视频质量评估而言的。它不需要人的参与， 根据已有的质量评估算法，自动实现对于输入损伤视频的质量评估。客观评估 使用算法自动实现评估，较主观评估而言，简单容易实现，而且不受外部条件 7 武汉理t 大学硕七学位论文 和人为因素的影响，是当前最主要的视频质量评估方法1 1 4 l 。 客观视频质量评估，根据在评估算法中是否引入原始视频作为参数分为三 类，即完全引入原始视频作为参照( f u l l r e f e r e n c e ，f r ) ，部分引入原始视频 ( r e d u c e d r e f e r e n c e ，l 汛) 和完全不引入原始视频三种评估方法( n o r e f e r e n c e ， n r ) 1 1 5 l 。 2 2 1 完全参照客观视频质量评估 完全参照客观视频质量评估需要完整的原始参考视频，通过对比失真视频 参考视频序列可以提供大量的参考信息，有助于建立评估失真视频质量的客观 模型，因此大多数视频质量评估是基于全参考模型的，并取得了较好的性能。 频客观质量评估方法，可用于计算视频内各个图像的质量 1 5 q 8 l 。p s n r 计算简单， 1 0 l 昭一 协1 ) m n 壬壬鼍、m 一 “1 j 其中m 和n 分别是图像的宽度和高度，o 咖和分别代表原始参考图像 和失真图像在( m ，n ) 处的像素值。p s n r 的计算是基于独立的像素差值，忽略了 一致性较差，比如p s n r 往往不能准确反映方块效应对视频质量影响的严重程 在原始参考视频序列可用的情况下( 在服务器端) ，用全参考方法对视频处理 频的质量，从而根据需要改变编码参数来调节视频质量 1 9 1 。但完全参考视频质 量评估算法要求严苛，被限制在实验室内使用。特别是在i p t v 等应用需要远程 2 2 2 部分参照客观视频质量评估 视频质量评估的部分参考方法是指不引入全部的原始视频信息作为评估的 8 武汉理工大学硕士学位论文 参考数据，仅在原始参考视频和失真视频上分别施加某种运算，各自得到少量 的统计数据。这些数据代表了视频相关的关键信息，并对数据进行统计算法分 析，从而评估视频质量【删。 参 考 图 像 测 试 图 像 图2 2 、n t i a 部分参照客观评估方法的流程图 1 9 9 7 年v o r a n w o l f 提出了n t i a 算法就是一种部分参考评估算法。算法 主要使用边缘滤波、特征提取、失真掩盖、空间失真联合和时间失真联合等模 块，如图2 2 所示。首先，对图像水平和垂直方向进行滤波，以增强图像边缘特 征，然后将视频序列分成多个相邻的s t 区域，对每个s t 域进行特征提取， 并根据人眼的视觉特性门限对各特征值钳位。提取的主要特征为： 是s t 域内像素值的标准差，并钳位到视觉门限p 。这一特征描述了 s t 域总的空间复杂度的变化，如模糊会引起空间复杂度的降低，即厂l 减小，而 噪声、块效应会引起厂1 的增加。 一i s t d e v r ( i ，t ) l l ， f ，_ ，te s 一碱】( 2 2 ) 其中尺g ，f ) 表示s t 域内的像素值。 尼反映了视频空间方向的变化，表示图像水平和垂直方向的梯度，删 表示倾斜方向的梯度。如果水平边和垂直边遭受的模糊程度强于倾斜的方向， 则f 0 2 尼。 9 武汉理工大学硕士学位论文 f z m e a n i h v ( i , j , t ) l 酬万，f ) 川， ( 2 _ 3 ) 模糊会引起空间复杂度的降低，而噪声或方块效应会引起空间复杂度的增 加，因此在讨论失真掩盖时应该对区域特征的增强和减弱分别处理。公式( 4 ) 、 ( 5 ) 给出了s - t 域的视觉失真的计算方法。 g a i n ( s , t ) 一刀 l o g 叭f 触o ( s , 圹t ) l l ( 2 4 ) l o s s ( s , t ) 一n p 瞥 ( 2 - 5 ) 这里p p 表示取正操作( 小于0 的值取作0 ) ，印表示取负操作( 大于0 的值取 作0 ) 。 空间失真联合方法是把同一时间t 各s - t 域的失真联合一起得到g a i n ( t ) 和 l o s s ( t ) ，由于图像中失真最严重的部分往往最容易引起观察者的注意，图像中质量 最差的部分对图像的主观质量起着决定性作用，因此空问联合函数取失真中最 差的5 进行平均。 时间失真联合方法是把一段时间内各帧图像的失真联合一起得到肛切和 l o s s ，时间上的平均表示视频的平均质量。 最后，用各失真参数表示视频的质量为： v q m o 3 6 0 9 a 蛔+ o 5 0 3 1 ( a 蛔) 2 + 0 1 3 9 0 a 和加+ o 0 2 9 5 d c ( 2 6 ) 其中，或表示色差信号的失真，它是所有像素色度矢量( c b ，c 曲的方差，其 空间、时间联合处理方法与亮度信号失真的处理方法相同。 同完全参考视频质量评估算法一样，它需要将原始视频打包传输到客户端， 从而加大了网络的负载，不利于在大规模的视频流传输网络，如i i y i v 项目中使 用。 2 2 3 无参照客观视频质量评估 视频质量评估的无参考方法不需要任何原始参考视频的信息。现有的大多 数无参考方法是通过对视频的处理和分析提取视频序列中出现的某些失真特征 ( 如模糊、块效应等) ，然后根据各类失真特征来判定视频序列的质量。由于不 1 0 武汉理t 大学硕士学位论文 需要参考视频，无参考方法非常适用于对网络终端的视频质量进行实时评价。 但无参考方法通常对失真的敏感程度低，无法检测设计时未考虑到的失真类型。 例如，考虑特征失真能在一定程度上反映视频的质量，因此可以通过对失 真特性的分析，判断视频序列的质量。p h i l i p s 提出分别测量受测视频的各种特 征失真的大小，然后联合各种特征失真评价受测失真视频的质量【2 2 1 。其测量的 特征失真主要包括方块效应、震荡效应、钳位、噪声以及对比度。其中，钳位 是指图像处理中对像素值的截断处理，如锐利增强技术会引起钳位的出现，钳 位会引起高频信息的丢失从而导致失真，其大小可通过测量像素值为最大和最 小值的比例来获得；噪声是指图像压缩或处理中引起图像空域或时域产生的一些 随机变化，可通过测量图像平滑区域的高频分量得到：对比度是指图像亮度信号 的动态变化，反映图像中感兴趣区域与背景区域亮度的变化，可利用图像像素 值直方图来计算图像的对比度。该方法的原理如图2 3 所示，其中边缘陡峭是指 图像轮廓和纹理的清晰程度，可利用局部边缘的峰态来计算。 图2 3 、特征失真的无参考视频质量评估方法 不引用原始视频数据作为参考的无参考视频评估算法，非常适用在网络终 端，对接收到的视频数据进行实时的质量评价f 卯。但在现阶段提出的无参考视频 评估算法都具有一定的局限性，它不能类似与主观评估，反映真实人眼观看的 视频质量效果。 武汉理 = 大学硕士学位论文 2 3 本章小结 本章介绍了主观视频质量评估技术和客观视频质量评估技术以及相应技术 的优缺点和适用范围。主观视频质量评估技术最接近人眼的真实感官，对于质 量的评估最为准确，可以用来作为视频质量评估技术的重要参考标准，或小规 模应用于评估编码压缩对视频质量的影响。 客观视频质量评估技术是为了解决主观视频质量评估技术不能自动评估问 题而提出的，根据是否引入原始视频作为参照，分别对三类客观视频质量评估 技术进行了详细的介绍。其中完全参照客观视频质量评估技术适用于在对视频 编码压缩损伤的评估，部分参照客观视频质量评估技术适用于简单的网络视频 传输的质量评估，而无参照客观视频质量评估技术则是网络视频传输质量评估 的最佳方法。 1 2 武汉理工大学硕士学位论文 第3 章视频质量损伤形成因素的研究 当前有限的网络带宽决定了，要视频在网络上能实现高速的传播，必须对 视频经过一系列的处理，如信号采集，压缩等，从而大大缩减视频文件的大小， 以适应有限的网络带宽。这些处理必然会带来视频质量的下降。 同时，不可靠的网络同样会对视频质量产生不可预期的损伤。当前有线口 网络的尽力传输机制，不能完全保证网络的服务质量p j 。同时，现实网络中的 不稳定因素太多：如网络传输中设备电压不稳，从而导致的比特传输错误；网 络节点发生堵塞，导致的数据包丢失；以及传输路由寻径的不稳定性，导致视 频数据包出现乱序和时延等现象。因此，在这种网络上传输的视频，其质量不 能确保不受到任何的损伤。 可见，网络应用的视频质量的损伤主要来源于两个部分i l j 。一部分就是为了 适应网络的需求，对视频进行压缩编码，但解码后视频无法完全恢复成原始视 频，从而产生的视频质量模糊等现象。另一部分是网络的不稳定性导致可能出 现的传输误码，从而导致视频质量失真等现象1 2 4 j 。 3 1 视频压缩带来的质量损伤评估 3 1 1 视频压缩损伤产生的原因 数字视频是由模拟视频信号的山峰和山谷通过数字模拟( d a ) 转换器进 行转换，变为数字的“0 或“1 ，从而得以在存储器中保存并可以通过数字网 络进行传输【2 5 1 。原始采集的视频文件往往会很大，这将占用大量硬盘空间，并 且针对当前的网络带宽来看，视频的传输将会变得非常的困难。因此，必须让 视频文件变小，即进行视频的压缩。 当前有限的网络带宽决定了，通过数据网络传输的视频只能采用有损压缩。 有损压缩时利用人类视觉系统对视频信息中某些频率成分不敏感的特性，在压 缩的过程中丢失一些人眼所不敏感的图像或音频信息，从而可以大大减小视频 的体积，但丢失的信息在解压时也是不可恢复的。一般束说，丢失的信息为人 1 3 武汉理【：大学硕士学位论文 眼不太敏感的数据，少量时不会对视频的质量产生影响，但对视频压缩得越厉 害，那么在压缩过程中丢失的数据也就越多。一旦丢弃的图像细节数据太多， 产生的影响就显而易见了，视频会出现模糊不清的状况阑，如图3 - 1 所示( 采用 m p e g - 2 压缩算法【明) 。 图3 - 1 、压缩造成的视频图像损伤( 左侧为原始图像，右侧为损伤图像) 位速是指在一个数据流中每秒钟能通过的信息量。常见视频文件用 “1 5 m b p s ”或“8 m b p a ”进行描述的情形。m b p s 表示“每秒兆字节数” 因此数值越大表示数据越多：3 m b p s 视频文件包含的数据量是15 m b p s 视频文 件的两倍，井占用两倍的空间。压缩后的位速与压缩前位速之比为压缩比率。 不同的压缩比率决定着视频图像质量的模糊程度。压缩比率越高，意味着丢失 的信息越多，视频质量的损伤越严重。 但在相同的压缩比例下，不同的编码方式，对视频的质量影响也会有所不 同，因为有些文件格式比其他文件能够更有效地利用数据。在当前的编解码标 准很多，不同的标准采用不同的压缩算法。例如，在差不多的视频图像质量的 情况下，总所周知的a v i ( a u d i ov i d e oi n t e r l e a v e d ，音频视频交错) 格式的文件体 积，比r m 格式的视频文件体积要大很多。 视频压缩使用的编解码算法以及传输时的压缩比率是决定视频质量损伤程 度的两个主要因素。冈此，需要事先在实验室计算出在不同的编解码算法及其 对麻的压缩比率下，视频质量受到的损伤程度。并归纳总结，得到相应的曲线 公式。在以后的应用中，确定传输所使用的压缩标准和压缩比率，就町咀直接 得到相应的视频压缩损伤。因此采用全参考的视频质量评估算法，可以较为 准确的评估编、解码算法的好坏。以及均衡网络负载和视频质量，使之在网络 武汉理工大学硕士学位论文 负载允许的情况下，采用最佳效果的压缩比率。 3 1 2 视频压缩损伤评估算法的研究 在上一章对视频质量评估算法的研究中可以得知，对于视频压缩损伤评估 可以采用主观视频质量评估方法和完全参照的客观视频质量评估方法。主观评 估方法更加的精确，而完全参照的客观方法其自动评估的性质，则更加符合实 际的批量应用中。 目前，使用的最广泛的完全参照的客观视频质量评估算法为峰值性噪比 ( p s n r ) 算法。它认为每个像素的权重都是一致的，取原始视频每一帧中的所有 像素和压缩后的视频相应帧中所有像素的均方差。峰值性噪l = 匕( p s n r ) 算法的实 现简单，但它将视频帧中人眼敏感的元素和人眼不敏感的元素等同看待，不能 反映人眼感知的视觉特性。 c h r i s t i a nj v a l l 2 s - 3 1 l 提出了基于人眼感知的动态图像质量衡量标准( m o v i n g p i c t u r e sq u a l i t ym e a s u r e m e n t ，m p q m ) 算法。这也是一个完全参照的客观视频 质量评估算法，它通过对人眼视觉特性的研究，将视频的质量评估与人眼的视 觉模型很好的联系在了一起，因此得到的视频质量评估结果反映人眼的真实感 知，提高了评估的准确性和可靠性。因此，用m p q m 模型来计算不同编码算法 在不同压缩比率下的视频质量，应该是当前最佳的选择。 动态图像质量衡量标准采用视频质量评估的双端模型，双端指的是服务器 端和客户端，即该模型的输入是服务器端和客户端的视频序列，如图3 2 所示。 因为，这里只考虑压缩损伤，故客户端和服务器端在同一网络环境中，网络传 输部分在图中以虚线框表示。 网络传输 “ m p q m 模型 l 解码恢复 图3 2 、完全参考的视频质量评估双端模型 m p q m 模型可以根据输入，自动计算一段时间内所求视频片段的质量好坏。 首先，该模型对输入的两个视频图像序列进行预处理，使用图像滤波手段将视 频图像序列依照人眼的视觉特性，分解成为相应的视觉信道，对相应的信道信 息两相对比，找出压缩带来的损伤。累计这些损伤，通过科学统计等数学的手 1 5 武