（通信与信息系统专业论文）视频主观质量评估方法研究.pdf

摘要 摘要 视频压缩和传输会引起不同程度的视频质量下降，因此视频质量评估在视频 压缩、处理以及视频通信领域都有十分重要的作用。视频主观质量评估是人对视 频质量主观感受的直观反映，提高视频主观质量是视频通信与视频服务的最终目 的，因此视频主观质量评估是所有评估方法的基础，需要对其进行深入研究。 主观评估实验要求观测者根据给定的评分等级为视频序列打分，评分等级的 选择直接影响到观测者对视频质量主观感受的正确表达，以及观测者评分结果的 一致性，因此选择合适的评分等级是主观评估实验的关键环节。首先，评分等级 应该反映人眼的精度，因此研究符合人眼主观感受的、合适的评分等级是非常重 要的。另外，由于观测者对视频的理解不同，以及评估中注意力不集中等因素的 影响，评分数据中会有异常值的出现，因此需要对评分数据进行后处理，以保证 主观数据的可靠性。本文对评分等级和数据后处理两个方面进行了深入研究，主 要完成了以下工作： 1 按照国际标准搭建视频主观质量评估实验环境，实现视频主观质量评估实 验平台。 2 结合视觉认知与信号检测理论，研究人眼精度与评分等级的关系，通过比 较不同评分等级对评分结果置信区间的影响，分析符合人眼主观感受的评分等级。 3 分析主观质量评估数据后处理的重要性及现有后处理算法的不足之处，提 出引入置信区间进行计算的新算法，该算法能够更准确地剔除有异常值的观测者。 关键词：视频主观质量评估评分等级置信区间数据后处理 a b s t r a c t a b s t r a c t v i d e oq u a l i t ya s s e s s m e n tp l a y si m p o r t a n tr o l e si nv i d e oc o m p r e s s i o n , v i d e o p r o c e s s i n g , a n dv i d e oc o m m u n i c a t i o n sw h e r ec o m p r e s s i o na n dt r a n s m i s s i o na l w a y s l e a dt oq u a l i t yd e g r a d a t i o n s i n c es u b j e c t i v ev i d e oq u a l i t ya s s e s s m e n ti st h ei n t u i t i v e r e f l e c t i o no fv i d e oq u a l i t yi no b s e r v e r s p e r c e p t i o na n di m p r o v i n gt h es u b j e c t i v eq u a l i t y i st h ef i n a lg o a lo fv i d e oc o m m u n i c a t i o n sa n dv i d e os e r v i c e s ，s u b j e c t i v ea s s e s s m e n t s e r v e sa st h eb a s i so fa 1 1o t h e ra s s e s s m e n tm e t h o d sa n da t t r a c t se x t e n s i v er e s e a r c h i n t e r e s t s s u b j e c t i v eq u a l i t ya s s e s s m e n te x p e r i m e n t sr e q u i r eo b s e r v e r st os c o r et h ev i d e o s e q u e n c e sa c c o r d i n gt ot h eg i v e nr a t i n gs c a l e n l ec h o i c eo fr a t i n gs c a l ed i r e c t l y i n f l u e n c e st h eo b s e r v e r s c o r r e c te x p r e s s i o no ft h e i rp e r c e p t i o no fv i d e oq u a l i t y , a n dt h e c o n s i s t e n c yo ft h er a t i n gr e s u l t s c h o o s i n gap r o p e rr a t i n gs c a l ei st h e r e f o r eak e ys t e p o fs u b j e c t i v eq u a l i t ya s s e s s m e n t f i r s t l y , t h er a t i n gs c a l es h o u l dr e f l e c tt h es e n s i t i v i t yo f t h eh u m a nv i s u a ls y s t e m i ti st h e r e f o r en e c e s s a r yt of i n dap r o p e rr a t i n gs c a l ew h i c hi s c o n s i s t e n c yw i t hh u m a np e r c e p t i o n f u r t h e r m o r e ，d u et ot h es u b j e c t i v eu n d e r s t a n d i n go f v i d e o sc o u l db ed i f f e r e n tf o rd i f f e r e n to b s e r v e r s ，a sw e l la so t h e ri s s u e ss u c ha st h el a c k o fc o n c e n t r a t i o ni nt h ep r o c e s so fs u b j e c t i v ee v a l u a t i o n , t h e r ew o u l db eo u t l i e r si nt h e s u b j e c t i v et e s t s c o r e s t oe n s u r et h er e l i a b i l i t yo fs u b j e c t i v ee v a l u a t i o nr e s u l t s ， p o s t - p r o c e s s i n go ft h ed a t ai sn e e d e dt oe l i m i n a t et h eo u t l i e r s t l l i st h e s i si sd e v o t e dt o t h e d e s i g no ft h er a t i n gs c a l ea n da p p r o p r i a t ed a t ap o s t p r o c e s s i n g n em a j o r c o n t r i b u t i o n so ft h er e l a t e dr e s e a r c hw o r ki n c l u d e ： 1 b u i l de x p e r i m e n t a le n v i r o n m e n ta n dd e v e l o pt e s tp l a t f o r mf o rs u b j e c t i v ev i d e o q u a l i t ya s s e s s m e n tf o l l o w i n gt h er e q u i r e m e n t so fi n t e r n a t i o n a ls t a n d a r d s 2 b a s e do nt h et h e o r yo fv i s u a lp e r c e p t i o na n ds i g n a ld e t e c t i o n ，p e r f o r mr e s e a r c h o nt h er e l a t i o n s h i po fh u m a nv i s u a ls e n s i t i v i t ya n dd i f f e r e n tr a t i n gs c a l e s c o m p a r et h e i m p a c to fd i f f e r e n tr a t i n gs c a l e so nt h ec o n f i d e n c ei n t e r v a lo fs u b j e c t i v et e s ts c o r e s ， a n a l y z ea n dd e s i g nt h er a t i n gs c a l ew h i c hi sc o n s i s t e n tw i t hh u m a np e r c e p t i o n 3 a n a l y z et h ei m p o r t a n c ea n dd i s a d v a n t a g e so ft h ec u r r e n tp o s t - p r o c e s s i n g t e c h n i q u e ，a n dp r o p o s ean e wa l g o r i t h mc o n s i d e r i n gt h ec o n f i d e n c ei n t e r v a lw h i c h e l i m i n a t e st h eo u t l i n e r sw i t hh i g h e ra c c u r a c y k e y w o r d ：s u b j e c t i v ev i d e oq u a l i t ya s s e s s m e n tr a t i n gs c a l e c o n f i d e n c ei n t e r v a l p o s t - p r o c e s s i n go ft h ed a t a 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学( 保密的 论文在解密后遵守此规定) 。 本学位论文属于保密，在一年解密后适用本授权书。 日期鲨! ! ：! ：! 星 第一章绪论 第一章绪论 1 1 背景和意义 近年来，随着数字技术的飞速发展和广泛应用，各种视频通信技术层出不穷， 数字视频已经成为目前多媒体通信中最主要的媒体形式，数字电视、i p 电话、会 议电视等多媒体应用也得到了快速发展。由于视频通信使用者和视频服务消费者 对于视频的主观感受最终取决于视频的实际质量，因此对视频质量评估的研究日 益重要。目前视频质量评估在国际上已经成为一个非常活跃的研究课题，参与视 频质量评估研究的标准化小组有：国际电信联盟i t u t 的s g 9 ( i n t e g r a t e db r o a d b a n d c a b l en e t w o r k sa n dt e l e v i s i o na n ds o u n dt r a n s m i s s i o n ) 和s g12 ( p e r f o r m a n c ea n d q u a l i t yo f s e r v i c e ) ，i t u r 的s g l l t l l ，以及美国国家标准协会a n s i 的t 1 a 1 2 】【3 】。 另外，i t u t 和i t u r 的研究小组联合在一起，于1 9 9 7 年成立了视频质量专家组 v q e g ( v i d e oq u a l i t ye x p e r t sg r o u p ) 1 4 ，致力于视频质量评估方法的研究和相关标 准的制定。 数字视频质量评估在视频压缩、处理以及视频通信领域中都有十分重要的作 用，它不仅可以反映出实时或非实时视频系统的性能和各种视频传输信道的服务 质量( q u a l i t yo f s e r v i c e ，q o s ) ，有利于对编解码器进行性能评估和优化，同时还 有助于设计和优化符合人眼视觉特性的图形图像显示系统。多媒体通信业务提高 了移动终端之间传递信息的能力，为用户带来了更多的体验。如何在为用户提供 多业务的同时，提升用户的业务体验质量( q u a l i t yo fe x p e r i e n c e ，q o e ) ，从而获 得用户对业务质量感知的认同也是运营商需要考虑的首要问题。数字视频压缩技 术的目标是获取高压缩比和高质量的视频图像，但高压缩比会带来视频损伤，如 何评定这种损伤成为人们普遍关心的问题。与模拟视频系统相比，评价数字重建 视频质量更为复杂。 视频质量评估方法有主观质量评估和客观质量评估两大类。客观质量评估是 采用信噪比( s i g n a lt on o i s er a t i o ，s n r ) 或均方误差( m e a ns q u a r ee r r o r ，m s e ) 等指标对视频质量进行评价的，常用的客观质量评估方法分为全参考、部分参考 以及无参考客观质量评估方法。而人类视觉系统( h u m a nv i s u a ls y s t e m ，h v s ) 对 不同类型失真的敏感程度不同，且视频的统计数据易于随多种因素的改变而改变， 因此客观评价的结果往往与视频的主观质量不完全一致，不能很好的反映人的主 观感受。主观质量评估则是让一批受测者在一个受控的环境中，连续观看一系列 的测试序列，对视频序列的质量进行主观评分的。常用的主观质量评估方法有单 激励评估方法以及双激励评估方法等。由于它是视频质量在人眼中主观感受的直 观反映，符合视频通信与视频服务的最终目的，因此，国际上制订了相应的i t u r 2视频主观质量评估方法研究 b t 5 0 0 等视频主观质量评估标型5 h 1 0 1 ，作为研究和评价客观质量评估方法的基准。 但是主观质量评估方法必须提供严格的测试环境，并考虑大量的影响因素，因此 研究视频主观质量评估仍然有非常重要的意义。 1 2 本文的主要研究内容 在目前已有的主客观视频质量评估方法中，主观质量评估方法是通过观测者 对视频的主观感受来对视频质量进行评估的。由于它是人对视频质量主观感受的 直观反映，符合视频服务的最终目的，因此是所有评估方法的基础，需要对其进 行深入研究。本文从主观质量评估实验平台的建立、评估过程中所用评分等级的 分析以及对主观评分结果的分析处理等方面，对主观质量评估方法进行研究。 在主观质量评估中，具体测试条件、评估环境以及观测者的自身因素对评估 都会产生很大影响，导致观测者对视频序列评分结果的不一致，因此在评估时首 先要按照国际标准搭建良好的主观评估实验环境，建立主观评估实验平台，并在 评估开始前对观测者进行测试序列、观测条件和评估方法等方面的详细说明，使 观测者在评估前对整个实验过程有一个完整清晰的认识，从而能够对视频序列进 行有效一致的打分。 主观质量评估要求观测者使用给定的评分等级来对视频质量进行评估。通过 选择评分等级中合适的等级，观测者将自己对视频的主观感受以分数的形式表示 出来。评分等级能够从一定角度反映人眼的精度，所以需要确定符合人眼视觉特 征的、合适的评分等级。评分等级的等级数量过少会无法有效反映人眼的精度， 观测者对视频质量的区分完全可以做到比这样的评分等级更细的程度，因此用这 样简单的评分等级不能完全反映视频在人眼中的主观感受，它体现不出两两视频 间人眼能察觉到的、但又比等级间隔所能反映的更小的质量差别。而评分等级分 的太细、数量过多，人眼又无法达到这样的精度，即观测者无法对视频质量区分 地这么细致，不能有效使用这样的评分等级。在视频主观质量评估的具体实验过 程中，评分等级的数量究竟取多少才能够符合人眼的精度水平，这是视频主观质 量评估中的一个重要研究内容。本文对评分等级进行深入研究，分析评分等级与 人眼精度之间的关系，从评分结果的统计特征着手，通过比较不同等级数量的评 分等级对置信区间的影响，分析究竟使用多少等级数量的评分等级才有利于观测 者将自己的主观感受通过评分等级正确表达出来。 另外，在主观质量评估的实验过程中，由于观测者视觉认知特性的不同，对 视频质量的理解有所不同，评分结果可能会有差异，甚至会有异常值的出现；同 时，如果观测者在评分开始前对实验要求以及整个实验过程没有完整清晰的认识， 在评分过程中注意力不集中、评分不细心以及疲劳等自身因素对评估产生影响， 第一章绪论 3 也会导致评分结果中出现异常值。因此对评分结果进行有效性和可靠性分析，剔 除评估中出现的异常值，也是视频主观质量评估中的一个重要研究内容。针对此 问题，n u rb t 5 0 0 提出了数据后处理算法【5 1 ，专门用于剔除出现异常值和评分结 果严重不稳定的观测者。然而在对本文实验所得评分数据的实际分析处理中，使 用此算法无法达到准确剔除异常值的目的。因此本文对该算法进行深入研究，提 出能够准确有效剔除异常值的算法。 本文在视频主观质量评估的相关方面主要完成了以下工作： 1 参与搭建视频主观质量评估的实验环境，编程实现主观质量评估的实验平 厶 口o 2 研究单激励视频主观质量评估方法，以及各种测试条件及实验环境对评估 的影响，并分析人眼精度与评分等级的关系。 3 从数理统计的角度对评分等级进行分析，确定不同评分等级对评分结果数 学统计量的影响，研究符合人眼主观特征的评分等级。 4 深入研究i ，r u rb t 5 0 0 中的数据后处理算法，正态分布、标准差、置信区 间等与算法相关的统计理论【1 1 h 1 7 1 ，以及异常值的出现原因及判断处理方法【1 8 1 。分 析算法中的不合理之处，并提出能够准确剔除异常值的新算法。 1 3 论文的工作安排 结合上面对多媒体业务及视频质量评估的介绍，本文分以下三个部分对所做 的工作进行了详细地阐述： 第二章从整体上介绍了视频质量评估方法。首先介绍了视频的主客观质量评 估方法及各自的优缺点，指出了主观质量评估在视频质量评估中的重要性。接着 对主观质量评估中的单激励评估方法作了详细介绍。最后描述了本文所采用的视 频主观质量评估实验平台。 第三章从视觉认知和数学统计量两个方面分析了评分等级与人眼主观感受的 关系。首先介绍了视觉认知和信号检测理论的基本概念以及目前国际上常用的评 分等级，分析了评分等级存在的问题和已有的对评分等级的分析方法，最后研究 了不同评分等级对置信区间长度的影响。 第四章对用于剔除异常值的数据后处理算法进行了深入研究。首先描述了删 建议中对视频主观质量评估结果数据的后处理算法并对该算法进行了仿真分析， 同时简要介绍了与算法相关的理论。接着分析了算法的多个不足之处，从考虑置 信区间的角度对算法进行了改进，提出了一种能够准确剔除异常值的新算法，并 将新算法的仿真结果与原始结果进行了比较。 第二章视频主观质量评估方法 第二章视频主观质量评估方法 随着数字技术的飞速发展以及各种数字视频业务的广泛应用，人们对视频通 信和视频服务质量的要求越来越高。数字视频的一个重要特征就是视频图像的高 压缩比，但高压缩比会造成视频的损伤，引起视频质量的下降，因此如何评价视 频损伤与视频质量便随之成为人们普遍关心的问题。 对视频的质量评估可以分为主观和客观两类，本章首先对这两类方法进行详 细介绍，主要包括以下方面：视频质量的主客观评估方法及其优缺点，主观质量 评估的重要性，以及主观质量评估中单激励评估方法的具体介绍。最后介绍了本 文所采用实验平台的具体建立细节。 2 1 视频质量评估方法 目前，常用的视频质量评估方法有两大类：主观质量评估( s u b j e c t i v eq u a l i t y a s s e s s m e n t ，s q a ) 和客观质量评估( o b j e c t i v eq u a l i t ya s s e s s m e n t ，o q a ) 1 9 】【2 0 1 。 主观质量评估就是让受测者在一个受控的环境中观看测试序列，对视频序列的质 量进行主观评分。客观质量评估则是根据一定的模型，对视频序列进行分析，按 模型的质量尺度得到一定的客观评分。下面对这两种方法分别进行介绍。 2 1 1 视频主观质量评估 视频主观质量评估【5 】【6 】就是选择一批专家或非专家类型的受测者，让他们在 一个受控的环境中，连续观看二组测试序列大约1 0 - - 3 0 m i n ，然后采用不同的评 估方法让他们对所观看视频序列的质量进行评分，根据评分结果求得平均主观意 见分m o s ，并对所得数据进行有效性和可靠性分析。受控的环境包括：观看距离、 观测环境、测试序列的选择以及测试序列的显示时间间隔等。下面根据不同的测 试环境和测试目的，介绍几种常用的视频主观质量评估方法。 1 d o u b l es t i m u l u si m p a i r m e n ts c a l e ( d s i s ) d s i s 方法是一种双激励评估方法。在此方法中，受测者观看多个原始参考视 频和对应失真视频组成的“视频对 ，且每次总是先显示原始参考视频，然后显示 失真视频【5 】【1 9 】。受测者按照一定的评分等级，对失真视频相对于参考视频的总体失 真程度进行打分。常用的评分等级为离散5 分制，如表2 1 所示。 表2 1d s i s 的离散5 分制评分等级 l234 5 完全察觉不到能察觉到但不令人讨厌稍微令人讨厌的令人讨厌的非常令人讨厌的 视频主观质量评估方法研究 2d o u b l es t i m u l u sc o m m u o u sq u a l i t ys c a l e ( d s c q s ) d s c q s 也是一种双激励评估方法。在此方法中，受测者观看的仍是多个原始 参考视频和对应失真视频组成的“视频对”与d s i s 方法不同的是，原始参考视 频和失真视频的显示顺序是随机的，并且受测者对每个“视频对”中两个视频的 质量都进行评分，即让受测者参考每个。视频对”中的一个视频对另外一个视频 的质量进行打分口】【。为了避免量化误差，这种方法提供了一个连续的评分等级， 但是为了与5 分制的评分标准一致，它也被等分成了5 份，如图2 1 所示。图2 2 中给出了d s c q s 测试系统的框图# m 。 镕一艘好很好 图2 l 连续分制的评分等级 图2 2 d s c q s 测试系统 恒 3 s i n g l es t i m u l u s m e t h o d s ( s s m ) s s m 方法是一种单激励评估方法。在此方法中，随机组合若干个原始参考视 频和失真视频井独立显示每个视频，对于不同的观测者，视频序列的随机显示顺 序不同受涮者对每个视频的质量进行打分1 5 l q 。s s m 方法的具体实现方式分为 两种：一种是s s ( s i n g l e - s t i m u l u s ) 方法，即不重复放映测试序列；另外一种是 s s m r ( s i i l 出s t i m u l u s w i t h m u l t i p l e r e p e t i t i o n ) 方法，即把测试序列重复放映多 次。这种方法最常用的评分等级是5 分制，当要求评分精度更高时，可以采用9 分制以及扩展的1 1 分制；另外，也可以使用连续的评分等级。 4 s i n 甜es t i m u l u s c o n t l n v d u s q u a l i t y e v a l u a t i o n ( s s c q e ) s s c q e 方法也是一种单激励评估方法。与上述几种采用较短独立测试序列进 行测试的方法不同，s s c q e 选取的序列段持续时间较长，大约l o 2 0 m i n ，最短 的持续时间也有5 分钟 5 ”i 。受铡者持续对测试序列进行观看并评估，最后从一 系列的打分中得到一个统计数据。最终的得分不只考虑分值的大小，还要考虑打 第二章视频主观质量评估方法7 分的时间。这种方法很好地适用于视频质量具有时变特性的压缩系统，但是测试 序列的选取对实验结果有较大的影响。 通过对以上几种评估方法的比较分析可知，d s c q s 方法能反映出视频间细微 的质量差别，因此更适用于测试视频和参考视频质量相差不大的情况。而d s i s 更适合评价特殊效应引起的视觉失真。由于人记忆力的限制，d s c q s 和d s i s 的 评分会倾向于依赖最后十几秒的视频质量，因此不适合评价较长的视频序列。另 外，d s c q s 中参考视频的使用和序列的重复等测试条件都不同于实际的家庭观看 环境，给主观质量评估带来了一定的困难。s s c q e 就是针对这一问题而提出的， 它能够较好的评价时变质量，但s s c q e 方法与测试序列的内容关系很大，并且 由于缺少参考视频，因此无法准确地对不同实验的评分结果进行比较。 主观质量评估是完全根据人眼主观感受进行的评估，因此它不仅适用于传统 的模拟系统，也适用于数字压缩系统；评估得到的m o s 值，能够准确反映视频的 质量，很好地应用于各种视频图像系统中。但是主观质量评估也有以下不足之处： 1 主观质量评估必须提供严格的测试环境，考虑大量的影响因素和可能性， 因此实现起来步骤复杂，代价昂贵。 2 主观质量评估的实时性不好，不利于实时视频通信中视频质量的评估。 2 1 2 视频客观质量评估 由于视频主观质量评估过于复杂且结果易受多种因素影响，因此提出了在实 际应用中易于实现的视频客观质量评估。对于一个视频客观质量评估方法来说， 关键是要找出一个或几个最合适的视频质量度量方法( v i d e oq u a l i t ym e t r i c ， v q m ) 来衡量视频质量的好坏。而且对于视频质量的衡量，受测者的主观感受最 为准确，因此在相同的视频系统和测试序列条件下，要求客观评估的结果应与主 观评估的结果具有好的相关性。根据失真视频的评估过程中对原始参考视频的需 要程度，可以把视频客观质量评估方法分为以下三大类【一】【2 1 】： 1 全参考( f u l lr e f e r e n c e ) 视频客观质量评估方法 全参考视频客观质量评估方法需要完整的原始参考视频，通过比较失真视频 和原始参考视频，得到失真视频的质量。目前使用最广泛的峰值信噪比( p e a k s i g n a lt on o i s er a t i o ，p s n r ) 1 3 】就是把原始考参视频与失真视频在每一个对应帧 中的每一个对应像素之间进行比较的一种全参考客观评估方法。 在原始参考视频序列可用的情况下，全参考方法通过衡量编码器参数的改变 对视频质量的影响，对视频处理和压缩技术进行评估。它有助于算法的设计和优 化，而且也可以在压缩视频传输前监测到视频质量的下降，从而通过改变编码参 数来调节视频质量。但是由于全参考方法需要完整的原始参考视频，这在许多情 视频主观质量评估方法研究 况下无法实现，限制了它的应用范围。另外，p s n r 是在像素级上进行操作的，它 对视频时域和空域失真非常敏感，而人的视觉系统对某些类型失真的敏感程度没 有这么高，因此得到的结果不一定与视频的主观质量完全一致。 2 部分参考( r e d u c e dr e f e r e n c e ) 视频客观质量评估方法 部分参考视频客观质量评估方法是指在原始参考视频和失真视频上分别施加 某种运算，各自得到少量的统计数据，然后对提取出的统计数据进行分析， v o r a n w o l f 提出的n i s tn t i a 1 0 】方法就属于这种类型。 由于部分参考方法只需要传输有限的统计数据，节省了带宽，因此可用于实 时监控连续视频传输流的质量。但从理论上来说，一些失真视频序列的统计数据 和无失真序列完全相同，但在主观视觉上却大不相同；并且由于视频的统计数据 易于随观看距离、亮度范围等因素的改变而变化，甚至有可能得到完全不同的统 计数据。部分参考方法无法完全考虑到上述这些情况。另外，部分参考方法仍然 需要由原始参考视频得到的一些额外数据，限制了它的应用范围。 3 无参考( n or e f e r e n c e ) 视频客观质量评估方法 无参考视频客观质量评估方法不需要来自原始参考视频的任何消息，仅仅通 过对视频空域和频域的处理和分析来提取失真视频序列中出现的某些失真特征 ( 如方块效应、模糊等) ，然后根据各类失真特征来判定视频序列的质型1 9 1 。由于 无参考方法不需要参考视频，因此非常适用于对网络终端的视频质量进行实时评 估，如因特网上的点播和广播业务。但此方法对某些类型失真的敏感程度较低， 特别是无法检测设计时没有考虑到的失真类型。 2 1 3 主观评估的重要性 由于各种视频系统的最终目的是为各类用户提供通信、娱乐和教育等服务， 所以用户对视频质量的直接评价，即主观评估，是视频质量评估中最为准确和重 要的方法。 虽然对所有视频质量均进行主观评估，实现起来步骤复杂，代价昂贵，实时 性也不好，不利于实时视频通信中视频质量的评估，对此人们也提出了上述多种 客观质量评估方法作为改进，并且其中的一些方法已广泛应用于实际的视频通信 系统中。但是由于各种限制，相对于主观评估方法来说，客观评估方法更多的是 表明了失真图像或视频序列相对于原始图像或视频序列的失真程度，而不是图像 或视频序列的真正质量，也并未体现出人眼在观看时的主观感受。而且客观评估 也是以主观评估为基础的，通过用主观评分结果对影响视频质量的因素进行分析， 最终提出符合人类主观感受的客观模型。其最终目标是不仅要从客观方面准确反 应视频质量的好坏程度，更要与人眼对视频质量的主观感受相一致。因此，视频 第二章视频主观质量评估方法 9 质量的主观评估仍是各种视频质量评估方法的基础，需要进一步深入研究。 2 2 单激励视频主观质量评估 双激励评估方法是在参考视频与失真视频之间进行比较的评估方法，不同于 实际家庭观看环境中观测者对视频质量的直接评价与视频服务的最终目的，而单 激励评估方法不需要参考视频，适用范围比双激励评估方法更广泛，因此本节接 下来对单激励视频主观质量评估方法进行详细介绍。 本文对视频主观质量评估方法的研究都是基于s s m 方法中不重复放映测试 序列的s s 方法进行实验的，因此将以s s 方法为例对单激励视频主观质量评估方 法进行具体介绍。 s s 方法在1 1 f u tp 9 1 0 中又称为a c r ( a b s o l u t ec a t e g o r yr a t i n g ) 方法1 6 】。在 此方法中，为了减弱视频序列播放时上下文效应( c o n t e x te f f e c t ) 对主观质量评估 的影响，每次实验均以随机的形式显示多个测试视频，并且对于不同的观测者， 视频序列的显示顺序也不相同。评估过程中，每次单独呈现一个视频序列，观测 者对其整体质量进行打分。s s a c r 方法中激励呈现的时间模式如图2 3 所示，该 方法要求观测者在序列a i 、序列b j 和序列c k 等时间段观看测试序列( 序列a i 、 b j 、c k 分别表示原始序列a 、b 、c 分别在测试条件为i 、j 、k 时的测试序列) ， 在仅有灰色背景的时间段内对视频序列进行评分。评分时间应该少于或等于1 0 s ， 具体时间的长短取决于评估中所使用的评分机制。序列的呈现时间可以根据测试 材料的内容增加或减少。s s a c r 评估方法使用的评分等级为5 分制，对评分精度 的要求更高时，可以使用9 分制或1 1 分制的评分等级，也可以使用连续的评分等 级。关于评分等级的内容将在第三章中详细介绍。下面介绍s s a c r 方法的评估 细节与评估要求，这些要求对观测者准确有效地评估视频质量来说是很重要的。 2 2 1 实验条件 序歹l j a i 灰色背景 序列b j 灰色背景序列c k 图2 3a c r 方法s s 方法的测试过程 i t u 的相关建议【1 1 中已经给出了特定系统中主观评估的特定观测条件，这里 仅介绍主观质量评估的一般观测条件5 】【6 1 。不同的环境有不同的观测条件，主要 分为实验室观测环境和家庭观测环境。实验室观测环境提供了检测系统性能的严 l o 视频主观质量评估方法研究 格观测条件，而家庭观测环境给顾客提供了评估电视质量的方法。由于本文数据 均是在实验室环境下得出，因此仅对实验室环境下主观质量评估的一般观测条件 进行说明。 实验室环境下的观测条件如下【5 】： 1 ) 不活动屏幕的亮度和峰值亮度比：s 0 0 2 2 ) 在一个完全黑暗的房间内仅显示黑电平时的屏幕亮度，和仅显示相应的白 电平峰值时的屏幕亮度之比：0 0 1 3 ) 显示器的亮度和对比度：通过p l u g e 建立( p l u g e 图案是一个用来校 正电视显示装置上亮度的检验图，具体见丌u rb t 8 1 4 t 2 2 1 和i t u - rb t 8 1 5 t 2 3 1 ) 4 ) 相对于正常视角来说的最大观测角：3 0 。( 这个数值仅适用于c r t 显示器， 其它显示器的合适取值还在研究中) 5 ) 图像的背景亮度和图像的峰值亮度之比：o 1 5 6 ) 背景色度：坟， 7 ) 房间亮度：低 观测者在对视频序列质量的评估过程中，还应该满足以下观测条件【6 】： 1 ) 观测距离：4 h 8 h 2 ) 显示器的峰值亮度：7 0c d m 2 - 2 0 0c d m 2 3 ) 没有背景照明情况下的屏幕对比度：3 0 5 0 4 ) 背景亮度和最大屏幕亮度之比：0 2 5 5 ) 照明：大约5 0 0l u x 其中，h 表示图像高度。确定观测距离时不仅要考虑屏幕尺寸，同时也要考 虑屏幕类型以及实验目的等。由于观测距离是由观测者主观决定的，对于给定的 视频高度，当视觉质量降低时，观测者可能会增加观测距离。考虑到这一点，在 最优测试中应该使用4 h 6 h 这样更严格的观测距离，本文中实验所建议的观测距 离就是4 h 6 h 。 2 2 2 实验材料的选取 由于实验中直接用源视频作为参考图像，并且为了研究各种因素对视频质量 的影响而对原始视频进行不同失真处理时，也使用源视频作为系统输入，因此源 视频应该选用最优质量的视频序列，在参考视频中使用没有损伤的源视频对于得 到稳定的结果数据是至关重要的。 在视频评估中有多种方法来产生测试材料，而实际中不同种类的测试材料应 该用于不同的评估情况，r r u rb t 5 0 0 中给出了测试材料的具体选择方法【5 1 。 2 2 3 评分等级 第二章视频主观质量评估方法 s s 方法中，观测者使用5 分制来对每个序列进行评估卯，其评分等级如图2 4 所示。如果在视频序列的评估过程中需要有较高的分辨力，可以使用9 分制或者 1 1 分制的评分等级，具体评分等级的介绍及分析在第三章中进行。 2 2 4 观测者 图2 4s s a c r 方法中的评分等级 由于观测者的选取直接关系到主观质量评估的结果及后续分析，因此在选择 观测者时应该慎重考虑。观测者分为专家观测者和非专家观测者两类。专家观测 者在评估时会从各种客观指标方面考虑视频序列的质量，而不是仅通过人眼的主 观感受考虑视频的主观质量，不符合视频主观质量评估的目的；而非专家观测者 在评估过程中不会直接考虑视频序列的质量，仅仅只是考虑自己的主观感受，并 且没有评估经验，在评分过程中可以得到比专家观测者更严格的评分结果。因此 在评估中，除了需要使用少数专家观测者进行精确评估之外，还需要使用至少1 5 个非专家观测者，最好2 0 人甚至更岁引。 在测试开始前，应该首先对观测者进行视力和视觉检查，以保证所有的观测 者都有正常的视力和彩色视觉。观测者的数量应该由实验要求的精度和可靠性， 以及实验预期要达到的测试效果来决定。对观测者的性别与年龄结构等方面也要 进行全面考虑。在数据处理结果中，应说明观测者的类型、人数和观测距离等。 2 2 5 评估前对观测者的说明 每个测试阶段开始时，都应该先向观测者说明本次评估过程的一些细节【5 】【9 】， 使观测者对整个评估过程有一个完整清晰的认识。这些要说明的细节具体包括： 测试方法及测试序列的选取、实验所涉及的损伤类型或者可能的品质因子、评估 中所用的评分等级、测试序列的持续时间以及总的测试时间等，语气应无偏向性， 避免做出会影响分数评定的说明。然后，给出几幅受损程度不同的视频序列作为 一一一一一 5 4 3 2 l 视频主观质量评估方法研究 示例，但不得与具体的主观评分等级相联系，以免误导观测者的评分结果，也不 必包括待测视频序列失真量的高、低限范围旧。用于说明评估范围和损伤类型的 示例序列应该不同于测试中使用的其它视频序列，但是要有相似的精度。 根据不同实验的具体情况，评估前对观测者的说明应有所不同，本文中实验 所采用的说明文档如图2 5 所示。 图2 5 主观实验开始之前对观测者的说明文档 正式开始评估时，观测者应按评分等级的说明对依次出现的视频序列进行独 立评分，尽量不去回想前一个视频序列或上一个内容相同的视频序列，而要在第 一时间根据自己的主观感受迅速做出反应并给出评分结果。在测试过程中，应避 免观测者的视觉和听觉受环境干扰而分散注意力。 为了避免观测者出于疲劳而影响评分结果的准确性，一个测试阶段( 包括事 先对观测者的说明、视频示例、以及正式评估) 的总时间不应超过3 0 分种。在两 个测试阶段之间同一批观测者至少要有半天的休息时白j 。如果一个测试阶段的 时间总长度超过3 0 分钟应尽可能适当地将整个阶段分为两部分甚至三部分来进 行，每部分中日j 抹息5 分钟。在体息结束时，应再次向观测者提供示例，以便于 观羽f 者从休息中恢复过来并重新进行评估。 2 26 结果分析 对主观评估的结果数据应该首先分析有无不合理数据或异常值的出现。如 果有异常值出现，或有数据丢失现象，则应对相应的观涮者进行剔除、修正数据 或者补齐数据等处理，才能进一步对其数据进行视频质量方面的分析 s 1 6 1 ”。关于 第二章视频主观质量评估方法 数据处理更加详细的讨论将在第四章中进行。对处理后的数据进行进一步分析时， 需要给出每次测试评分结果的均值和9 5 的置信区间。如果评估中损伤因子发生 改变，就需要使用曲线拟合技术对数据进行分析。 另外，给出评分结果时，必须同时给出关于测试环境的搭建细节、所用测试 材料的细节、源视频序列和显示器类型、观测者的数量和类型、以及评分结果的 总平均分等信息【5 】，如果通过数据后处理算法，有一个或更多的观测者被剔除，则 还需要同时给出原始的和数据处理后的均值和9 5 的置信区间。 2 3 视频主观质量评估实验 本节按照上面介绍的国际标准中主观评估的一般观测条件搭建视频主观质量 评估实验环境，根据s s 评估方法建立主观评估实验平台并进行实验。本实验的目 的是研究运动矢量、误码、量化、帧率以及其它一些因素对视频质量及人类主观 感受的影响。各种因素的研究都是针对实验评估的结果数据进行的，因此在本文 的后续章节中对实验得到的结果进行了分析，研究能准确剔除不合理数据的后处 理算法。另外，为了研究评分等级对观测者的评分过程和评分结果的影响，每次 评估实验都使用了不同的评分等级进行评分，其中连续分制的评分等级如图2 1 所 示，其余分制的评分等级将在3 3 1 节中详细介绍。 本文实验所采用的测试序列格式、编码方式以及实验条件等分别如下： 1 ) 视频格式：s u b q c i f ( 1 2 8 * 9 6 ) ，q c i f ( 1 7 6 * 1 4 4 ) ，q v g a ( 3 2 0 * 2 4 0 ) 等； 2 ) 视频序列播放长度：8 s ； 3 ) 没有音频； 钔编码方式：h 2 6 4 和m p e g 4 两种； 5 ) 符合i t u 建议【5 】【6 】的测试环境； 6 ) 2 2 寸液晶宽屏显示器，1 6 8 0 1 0 5 0 自然分辨率； 7 ) 观测距离：4 h 6 h ( h 为视频图像的高度) ； 8 ) 每个实验阶段都有3 到5 个观测者同时使用电脑进行评估，每个显示器前 只有一个观测者，根据实验要求的不同，每个实验分为多个阶段进行； 9 ) 不同观测者及不同实验都使用了不同的随机播放顺序。 本文使用v i s u a lc + + 6 0 环境矧及m f c t 2 5 】来建立主观质量评估实验平台。建 立的实验平台以及具体实验过程中的界面显示顺序如图2 6 、图2 7 及图2 8 所示， 分别是对观测者的说明、观测者输入姓名以及最终观测者看到的播放视频序列及 评分的界面。 如图2 6 所示，在评估开始前，观测者首先示阅读说明文档，了解