（通信与信息系统专业论文）时域失真对视频质量影响研究.pdf

摘要 摘要 数字视频质量评估在视频压缩、处理以及视频通信领域中起着十分重要的作 用。速率控制、分组网络中的传输错误以及解码端的恢复技术都会引起视频丢帧， 规则丢帧会导致低帧率的恢复视频，引起视频画面有规律的不连续，降低视频的 时域平滑性。而不规则丢帧会引起视频抖动，造成视频时域失真。本文着重研究 规则丢帧即帧率变化对视频质量的影响。 本文首先通过主观视频质量评估实验得到具有不同帧率的压缩视频的主观质 量，根据对主观实验数据的分析，得到帧率与视频主观质量的关系模型。在此基 础上，考虑视频的运动特性，建立了帧率、运动特性与视频质量的关系模型。然 后利用通用的p s n r 测度衡量视频的空域失真，提出了一种帧率自适应的视频质 量评估方法。实验表明该方法可以有效地反映帧率变化对视频质量的影响，较好 地符合人眼的视觉感受。 关键词：视频质量丢帧运动特性压缩失真峰值信噪比 a b s t r a c t ! ! !一一 a b s t r a c t d i 西t a lv i d q u a l i t ya s s e s s m e n tp l a y si n l p o r t a n tr o l e si nv i d e 0c o m p r e s s i o n ，v i s u a l p r o c 髑s i n ga n dv i d e 0c o i l l r i l u l l i c a t i o n s h lv i d 印p l i c a t i o 郴，r a t ec o n n 0 l t e c h n i q u e s ， 仃i m s m i s s i o ne 肿r si nm ep a c k e tn e 耐o r k so re r r o r - c o n c 朗l m e n ts 仃j l t e 百懿a tm e d e c o d e rc o u l da l l l e a dt 0 觎胁el o s s r e g u l a r 行锄ed r o p p i n gc o u l d1 e a dt 0r 。c o n s t n l c t e d v i d e oa tal o w e r 觑匝em t e ，w h i c hr e s u n si i lr e g u l a rd i s c o n t i n u i t y 锄dl o wt e m p o r a l s m o o t h e s so ft h er c c 0 n s 仃u c t e d 们d e 0 o nt h eo t l l e rh a n d i 玎e g u l a r 触m el o s sc o u l d p r o d u c ej i t t e r 锄dc a 吣e ss e r i o l l sd e 蹦l d a t i o ni l lv i d e 0q u a l i 够1 1 1 i st l l e s i si sd e v o t e d t o t 量l er e s e 盯c ho nt h ei m p a c to f r e g u l a r 岔锄ed r o p p i n go nm ep e r c 印t i l a lv i d e oq u a l i t ) ， f i r s t l y w ep e 面r n l e de x t e n s i v ee x p 丽m t so fs u b j e c t i v eq i l a l 时a s s e s s m e n tt 0g e t t l l es u b j e c t i v eq u a l i t yo fc o m p r e s s e dv i d a tv 撕0 u sm 衄er a t 瞄t h r o u g l l 锄a l y s i so f t l l es u b j e c t i v er a t i n gr e s u l t s ，w ep r o p o s ear e l a t i o n s h i pm o d e lb e t 、v e e i lt h e 丘锄er a t e 锄ds u b j e c t i v ev i d e 0q u a l i t y f u m l e n m o r e ，c o n s i d 西n gt h em o t i o nc h a r a c t 嘶s t i c s0 f 讥d e o ，、ee s t a b l i s han e wq u a l i t ym “cw h i c ht a l ( 鼯i n t oa c c o u n tt l l eq u 锄t i z a t i o n e 仃o r s ，胁e - r a t e ，锄dm o t i o ni n f o m a t i o nb a s o do nt l i sm o d e l a r e r w a r d s ，w ep r o p o s e an e wq u a l i t ya s s e s 跚1 e n tm o d e lw 1 1 i c hu s e st h ep s n r t 0e v a l u a t et h es p a t i a ld i s t o n i o i l ， 锄dp r e s e n ta 劬m e r a t ea d a p t i v ev i d e 0q u a l n ya s s e s s m 饥tm e t h o d t l l er e s u l t so f e x p 丽m 髓t ss h o wt h a tt b i sm e m o dc o u l dr e f l e c tt l l ei n l p a c to f 行锄e r a t ec h 锄西n go n v i d e oq u a l i t ye 虢c t i v e l y ，w r h e r ct h ef c s u l t sa r ec o n s i s t e l l tw i t hh 哪a l lv i s u a lp e r c 印t i o n k e y w o r d ： v i d e oq u a u 够f r a m ed r o p p i n gm o t i o nc h a r a c t e r i s t i c s c o m p r e s s i o nd i s t o r t i o n p s n r 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学( 保密的 论文在解密后遵守此规定) 。 本学位论文属于保密，在一年解密后适用本授权书。 本人签名： 导师签名：盔翌益垒 日期 第一章绪论 第一章绪论 近年来，随着宽带m 和无线网络的广泛应用，以及超大规模集成电路( v l s i ) 技术的飞速发展，各种多媒体应用激增，多媒体信息时代已经来临。由于视觉信 息所特有的直观性和生动性，因此图像视频技术受到了更多的关注。数字视频是 目前多媒体通信中最主要的形式，可视电话和视频会议都是基于数字视频的多媒 体应用。对于一般的视频应用用户而言，他们并不懂得这些复杂的技术内幕，用 户对业务质量的评价主要取决于其主观感知质量，所以对于视频质量评估技术的 研究，尤其是对符合人类主观感受的视频质量评估技术的研究就显得尤为重要 【l 】 【2 1 。1 9 9 7 年成立的视频质量专家组v q e g ( d e 0q u a l 时e x p e n sg r o u p ) 【3 1 ，专 门致力于视频质量评估方法的研究和相关评估标准的制定。 所谓视频帧率，即每秒播放的视频画面数。由于人眼具有视觉暂留效应，当 每秒播放超过2 4 个静态画面时，便可以看到视频画面间是连续的。随着帧率提高， 视频连续性越好，画面越流畅。在信道容量非常大的情况下，可以通过提高传送 帧率来提高视频的主观质量。然而，实际应用中普及最广泛的通信信道是甚低码 率信道，而视频的数据量又是非常大的，为了能在这种有限的信道中传输大量的 多媒体信息，我们通常采取相应的应对措施对视频数据使用一定的压缩算法 进行压缩。然而在固定帧率的情况下，调整量化参数仍无法实现极低码率传输， 所以编码端会采用一些速率控制机制，直接丢弃一部分视频帧，不再对它们进行 编码和传输。采用这两种方式，可以有效的减少数据量，保证视频的正常传输。 当然，这两种减少视频数据量的方式，都会造成视频的失真，引起主观感知质量 的降低。 通常，由于压缩引起的视频失真【3 】可以分为两大类：第一大类是空域失真，包 括方块效应( b l o c k i n ga n i f a c t s ) 、模糊( b l u r r i n g ) 和震荡效应( d n 西n g ) 【4 h 州等。 方块效应是指图像中编码块边界的不连续性，这种不连续性是由相邻块在编码中 相互独立的d c t 系数量化过程造成的。模糊是指视频内容空间细节的丢失和边缘 清晰度的下降，产生模糊的原因主要是高频系数的粗量化。震荡效应是指失真图 像中高对比度边缘处的抖动现象，它同样是由于量化特别是高频分量的粗量化引 起的。第二大类是时域失真，如闪烁( n i c k i n g ) 、蚊噪( m o s q u i t on o i s e ) 。蚊噪出 现在同一序列各帧的相同区域，主要出现在结构平滑的区域，是由采用了块匹配 的位移估值和运动补偿算法引起的。闪烁通常是由于相邻图像内对应纹理部分采 用了不同的量化因子压缩而造成的。对于较为严重的闪烁，可以通过观测该点随 时间的质量波动而估算出闪烁的程度。 对于由丢弃数据帧造成的时域失真，可以按照编码端采用的不同丢弃策略， 即规则丢帧和不规则丢帧，分为颤动( j e r k i n e s s ) 【i o 】和抖动( j i t t e r ) 【l l 】。规则的丢 2 时域失真对视频质萤影响研究 帧是指编码端为了满足码率的要求，进行帧率下采样等措施产生的丢帧。这种形 式的丢帧是按照一定的规律出现的，丢弃帧均匀地分布在整个视频序列间。规则 的丢帧即引起颤动( j 酞i n 郫s ) 。这种形式的丢帧是按照一定的规律出现的，由编 码端通过跳帧来实现，即只对部分帧进行编码，不进行传输编码的视频帧均匀地 分布在整个视频序列间。对于被编码端跳过的视频帧，解码端通常的做法是重复 跳帧前的图像，直到下一帧可用数据到来。由于解码端一直在持续播放跳帧的前 一帧图像，用户便可以感觉到有规律的视频冻结及视频不连续性现象。若编码端 采取不规则的跳帧策略就会导致不规则的丢帧，不规则的丢帧其帧丢失间隔和相 对时域位置都是变化的，它会引起抖动( j i t t e r ) 。当抖动发生，用户可以感觉到一 段视频中突发的无规律的视频画面冻结及视频不连续性现象。通常在丢帧数目相 同的情况下，不规则丢帧比规则丢帧引起的失真要更严重一些。 以上两种丢帧情况都属于编码端有目的有意识地主动丢弃数据帧，有时候编 码端也会被动地丢弃一些数据帧。比如，在总的编码比特率和视频帧率一定的情 况下，量化步长是随着视频内容的复杂度而变化的。当视频的内容复杂度增大时， 编码端通常是增加q p 来降低编码比特率，防止缓冲区溢出。然而，对于视频内容 复杂度急剧增加的情况，通过调整q p 仍然不能满足目标比特率要求，缓冲区就会 溢出，编码端就会丢弃一些帧。这种丢帧情况也属于不规则丢帧，会产生抖动( j i n e r ) 现象。 此外，不规则的丢帧还可能是由解码端和易错信道造成的。有时候由于解码 端的处理能力不够，不能播放所有的视频帧，就会丢弃掉其中的一部分。在诸如 视频电话、电话会议等多媒体应用场合，压缩后的视频数据通常是在分组交换网 络中传输的。对于这种易错信道，数据包在其中传输时就会出现丢失和时延现象， 如果解码端不能及时接收到该数据包，就会导致数据包的丢失，严重时也可能会 发生整帧数据包丢失的情况。这两种情况产生的不规则丢帧也同样会导致视频的 时域失真抖动现象。 总之，无论是由帧率变化引起的时域失真，还是由不顾则丢帧造成的时域失 真，都会对感知视频质量造成负面影响。对于一个非实时系统而言，我们可以在 传输之前采用预处理编码和存储的方式来避免丢帧造成的视频时域失真，也可以 通过反复实验得出一个最优的编码缓存器来降低这种负面影响。然而，对于诸如 视频电话和电话会议等实时应用场景，就需要合理选择编码帧率和每幅图像的编 码比特数。由于最大允许传送的数据量是一定的，所以当视频帧率较高时，则相 应的每帧视频分到的编码比特数较少，表现为视频的时域连续性较好、而单帧视 频的质量较差；当视频帧率降低时，则相应的单帧视频的编码比特数会提高，表 现为单帧视频的质量较好而视频的时域连续性较差。因而，在信道带宽一定的情 况下，合理地分配每帧视频的编码比特数和视频的帧率是非常必要的。在信道一 第一章绪论 定的情况下，对于确定的视频来说，最关键问题就是如何选定一组合适的编码参 数，以均衡单帧图像的质量和视频流畅性，从而得到一个最优化的视频感知质量。 本论文主要侧重于帧率的下降和视频的压缩对视频质量的影响，各章节内容 安排如下： 第二章首先简要介绍常用的衡量视频质量的主观和客观方法：然后给出建立 客观模型使用的回归分析和最小二乘的方法；接着结合评估模型和评估方法的发 展过程，详细介绍主要的视频时域质量客观评估方法；最后分析时域掩盖效应和 失真出现的时间位置对失真程度的影响。 第三章进一步分析已有的模型，该模型是建立在无压缩视频的基础之上的。 然而，在大多数的应用场景中，人所看到的视频是经过压缩处理的。文中针对这 一现象先通过主观视频质量评估实验得到具有不同帧率的压缩视频的主观质量， 然后对实验数据进行分析，结合实验结论，提出一个基于帧率变化及其运动特性 的视频客观质量评估模型，该模型考虑了编码压缩对视频质量的影响。实验结果 表明，模型考虑的因素更加全面，参数较少，预测的视频质量与主观值一致性较 好，符合人眼的视觉感受。 第四章进一步分析已有的基于p s n r 和帧率变化的模型，对该方法将重复帧 的p s n r 也考虑在内的这一问题，提出了改进办法，建立了一个基于p s n r 、帧率 变化和视频运动特性的模型。该模型将由帧率变化造成的、影响视频质量的时域 失真因素从p s n r 的计算当中分离了出来。模型将影响视频质量的空域失真与时 域失真分开考虑，参数较少，模型的预测结果与主观值一致性良好。 第二章视频时域失真及其主要模型 5 第二章视频时域失真及其主要模型 2 1 视频质量评估的主要方法 随着多媒体业务在通信业务中比重的增加，视频质量评估技术的重要性日益 凸显出来。数字图像和视频在获取、压缩、处理、传输和重现的过程中很容易产 生各种类型的失真，为了评价这些失真对用户的影响程度，就必须对视频进行质 量评估。视频质量评估是衡量各种视频处理过程的重要指标。 对于通信设备商来说，如果他们的视频产品质量评估合格，会极大推动其产 品的销售；对于运营商，好的评估结果有助于其业务的推广宣传，增加用户数量； 而对于一般用户来讲，复杂的技术解说显然不如良好的感知质量更具说服力。因 此，视频质量评估在视频通信领域中起着十分重要的作用，视频系统的信源与传 输信道的服务质量( q u a l 时o fs e r v i c e ，q o s ) 均可通过视频质量反映出来。通过 视频质量对服务质量的反馈，可以有效调节编解码器和信道的参数，提高服务质 量。 因此，视频质量评估在视频通信领域中起着十分重要的作用，视频系统的信 源与传输信道的服务质量( q u a l 时o fs e r v i c e ，q o s ) 均可通过视频质量反映出来。 通过视频质量对服务质量的反馈，可以有效调节编解码器和信道的参数，提高服 务质量。 通常，人们将视频质量评估的方法分为两大类：视频主观质量评估( s u b i e c t i v e q u a l i t ya s s e s s m 耐，s q a ) 和视频客观质量评估( o b j e c t i v eq u a l 埘a s s e s s m 饥t ， o q a ) 。 2 1 1 视频主观质量评估方法 视频主观质量评估【1 3 】【1 5 】：让一群受测者，在一个特定的环境中，观测一系列 的测试序列，然后让他们对观测到的视频序列进行评分，求得分数的平均值( m e 趾 o p i n i o ns c o r e ，m o s ) ，并对所得数据进行分析。实验中需要控制的环境因素包括： 观测环境的光线条件、观测距离、每个序列的显示时间、序列总的播放时间、实 验仪器设备条件等。相应的主观评估方法有如下几种： 1 )d o u b l es t i m u l u si i i l p a i n i l e n ts c a l e ( d s i s ) i ”】受测者观测多个由原始参 考视频和失真视频所组成的视频对，观测的顺序是原始参考视频在前， 失真视频在后。观测者对视频的整体印象进行评判，对前后视频对的失 真程度进行评分。评分采用5 分制的衡量方法，具体含义如表2 1 所示。 具体测试有两种方法：一种方法是视频对只出现一次，如图2 1 所示； 另一种方法视频对重复出现两次，如图2 2 所示。 6 时域失真对视频质量影响研究 表2 1d s i s 的5 分制含义 l2 3 45 能察觉到 察觉不到稍微令人厌烦令人厌烦非常令人厌烦 但不令人厌烦 佗 t 3 t 4 t l 参考视频播放时间 t 2 播放参考视频与失真视 频之间的灰色背景 t 3 失真视频播放时间 t 4 两个视频对之间的灰色 背景 图2 1 视频对只出现一次 t l亿 1 r 3t 4t lt 2 t 3 t 4 2 ) 3 ) 4 ) 图2 2 视频对重复出现两次 t 1 参考视频播放时间 t 2 播放参考视频与失真视 频之间的灰色背景 t 3 失真视频播放时间 t 4 两个视频对之间的灰色 背景 d o u b l es t i m u l u sc o n t i n u o u sq u a l i t ys c a l e ( d s c q s ) l ”j 与d s i s 不同， 这种方法下，原始视频和失真视频的显示顺序是随机的，并且观测者对 视频对中的两个序列都进行打分，而不是直接评价两幅视频的质量差 值。 s i n 哲es t i n m l u sc o n t i n u o u sq q a l 时e v a l u a t i o n ( s s c q e ) 【”】该方法可根 据实验计划需要，在播放时加入参考序列或不加入参考序列，通常该方 法选择的序列持续的时间较长。观测者对播放序列进行实时地评分。 s i n 酉es t i m u l u sm e m o d s ( s s m ) 【”】这种方法的特点以随机的形式显示 多个测试视频，并且对于不同的观察者，视频序列的随机显示顺序也不 同，这样做主要是为了消除序列播放顺序对评估结果的影响。其具体实 现方法又分为两种：s s 方法( s i n 西e s t i m u l u s ) ，即测试序列只播放一 次；s s m r 方法( s i n 西es t i i n u l u sw i t hm u l t i p l er e p e t i t i o n ) ，即测试序列 重复播放多次。最常见的质量评分测度是5 分制，若需提高评分精度， 也可以采用9 分制和1 1 分制等。如图2 3 所示。 第二章视频时域失真及其主要模型 7 图2 3 评分等级 主观质量评估得到的平均分数m o s 可以准确地反映视频的质量，但是这种方 法对实验条件要求太过严格，需要大量的人力物力，实现起来非常复杂，耗时耗 力，实时性也较差，不适用于实时通信系统。 2 1 2 视频客观质量评估方法 由于视频主观质量评估受各方面条件制约，且不适用于实时通信，因此，在 实际应用中需要一种简单有效的质量度量方法，即视频客观质量评估方法。它可 以适用于实时的通信环境，对分级的视频编码和多维比特率控制十分有效。 由于主观质量评估是对视频质量最准确的反映，最能体现人的评判，因此要 求客观质量评估要与主观评估有较好的相关性和一致性。通常，视频客观质量评 估可以分成三类1 1 6 】： 。 全参考( f u l lr e f e 姗c e ) 视频客观质量评估：该方法需要提供完整的原始视频， 通过比较原始视频与失真视频，得到失真视频的质量。常用的方法就是峰值信噪 比( p e a l ( s i 鲈a lt 0n o i s er a t i o ，p s n r ) 【r 7 1 。原始参考视频序列可以提供大量的参 考信息，有助于建立评估失真视频质量的客观模型，因此大多数客观的质量评估 方法是基于全参考模型的，并且许多方法也取得了较好的性能。 部分参考( r e d u c e dr e 断e l l c e ) 视频客观质量评估：这种方法是通过分析原始 视频与失真视频的少量的统计信息，对视频质量进行评估。 无参考( n or e 衙e n c e ) 视频客观质量评估：是指在无法获得原始参考序列的 情况下，得出一个与人类视觉系统的视觉感知相一致的质量分数的方法。现有的 大多数无参考方法是通过对视频的处理和分析提取视频序列中出现的某些失真特 征( 如模糊、块效应等) ，然后根据各类失真特征来判定视频序列的感知质量。这 种方法的最大特点就是无需原始视频的任何信息，因而该方法非常适用于评估实 时的网络终端视频质量。但是无参考方法通常对某些类型失真的敏感度较低，特 黼 好 落 差 黼 一 一 一 一 l 蒌lj一一一臌 9 8 7 “ 寿 4 3 2 l 9 ljlj厂厂忑 蛐9 8 7 6 5 4 3 2 o 8 时域失真对视频质量影响研究 别是无法检测设计时未考虑到的失真类型。由于视频的特征失真能在一定程度上 反映视频的质量，因此可以通过对失真特性的分析，判断视频序列的质量【1 8 之1 1 。 2 2 回归分析和最小二乘估计 回归分析( 托蓼e s s i o n 孤a l y s i s ) 【1 8 9 】是一种研究客观现象之间相关关系的常 用统计方法，这种相关关系常常是表面上不确定的，但可以近似为一种确定性关 系，帮助我们从一个变量取得的值去估计另一个变量取得的值，即由某种函数关 系表示。 将在不确定性关系中作为影响因素的变量称为自变量或解释变量，用x 表示， 受x 取值影响的响应变量称为因变量，用y 表示，假设x 是可控制变量( 可以是 随机变量，也可以不是) ，即它的取值是可以事先给定的，y 是可以观测的随机变 量，当x 取定一个数值x 时，就有一个随机变量y 与之对应。令 e ( 】，i 彳= 功= 厂( 力 从而其它随机因素引起的偏差是 占= y 一厂( 工) 这时x 与y 的不确定性关系表示为 】，= e ( y i x = x ) + g = 厂( z ) + 占 ( 2 - 3 ) 满足 i 髓= o i 沈= d 】，= 万2 常假定 占( 0 ，艿2 ) 式( 2 3 ) 表示因变量y 的变化有两个原因所致， 因素占，记 式( 2 1 ) 式( 2 2 ) 式 式( 2 4 ) 式( 2 5 ) 即自变量x 和其他未考虑到的随机 y = 厂( x ) = e ( 】，iz = x )式( 2 - 6 ) 它刻画了y 受影响的主体部分( 又称系统性成分，剩下的是不含系统偏差的零均 值随机误差) ，倘若知道了) ，= 厂( 曲，则可以从数量上掌握x 与y 之间复杂关系的 大趋势，就可以利用这种趋势研究对y 的预测问题和对x 的控制问题，这就是回 归分析处理不确定性关系的基本思想。实际上，回归分析就是通过自变量x 与因 变量y 的均值之间的确定性关系y = 厂( x ) 研究x 与y 之间的不确定性关系，虽然 第二章视频时域失真及其主要模型 9 随机因素s 的干扰使得x 与y 之间的关系不确定，但从平均性质看，不确定性关 系有向确定性关系j ，= 厂( x ) 回归的趋势。式( 2 3 卜式( 2 - 4 ) 称为回归模型，式( 2 6 ) 称为理论回归函数或回归曲线或回归方程。 在实际问题中，理论回归函数一般是未知的，回归分析的任务就是根据x 的 取值和y 的观测值去估计这个函数以及讨论与此有关的种种统计推断问题，如假 设检验问题和区间估计问题，所用方法在相当大程度上取决于回归模型的假定。 对) ，= 厂( 工) 的数学形式无特殊假定的回归分析称为“非参数回归”；对与已知 ) ，= 厂( 曲的数学形式，只是其中若干个参数未知的回归分析称为“参数回归”，这是 目前研究最多、应用最为广泛的情形。对“参数回归”，根据y = 厂( 对的不同数学形 式，可分为 线性回归 ；雯萎葚昌箸 非线性回归 ；霎羹萎莲昌蓦 需要解决的基本问题是： 1 如何根据抽样信息确定回归函数类型及其参数的估计量 2 如何判断x 与y 的相关关系是否密切 3 如何应用回归分析进行预测和控制 线性回归是应用上最重要、理论上最为完善的回归分析方法。通常情况下， 在处理多元非线性的模型时，会先降低模型的复杂度，将其变为一个一元线性的 模型进行回归，单独考虑每个模型因子对模型的影响，最后综合各个因素建立多 元非线性模型。 回归函数( 2 6 ) 是线性函数的回归分析称为线性回归，当可控制的变量只有一 个时，即回归函数为 y = 厂( 工) = 属+ 届x式( 2 7 ) 则 p 刍，：篓怕 式( 2 - 8 ) i f ( o ，万2 ) 一、 7 称为一元线性回归模型，式( 2 7 ) 称为y 对x 的一元线性回归方程或一元线性回归 直线，风、屈称为回归系数，常数风、届、艿2 均未知。 在模型回归时，为了保证所得的估计值与实际测量值间的误差最小，会对模 型参数进行最小二乘估计，具体方法如下： 设( 五，m ) ( f = 1 ，2 ，刀) 为取得的一组试验数据，假定满足如下一元线性回归模 型。 l o 时域失真对视频质量影响研究 l 咒= 风+ 属玉+ q ，f = 1 ，2 ，万 q 一( o ，万2 ) ，f = 1 ，2 ，以 式( 2 9 ) 【o y ( 毛，勺) = o f _ ，f ，= 1 ，2 ，刀 需要在此基础上确定回归系数成、届的估计值危、矗，并使残差 q = 乃一或( f = 1 ，2 ，刀) 式( 2 - 1 0 ) 尽可能小，其中 或= 反+ a 五o = 1 ，2 ，万) 式( 2 - 1 1 ) 称为弗的预测值，由此可得到 夕= 反+ a x 式( 2 1 2 ) 称为样本回归直线( s 锄p l er c 孕e s s i o nl i n e ) 或经验回归直线。 要使式( 2 1 0 ) 中的以个残差都小有时是做不到的，解决这个问题的另一个途径 是【e = ( 乃一屁一届薯) 2 达到最小，这是g a u s s 在1 7 9 9 年最先使用的方法， 解下面的优化问题 瓣善( m 一属一层) 2 因此，反、a 为方程组 或 筹卅窆 a p 。篙 豢q 窆 j = 一z7 诅铬 ( 乃一风一层五) = o ( 咒一属一属誓) = o 刀屁+ 届x = 咒 f = l，t l 屁芝五+ 届# = 五乃 式( 2 1 3 ) 称为最小二乘法，这等价于求 的解。称式( 3 1 6 ) 为正规方程，求解正规方程便得到反、a ： 式( 2 - 1 4 ) 式( 2 1 5 ) 式( 2 1 6 ) 第二章视频时域失真及其主要模型 ( 五一孑) ( 乃一歹) 属= 型一 ( 五一i ) 2 f l i p 。= 了一p i 其中i 2 吉善五，歹5 ： 善乃，且记 0 = ( 五一i ) ( 咒一歹) = ( 五一i ) 乃 = ( m 一罗) = 一只一厩歹 乞= ( 一i ) 2 = ( 而一i ) 五= # 一，厉2 f l if i lf 暑i 式( 2 1 7 ) 式( 2 1 8 ) 式( 2 一1 9 ) 0 = ( 乃一歹) 2 = ( 乃一歹) 弗= 订一矽2 式( 2 - 2 0 ) 这样反、矗可简记为 睁冬加捌， 【屁= 歹一届孑 式( 2 2 1 ) 给出了一元线性回归模型中回归系数的参数估计，称为最小二乘估计 ( l e 嬲ts q u a r ee s t i m a t i o n ，简记为l s e ) ，常简称l s 估计。 2 3 帧率变化对视频时域质量的影响及主要的客观评估模型 2 3 1 帧率变化造成的时域失真 帧率的下降会造成视频的时域失真，影响视频的时域质量。有效地衡量视频 的失真程度对建立一个基于该时域失真的质量模型有着重要的意义。 gi a c o v o n i 【2 0 1 等人提出了一种方法，可用来衡量规则丢帧造成的失真程度。该 方法的特点是考虑了序列内容的影响，其核心思想是：时域平滑度不仅取决于视 频序列传输编码时的帧率，还受到序列中物体运动大小的影响。文中将序列中物 体的运动大小用运动活动度表示，定义为： ，- 、 叫2 彘【善l 聊i + l ，l 吼i + m 弓j 式( 2 - 2 2 ) 很显然，该模型得到的运动活动度是与一帧内所有宏块运动矢量的水平分量聊惦 和垂直分量朋供有关的。 1 2 时域失真对视频质量影响研究 在引入运动活动度概念的基础上，文中进而提出失真程度的衡量模型： 以= k 五( 乙一乞一。) 式( 2 - 2 3 ) 其中k 是常数，和一分别是当前帧与前一帧传输编码所用的时间，叫就是第 n 帧视频的运动活动度( m o t i o n a c t i 讥t ) r ) 。该模型并不复杂，只需在某个确定帧率 下，记录相邻帧之间传输编码的时间差，再依据式( 2 2 2 ) 计算出序列每一帧的视频 运动活动度，然后按照式( 2 - 2 3 ) 就可以得到每一帧图像的时域失真。对于变帧率的 视频来讲，运动活动度越大，时域平滑性越低，视频的失真现象越明显。 2 3 2 帧率对视频质量的影响 由帧率下降引起的失真会造成视频质量的下降。在评估帧率对视频质量的影 响程度时，v q e g ( v i d e oq 9 a l 时e x p o r tg m u p ) 的测试计划采用多项式和指数函 数的形式来建立相应模型，但是采用多项式和指数的形式，参数过多，计算过于 复杂。针对这一情况，文献【2 2 】介绍了一种采用对数函数形式的模型，模型只有两 个参数： 5 一 f 傩= 口ll o g ( 3 0 ) 一l o g ( 加，l p 朋纪) i p 式( 2 - 2 4 ) 该模型反映了帧率的降低对视频质量的负面影响，模型物理意义清晰明确。 a 和p 是与视频内容有关的两个参数，不同源的视频序列a 和p 的取值不同。 文中进一步分析这两个量与主观数据的关系，得出结论：参数a 和p 与视频的运 动特性有关，并且与反映视频运动特性的量近似呈线性关系。于是，式( 2 2 4 ) 可以 进一步表示成： 5 一删= ( 口。+ 么脚) 1 0 9 ( 3 0 ) 一l o g ( 加m 伽胞) 唧州式( 2 2 5 ) 其中a m m f 是文中给出的反映视频运动特性的量，是视频的平均最大运动矢量， 可表示为： 彳脚：竺竺掣 式( 2 2 6 ) 一l 一、 7 m a ) 【( 胁打d 慨) 代表第i 帧和第i + l 帧之间所有运动矢量中最大的一个，n 是视 频的总帧数。模型使用a m m f 这个量反映了视频中运动矢量较大的图像区域对视 频质量的影响较大。 2 3 3 基于帧率和p s n r 的质量评估方法 通常，由于信道带宽的限制，我们需要对视频进行压缩，去除冗余、降低视 频的数据量。所以，除了丢帧引起的时域失真之外，视频一般还会存在多种压缩 第二章视频时域失真及其主要模型 1 3 失真。 由压缩引起的空域失真可以通过峰值信噪比( p s n r ) 来衡量。而帧率( f r ) 对视频质量的影响是依赖于视频的运动平稳性的，因此，f r 与视频的运动特性联 合作用共同影响视频的时域质量。文献【2 3 】，【2 4 1 介绍了一种综合考虑视频帧率、运动 特性及其p s n r 的模型。 在该模型中，衡量运动特性的量使用了归一化的最大运动矢量( 用m 来表示) 。 先取出视频序列运动区域中最大运动矢量的前2 5 ，然后对其归一化处理就可以 得到归一化的最大运动矢量。 文中给出的视频质量评估模型可表示为： q m = 彳尸姗+ 口( m ) ，冗+ c ( m ) 式( 2 - 2 7 ) 其中a 是一个确定的常数，b ( m ) 和c ( m ) 是m 的函数。p s n r 的计算是包括 重复帧在内的。 为了保证客观质量与主观评分具有较高的相关性，文中使用指数函数来表示b 和c 两个变化的函数，具体模型可表示为： 叫= 删+ 口研6 ( 3 0 一职) 式( 2 - 2 8 ) 其中参数a _ o 9 8 6 ，b = o 3 7 8 ，近似地可以取a = 1 ，b = 0 。3 8 ，于是有： q m = 尸姗+ 聊0 3 8 ( 3 0 一，r ) 式( 2 - 2 9 ) 模型的目的是将视频的质量按造成失真原因的不同分成两个部分。如果帧率 是原始帧率3 0 邱s ，则视频质量完全由其压缩后的空域质量决定，即等于p s n r 值。 若运动不可忽略或者帧率小于3 0 晕s ，则影响视频质量的因素变为两部分，一部分 是由视频压缩造成的，由p s n r 决定，另一部分是视频的时域失真，由帧率的下 降和视频的运动特性决定。 对于运动矢量参数的选择来说，需要保证选择的参数能准确地反映视频的运 动特性。文献【2 5 】采用m p e g 7 中所使用的运动活动度参数，该参数接近于感知运 动速度，能够反映人对于视频运动特性的主观感知。这个运动活动度参数基于运 动矢量标准差，是一种对感知运动强度很好的衡量方法。 文章在考虑帧率与压缩对视频质量影响的同时，又引入了空间分辨率对质量 的影响。文中先将空间分辨率固定，建立视频质量的评估模型，然后在此基础上， 再引入空间分辨率的变化对视频质量的影响，最终建立一个综合模型。 固定的空间分辨率下，文章给出的视频质量的衡量方法： 矿- q a 缸砌即脚) = 口尸姗+ m j | ( 3 0 一，r ) 式( 2 - 3 0 ) 其中m 代表运动活动度，f r 表示帧率。口和两个参数与视频的内容有关。 在式( 2 3 0 ) 的基础上，文中将视频帧率与视频压缩程度固定，单独考虑空间分 1 4 时域失真对视频质量影响研究 辨率的变化对视频质量的影响： 嘲，2 南吖 式2 - 3 1 ， 其中x 表示视频的空间分辨率。 最后，文章综合考虑影响视频质量的4 个因素( p s n r 、帧率、运动活动度和 空间分辨率) ，建立了相应模型： 峭脚删，跏剐= 2 9 脚+ o 2 2 帆( 3 0 一欣) + 南墨+ 5 4 0 8 1 + p l 7 2 j 式( 2 - 3 2 ) 该模型在原有模型的基础上，进一步引入了视频的空间分辨率对质量的影响， 并且以造成失真原因的不同，将视频质量分成了几个部分分别考虑。 此外，g e nh a u s k e f 2 q 等人也提出了一种基于p s n r 与帧率的视频客观质量模 型： 级= o 4 5 尸。+ 1 7 9 一( ，：r 一5 ) 1 0 式( 2 3 3 ) 式( 2 3 3 ) 的模型也可以很好地预测视频的质量。 2 3 4 基于帧率和量化步长的质量评估方法 丢帧会引起视频的时域失真，而导致恢复视频质量下降的根本原因是量化。 可见量化步长可以反映视频的压缩失真程度。 y a ow a n g 【2 7 】等人提出了一种基于量化因子与帧率的视频质量评估模型。在此 之前，已经有很多学者讨论了只有帧率变化影响或者既有帧率变化影响又有压缩 失真的视频客观质量模型。这些研究主要都是从两个方面出发来考虑的：一个是 原始视频序列的p s n r ，另一个是视频序列的帧率。这些模型虽然与主观感知质量 有较好的相关性，但是需要求出视频的p s n r ，计算量较大。 y a 0w 觚g 等人提出的模型与之前大多数学者提出的模型的区别在于，不使用 p s n r 来计算视频的空域质量，而是通过视频的量化因子来衡量其压缩失真。具体 的设计思路是在固定量化因子的条件下，单独考虑帧率变化对视频质量的影响； 同样，在固定帧率的条件下，单独考虑量化因子对视频质量的贡献；最后综合考 虑两个方面的因素，建立相应模型。具体模型如下： q ( g ，f ) = g ( g ；k ) q ( f ；g ) 式( 2 3 4 ) 上述公式中涉及到了的两个参数，q 表示量化因子q p ，t 表示帧率f r 。式( 2 3 4 ) 中各函数的物理意义如下： 第二章视频时域失真及其主要模型 q 嘣= q ( g m 舻o 。) ，表示量化因子最小，帧率最大情况下的视频质量，这个 质量可以认为是标准视频质量，当量化因子和帧率发生变化时，视频的质量在这 个基准质量的基础上变化。g ( g ；，蛳) = q ( 野k ) q ( 妇，o 。) ，表示帧率为最大值 k 时，视频对量化因子的归一化质量( n o m a l i z c dq u a l i t y v e r s l l sq u 觚t i z a t i o n s t 印s i z e ，n q q ) ，q ( f ；g ) = q ( q ，f ) q ( g ，f 眦) ，表示在相同量化因子下的归一化时 域质量。 q ( g ；k ) 表示帧率为最大帧率时，量化因子对质量的影响，而q ( f ；g ) 反 映了相同量化因子下，视频质量随帧率下降而降低的情况。q f ( f ；g ) 在 q m 。q ( g ；k ) 两个量乘积的基础上，根据实际的帧率调节预测质量，因此这个量 也称为质量的时域调节因子( t 咖p o r a lc o 玎e “o nf a c 协ro fq l l a l i t y ) 。 为了降低模型建立的复杂度，可以认为视频的量化因子是确定的，而只考虑 q ( f ；g ) 当中的一个参数t ，表示为q ( f ) 。文中使用了一个翻转的指数函数来表示 帧率变化对视频质量的影响： 一d q ( f ) = 宰； 式( 2 - 3 5 ) 由于在确定的量化因子q 下，原始帧率的视频序列与时域下采样后得到的视 频序列的p s n r 值近似相等。因此，就可以用帧率为t 的视频的p s n r 来估计原始 帧率视频的p s n r 。也就是说，对帧率不同但q p 相同的同源视频来说，由压缩造 成的失真可以认为是近似相等的： 一c - 里一 q ( g ) = p 。p 式( 2 3 6 ) 模型通过q p 来反映压缩后视频的质量。该方法和传统的计算p s n r 的方法比 较，模型复杂度较低，只需要一个参数，更加简单并易于计算。 综合上述的三个模型，一个基于帧率与量化因子的视频质量模型就可以用下 式来表达： 一c 士一一 q ( 吖) = 字等 都- 3 7 ) q 嘲。是量化因子最小，帧率最大时得到的视频序列质量的平均评估值，该值 通常可以通过一些简单的主观测试估计出来。 参数c 反映了质量随量化因子q 的增加而下降程度的快慢，c 较大则下降较快； 参数d 反映了随帧率t 的降低质量下降程度的快慢，d 较小则降低较快。 2 3 5 神经网络模型 1 6 时域失真对视频质量影响研究 m c 矾i 等人【2 8 】提出了一种基于神经网络的客观评估模型，衡量帧率下降对视 频质量的影响程度。 该模型的神经网络以视频的运动矢量和相邻两帧的亮度差为输入，最终输出 的就是模型评估出的视频质量。相邻两帧亮度的绝对差值，可表示为： 彳刀= l y ( f ，j ，f ) 一】，( f ，j f ，f 1 ) i ， 式( 2 - 3 8 ) t 表示该帧所处的时域位置，】，( f ，f ) 反映时刻t 时图像的亮度组成。 模型提出的多层预测神经网络，每一层都有如下特性： 1 输入是所有运动矢量的子集，或者是由运动矢量衍生出来的量和a t i ； 2 有两个隐藏层，每一层神经节点的数量是可变的； 3 只有一个输出层，输出节点输出最终的视频客观质量。 图2 4 就是具体的神经网络模型示意图。 图2 4 神经网络模型 2 4 不规则丢帧对视频时域质量的影响及主要的客观评估模型 2 4 1 丢帧长度的感知门限 帧率的降低会引起视频的时域质量下降，与此相似，不规则的丢帧也会引起 视频时域质量的下降，并且视频质量会根据丢帧长度的变化而变化。丢帧长度过 短，人就有可能分辨不出。 为了表征单独一次丢帧激励的可视性，文献【1 2 1 介绍了一种衡量丢帧感知概率 的办法，来衡量不连续丢帧的可视性。当丢帧激励的损伤可以被6 2 5 的被测