（通信与信息系统专业论文）基于特征提取与结构性失真的视频客观质量评估.pdf

摘要 随着多媒体通信技术的发展，各类视频业务层出不穷，因而对视频质量进行 准确、实时的评估显得日益重要。数字视频质量评估对于视频处理、压缩和视频 通信等领域起着十分重要的作用。 本文对视频质量的主客观评估方法进行了深入系统的研究与分析。 首先，详细介绍了已有的视频质量评估方法和研究成果，并对几种典型的视 频客观质量评估模型进行了分析；然后结合人的视觉特性，提出了一种基于特征 提取与结构性失真的视频客观质量评估模型，该模型不仅可以感知视频模糊、方 块效应、噪声等失真类型，同时还可以反映视频的结构性失真；文章最后给出了 模型的实验仿真结果和性能分析，实验表明该模型有较好的评估性能并且能够较 准确地反映视频的主观质量。 关键词：视频质量评估特征提取结构性失真 a b s t r a c t w i t ht h ed e v e l o p m e n to fm u l t i m e d i ac o m m u n i c a t i o n ，l o r so fv i d e os e r v i c e sc o m et o t h es t a g e ，s oi t sn e c e s s a r yt of i n ds o m em e t h o d st oe x a c t l ya s s e s sv i d e oq u a l i t y d i g i t a l v i d e oq u a l i t ya s s e s s m e n tp l a y si m p o r t a n tr o l e si nv a r i o u sv i d e oa p p l i c a t i o n s ，s u c ha s v i d e op r o c e s s i n g ，c o m p r e s s i o na n dc o m m u n i c a t i o n t h i sp a p e rh a si n v e s t i g a t e dt h o r o u g h l yt h em e t h o d so fs u b j e c t i v ea n do b j e c t i v e v i d e oq u a l i t ya s s e s s m e n t f i r s t l y ，w ei n t r o d u c et h ee x i s t i n gr e s e a r c hm e t h o d sa n da c h i e v e m e n t so fv i d e o q u a l i t ya s s e s s m e n t ，a n dg i v em o r ed e t a i l e da n a l y s i so fs o m em o d e l so fo b j e c t i v ev i d e o q u a l i t ya s s e s s m e n t t h e n ，c o m b i n i n gh u m a nv i s u a lf e a t u r e ，w ep r e s e n ta no b j e c t i v e v i d e oq u a l i t ya s s e s s m e n tm o d e lb a s e do nt h ef e a t u r e se x t r a c t e df r o mv i d e oa n ds t r u c t u r e d i s t o r t i o nm e a s u r e m e n t t h i sm o d e ln o to n l ym e a s u r e st h ep e r c e p t u a le f f e c t so fa w i d e r a n g eo fi m p a i r m e n t ss u c ha sb l u r t i n g ，b l o c ka r t i f a c t ，n o i s e ，b u ta l s or e f l e c t s v i d e o s t r u c t u r ed i s t o r t i o n a tl a s t ，t h i sp a p e rg i v e st h ee x p e r i m e n tr e s u l t sa n dp e r f o r m a n c e a n a l y s i so ft h em o d e l ，t h ee x p e r i m e n ti n d i c a t e st h a tt h em o d e lh a st h eg o o de s t i m a t i n g p e r f o r m a n c ea n dr e f l e c t ss u b j e c t i v ev i d e oq u a l i t ym o r ee x a c t l y k e yw o r d s ：v i d e oq u a l i t ya s s e s s m e n t f e a t u r ee x t r a c t i o no f v i d e o s t r u e t u r ed i s t o r t i o n 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人己经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名 艨天 日期塑： ! ：! ! 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间，论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本学位论文属于保密，在年解密后适用本授权书。 本人签名：酝日期曼! ! ：l ! ! 导师签名日期 砌移7 f 。ef 缮 第一章绪论 第一章绪论 1 1 引言 随着信息技术的发展和社会的进步，人类对信息的需求越来越丰富，人们希 望无论何时何地都能够方便、快捷、灵活地通过语音、数据、图像与视频等多种 方式进行通信。视觉信息给人们直观、生动的形象，图像视频的传输更受到人们 广泛地关注【“ 近年来，光缆骨干网、v 9 0 调制解调器和电缆调制解调器的迅速普及已大大 提高了上网速率，基本满足了人们目前在i p ( i n t e m e tp r o t o c 0 1 ) 网上浏览信息的需 要，目前令人深感欠缺的是全球化、个人化的可视信息交流。而以i m t - 2 0 0 0 标准 为核心的第三代( 3 0 ) 移动通信系统有效地改善了通信网的通信质量和通信带宽， 它以及第四代和后四代移动通信追求的主要目标之一也是实现多媒体业务。另外， 超大规模集成电路( v l s i ) 技术和宽带数字网技术的发展，更加使人们对数字视 频业务如可视电话、会议电视、安全监视、电视购物、高清晰度电视( 硼) 1 v ) 、 视频点播( v o d ) 和d v d ( 数字化视频光盘) 等产生了越来越浓厚的兴趣。 数字视频数据在采集、压缩、处理、传输、恢复过程中会产生各种各样的失 真，如有损视频压缩技术，为降低数据在存储和传输过程中所占带宽，会在量化 过程中降低视频质量；在误码信道( 如无线信道) 传输中，信道误码和数据丢失会 增加解码后视频的失真；在包交换网络( 如i n t e m o t ) 传输中，网络拥塞造成接收 数据丢失和过大时延，又会增加失真。在大多数应用中，端到端的视频质量是衡 量系统性能优劣的一个关键指标，视频服务系统必须能及时把握并量化视频质量 下降的情况，并通过必要的手段来维持和增强。因此对于数字视频质量评估技术 的研究显得日益重要 2 1 1 3 。 数字视频质量评估对于视频处理、压缩和视频通信等领域起着十分重要的作 用：它可以实时或非实时的监控视频系统的性能和各种视频传输信道的q o s ( 服 务质量) ，并给出反馈以调节编解码器或信道的参数，保证视频质量在可接受的范 围内；对各种不同的编解码器的编解码输出视频质量给出易于理解的定量的量度， 便于对编解码器的性能进行设计、评估和优化；视频质量评估还可以设计、优化 符合人的视觉模型的图形图像显示系统f 2 j 。 传统的针对模拟信号的视频质量评估方法是测量诸如信号幅度、定时关系、 信噪比之类的物理参数。某些情况下，为了表征信号传输和处理中的各种线性和 非线性失真，在视频中插入静态测试信号并在接收端分析，这种方法得到的数值 2 基于特征提取与结构性失真的视频客观质量评估 与主观质量的相关性很好，并已经制定了相关的标准【4 】。 随着数字视频压缩技术的引入，传统的视频质量评估方法已无法适应新的应 用要求。一方面，数字视频压缩算法的设计目标与模拟算法不同。它不是尽可能 的复制原始信号波形，而是在视觉效果上逼近原始图像，因而无法用波形的相似 程度来衡量质量的好坏；另一方面，由于带宽和速率上的限制，压缩后的视频去 处了大量的针对人眼的冗余信息，其质量很大程度上依赖于视频本身的内容，也 就是说，由于信道误码等原因引起的很小的错误可能导致视频质量的急剧下降， 另外，诸如方块效应、跳跃闪烁现象、边缘模糊现象等影响，使得对数字系统的 视频质量评估更加困难，因而需要针对数字视频系统的特点，设计新型的质量评 估方法。 数字视频和图像的质量评估方法可分为主观评估和客观评估。主观评估就是 让观察者观测一系列视频图像，然后对图像的质量进行主观评分，这种方法是最 好最准确的评估方法，没有客观的评估方法可与之比拟，但是该方法必须提供严 格的测试环境，考虑大量的影响因素和可能性，因而实现起来步骤复杂，代价昂 贵，可移植性差；客观评估利用数学模型测量视频和图像质量，它与主观评估相 比，具有速度快、费用低和可以嵌入到数字视频通信系统等优点，因此比较实用， 是目前常用的视频质量评估方法。 本文主要研究了视频质量的主客观评估方法，全文的内容安排如下： 第一章主要介绍了视频质量评估的相关背景知识。 第二章首先详细介绍了视频质量评估的主要方法；然后介绍了从事这方面研 究的标准化组织及其制定的标准；接着简单阐述了视频客观质量评估中的预处理 问题；最后对视频客观质量评估的典型模型进行了分析。 第三章笔者结合人的视觉特性，提出了一种基于特征提取与结构性失真的视 频客观质量评估模型，并详细介绍了该模型的具体实现过程。 第四章对第三章提出的客观质量评估模型进行了实验仿真和结果分析，实验 表明该模型有较好的评估性能。 1 2 人的基本视觉特性 由于人是各种图像、视频和多媒体业务的观测者和服务对象，对视频质量的 评价取决于人的主观感受，因此合理的视频质量评估方法必须符合人的视觉特性 ( h u m a nv i s u a lf e a t u r e ) 。可见，研究视频通信、图像处理相关的人的视觉特性。 是准确建立视频质量评估模型的基础。本节将讨论与视频质量评估密切相关的人 的基本视觉特性 2 1 1 5 1 。 第一章绪论 1 2 1 对比度敏感性 人眼能够辨别光十分细微的变化，可接受1 2 种强度层次的光，是因为人眼具 有对光强的自适应特性。视网膜上的光敏感细胞以及视神经元都有自动适应光强 的能力。 h v s ( 人的视觉系统) 的响应主要依赖于激励相对于背景区域的变化，而不 是激励的绝对光强，这种性质称为w e b e r 定律。亮度的相对变化通常用对比度进 行衡量，目前有多个对比度的定义形式，其中最常用的是w e b e r - f e c h n e r 对比度。 w e b e r 对比度定义为： c ”= 三兰 ( 1 1 ) 三 这一定义能够反映亮度为l 的均匀背景上具有较小亮度变化工的情况。对比 度门限是指人眼能观察到的最小亮度变化的对比度，图1 1 给出了对比度门限随背 景亮度变化的曲线。可以看到由于人眼的自适应能力，在人眼可感知的光强范围 内，对比度门限几乎维持为常数。 图1 1 对比度门限随背景亮度的变化 人眼对对比度的敏感度与激励的颜色、空间和时间频率有关，对比灵敏度函 数c s f 通常被用来定量这些相关的程度，它被定义为对比度门限( 观察者检测目 标所必需的最小对比度) 的倒数 c s f 具有时空特性，而c s f 的时间一空间可分离性一直是研究者们比较关心的 问题，因为如果c s f 能被表示成时间和空间分量可分离的形式，那么就可以大大 简化视觉模型。k e l l y 在稳定的条件下测量了对比灵敏度并用一个解析函数拟合测 量数据嘲；该函数通过变量替换可以产生非常近似于反向闪烁的时间一空间c s f ： 凹毗舻4 九舻泓2 删 6 + 7 i 崦刮3 4基于特征提取与结构性失真的视频客观质量评估 其中，正，z 分别为激励的空间和时间频率。k e l l y 发现，这个c s f 可以近似用 两个时空可分离的部分线性组合而成。 1 2 2 多通道特性 生理学、心理学的实验研究指出，皮层细胞的响应在频域呈带通特性，并给 出了敏感度峰值位置和视觉细胞响应带宽。据此推知，人的大脑具有将独立的视 觉机制聚合起来的能力，而各视觉机制对频率域之某部分敏感i _ 日，敌可用一滤波 器组来模拟人的视觉特性。而该滤波器组则是各视觉机制的近似，它们将可见数 据分解成一组各个方向、空间频率和时间频率带宽均有限的信号，这种有限带宽 信号即称为通道。 d a u g m a n 和h e s s 等通过研究认为可以按对数形式将空间频率域分为4 8 个 频带，并且存在同样数目的方向带，而时间频率则由2 个或3 个通道组成i 删。由 于时间频率的第3 个通道只在极低空间频率下存在，因此关于是否存在这个通道 一直有很多争论。近来的研究倾向于只有两个时间视觉机制【l 川，即瞬时视觉机制 和持续视觉机制，其中瞬时视觉机制对快速运动模式敏感；而持续视觉机制对静 止或慢速运动的图像敏感。 因此，可以在视频质量评估模型中运用滤波器来模拟多通道特性以符合人的 视觉特性。 1 2 3 掩盖效应 掩盖是视觉系统的一个重要特性，当个原本可见的激励，由于另一个激励 的存在而变得不容易被觉察到，这种现象就是掩盖效应。掩盖效应可以分为空间 掩盖和时间掩盖 可以通过测量激励光的门限值随掩盖背景对比度的变化情况，量化空间掩盖 效应【i l 】。在图1 2 中，横轴表示掩盖背景的对比度c k 的对数值，纵轴表示激励光 在可见门限值处的对比度( 激励与背景之间的对比度) c r 的对数值。c 矗表示没 有任何背景掩盖时目标激励的可见门限值。当掩盖背景的对比度大于c k 时，目标 激励的可见门限值随掩盖背景对比度的增大而增大。当掩盖背景的对比度接近c k 时，从图1 2 可以看到目标激励的可见门限变化有a 和b 两种情况。情况a 通常 对应掩盖背景与目标激励有不同的特性；而在情况b 中，当对比度接近c k 时， 目标的可见门限反而降低，说明在这个对比度区间内，由于另一种光的存在，目 标变得更加明显，这种情况被称作助长( f a c i l i t a t i o n ) ，主要在目标和掩盖激励有 非常接近的性质时才会发生。 第一章绪论 激励在时域内的不连续引起可视门限值的升高称为时域掩盖，如视频整幅场 景黑白变化时，激励可见门限值的升高会持续万分之几秒。研究发现，m p e g - 2 视频中场景切换后的第一帧图像会出现十分明显的掩盖效应。另外，时域掩盖效 应不但出现在激励的时域不连续之后，也可能发生在激励的时域不连续之前，如 视频中场景切换前的最后一帧图像也会出现较明显的掩盖效应。 1 2 4 合并 置 诹m 图1 2 掩盖效应曲线 以上描述的对信息的处理过程都是在初级视觉皮层或其之前发生的，而存在 于不同通道的信息会在脑部区域聚合。把不同通道中的数据合并来模拟该过程。 m i n k o w s k i 合并【1 2 1 是目前常用的一种非线性合并规则： l 膨：协巾 ktj 其中墨为不同通道的损伤强度，为合并参数。 1 2 5 小结 0 - 3 ) 本节简单介绍了人的基本视觉特性。为了要设计符合人的主观感受的视频质 量评估模型，必然要考虑人的视觉特性。但是由于人的视觉系统( h v s ) 非常复 杂，人们对视觉特性的认识还不是很充分和透彻，现在还无法建立一个精确、统 一的模型，这在一定程度上影响了视频客观质量评估的准确性我们有必要对生 理学和心理学进行更加深入的研究的基础上，建立一种符合人的视觉系统特性的 与主观视觉感受致的视频客观质量评估模型。因此设计符合人的视觉系统特性 6基于特征提取与结构性失真的视频客观质量评估 的视频质量评估模型是当前研究的难点和热点。 1 3 1 简介 1 3 数字视频技术及其对视频质量的影响 数字视频技术及其应用是2 0 世纪最激动人心的技术之一。近年来，视频压缩 算法的进步和视频处理设备的发展使得数字视频得到了广泛的应用。在现阶段， 高效的视频压缩算法和顽健的视频压缩传输系统仍是人们研究的热点【j 】 从信息论的角度看，描述视频信源的数据可以视为信息量( 信源熵) 和信息 冗余量之和。视频和图像的信息冗余量有许多种，如空间冗余、时间冗余、视觉 冗余等，数据压缩的实质是减少这些冗余量。从数学的角度来说，图像和视频可 以视为时间和空间的多维函数，压缩视频数据量的实质是减少其相关性。此外， 根据人的视觉特性和实际应用的保真度要求，往往允许图像和视频有一定的失真， 因此视频编码系统通常采用有损压缩算法进行视频压缩以提高压缩效率。然而， 有损压缩算法会造成压缩视频质量的下降，特别是常用的基于块的编码技术还会 引起一些特有的编码失真效应，影响了编码恢复视频的主客观质量。另外，由于 采用了运动补偿和熵编码等技术，视频通信系统中出现的信道误码往往会引起误 码扩散，导致接收端恢复视频质量急剧下降。从上面的分析可以看出，引起数字 视频质量下降的原因主要是视频压缩和信道误码。 1 3 2 视频压缩编码标准 近些年，视频压缩技术得到了迅速发展并广泛应用于视频通信系统中，从而 产生了一系列视频编码标准。国际电信联盟i t u - t 制定的标准包括h 2 6 1 、h 2 6 3 和h 2 6 4 等，它们主要应用于实时视频通信领域，如会议电视等；以及国际标准 化组织i s o 制定的视频压缩标准包括m p e g 1 、m p e g - 2 、m p e g - 4 等，它们主要 应用于视频存储( d v d ) 、广播电视、因特网以及无线网上的流媒体。这些视频 压缩标准融合了各种性能优良的视频压缩算法，新一代视频压缩标准h 2 6 4 ，代表 着目前数字视频压缩的最高水平l l 列f l 卅。 h 系列标准 1 ) h ，2 6 1 是i t u t 为在窄带综合业务数字网( n i s d n ) 上开展双向声像业务 ( 可视电话、视频会议) 而制定的，适用的速率范围是p x 6 4 k b i t s ( p = 1 - 3 0 ) ，h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来处理。h 2 6 1 是最早的运动图像压缩标准， 第一章绪论7 它详细制定了视频编码的各个部分，包括运动补偿的帧间预测、d c t 变换、量化、 熵编码，以及与固定速率的信道相适配的速率控制等部分。 2 ) h 2 6 3 以h 2 6 1 为基础改进而来，是最早用于低码率视频编码的删- t 标 准，随后出现的第二版( h 2 6 3 + ) 及h 2 6 3 + + 增加了许多选项，使其具有更广泛的 适用性。可以获得更高的压缩比和较高的图像质量。 3 ) h 2 6 4 是由i s o i e c 与i t u t 组成的联合视频组( j v t ) 制定的新一代视 频压缩编码标准。它的优点是：对信道时延适应性较强，既可工作于低时延模式 以满足实时业务，如会议电视等；又可工作于无时延限制的场合，如视频存储等； 提高网络适应性，采用网络友好的结构和语法；在编解码器中采用复杂度可分级 设计，在图像质量和编码处理之间可分级，以适应不同复杂度的应用。该标准引 进了许多先进技术，包括4 x 4 整数变换、空域帧内预测、1 4 象素精度的运动估计、 多参考帧与多种大小块的帧阉预测技术等。新技术带来了较高的压缩比。同时也 大大提高了算法的复杂度。 m 系列标准 1 ) m p e g - 1 主要用于c i f 格式的图像分辨率和大约1 5 m b i t s 的数字声像信息 的储存而制定，共分为图像编码、声音编码和声像同步与复用3 个部分。该标准 通常用于能够提供录像质量视频节目的光盘存储系统。 2 ) m p e g - 2 基于3 - 4 m b i t s 或4 m b i t s 以上速率的压缩存储视频，图像质量可 达到高清晰度电视水平，主要适用于d v d 、数字电视、视频点播。 3 ) m p e g - 4 比m p e g - 2 的应用范围更广，其压缩方法不再是限定的某种算法， 而是可以根据不同的应用进行系统裁剪，选用不同的算法。m p e g - 4 中引入的最重 要，也最引人注目的新概念是视频对象平面( v o p ) 。这一概念直接导致了基于 内容的压缩，为提供更高的压缩比打下了基础，同时也将传统的基于帧的时空可 分级性扩展到基于图像内容的时空可分级性。 1 3 3 视频压缩及其对视频质量的影响 视频压缩技术的研究已有几十年的历史。压缩技术是基于速率一失真理论的。 视频图像序列利用空间上和时间上取样得到的一组像素值来表示，而压缩的方法 则是采用一般信号分析的方法来消除数据的冗余，最终使得用来表示图像的一组 数据互不相关。 现有的视频压缩算法大多数都采用了基于块的混合编码方法。图1 3 给出了该 类视频编码器的基本算法框图，它包括具有运动补偿的帧间预测、玎变换、量 化、熵编码等模块。对视频图像的压缩编码通常是分块进行的，将视频序列的1 帧图像分成若干条( s l i c e ) ，每个s l i c e 又分成许多子块，这些子块构成一个基本 8 基于特征提取与结构性失真的视频客观质量评估 处理单元，称为宏块( b i b ) ，每个宏块通常包含一个1 6 x 1 6 的亮度块和相应的两 个8 x 8 的色度块，视频压缩算法是以宏块为基本单位对图像进行编码的。 帧间帧内指示 图像数据传输 与否指示 量化器指示 量化变换系数 运动矢量 图1 3 视频编码器框图 通常的视频压缩算法主要包括以下几个模块 1 3 1 1 4 】： 1 ) 预测 预测编码是利用像素之间的相关性，从时间域、空间域这两大方面去除冗余 信息。按其预测方式可以分为帧问编码模式和帧内编码模式。 帧间编码模式是利用视频的时间相关性，在参考图像内对编码宏块进行运动 预测，寻找与其匹配的图像块，并对预测得到的差值图像作进一步压缩处理。基 于位移估值和运动补偿的帧间预测模式可以大大提高压缩效率，但也增大了视频 压缩数据间的相关性，致使压缩后的视频对误码特别敏感。 帧内编码模式不依赖于其它参考图像。传统的帧内编码模式直接对宏块数据 进行变换量化编码，因此传统帧内编码宏块不依赖于其它宏块，具有较好的抗误 码性能，也相应的需要较多的编码比特数。具有更高压缩性能的帧内预测方法利 用了图像的空间相关性，利用解码恢复的相邻图像块进行帧内预测。帧内预测提 高了编码效率，却增强了各宏块编码数据的相关性，与传统帧内编码方式相比更 容易受到误码的影晌。 2 ) 变换 变换编码将图像从空间域变换到频率域，其目的是去除帧内或帧问差值图像 的内容相关性，使能量集中在少数的变换系数上。主要有k - l ( k a r h u n c n - l o e v c 第一章绪论 9 t r a a s f o r m ) ，d c t ( d i s c r e t ec o s i n et r a n s f o r m ) ，小波变换等。 在数字视频压缩中，最常用的变换方法是离散余弦变换( d c t ) 。d c t 常常被 认为是对自然场景图像信号进行变换的准最佳变换，其变换特性接近k - l 变换。 此外，由于d c t 的计算量较k - l 变换小得多，并且可以获得快速d c t 算法以适 应实时应用，因此d c t 已在视频编码标准中获得了广泛的应用。早期的压缩标准， 如h 2 6 3 、m p e g - 2 等都使用8 x 8d c t 和i d c t ，其公式分别定义如下： ，以力= i 1c ( “) c ( v ) 萎7 荟7 厂“力c o s 蔓兰三等坦c o s ! 兰号坚 ( 1 4 ) r j - 0p - 0 uu 低力=丢妾壹c(u)c(v)f(u棚s号竽cos号竽(i-5)v-o th 1 0j uj v c ，c ( v ) _ 幸： 当菇。 ( 1 6 ) c ) ，c ( v ) = - 7 i 一警霉” ( 1 6 ) l 1 上式中的f ( x ，y ) 代表原图像( 帧内编码) 的像素值，或是帧差信号( 帧间编 码) ，f ( 甜，力代表8 8 d c t 变换后的系数。尽管理论上d c t 能得到精确的变换、 反变换，但在实际中编解码器的精度是有限的，无法获得完全精确的变换；编解 码器精度的不一致会导致解码视频质量的下降。 3 ) 量化 量化是编码器中唯一产生信息损失的地方。为了达到压缩数据的目的，视频 编码系统需要对d c t 系数进行量化处理。人眼对恢复图像中低频信号的误差比对 高频信号的误差更为敏感，而时域或空域中高频信号的细节通常不易被察觉。因 此视频压缩系统通常对d c t 系数中的高频信息进行粗量化，在保证一定恢复图像 质量的条件下尽量减少非零系数的个数，以达到降低编码比特率的目的。对于d c t 变换输出矩阵的每一个系数，用下式得到合适的量化值： c ：。= 丢竺，0 m ，打7 ( 1 - 7 ) 蟛mj ， 式中c o 是d c t 的系数矩阵，级，是量化矩阵，量化后的系数矩阵用c 品表 示。量化矩阵的设计结合了人的视觉特性，对视觉敏感的低频分量进行精细量化， 对视觉不敏感的高频分量进行粗量化。量化是以牺牲图像的高频细节达到压缩目 的，因此产生了模糊、震荡效应等视频质量问题。 4 ) 熵编码 d c t 系数在量化之后已经变得很稀疏了，相当多的系数已量化到零，只剩下 低频系数和少数的高频系数。为了进一步压缩数据，需要对这些系数做基于统计 l o 基于特征提取与结构性失真的视频客观质量评估 特性的熵编码。熵编码是用可变长编码( v l c ) 来实现的。为了进行熵编码，首 先把量化后的d c t 系数被按照z i g - z a g 顺序扫描排列为一个一维数组，数组中的 第一个元素为直流系数，交流系数按低频到高频排列。然后经z i g - z a g 扫插后排列 好的数组使用一个三维的v l c 表进行编码。因为大部分d c t 系数量化后为零， 并且z i g - z a g 扫描后有较多的连零，所以这种方法可以用较短的码字表示这些系 数，从而提高编码效率。然而，可交长码具有较差的同步性能，致使编码后的码 流对误码十分敏感；相应的，恢复视频质量也容易受到信道误码以及误码扩散的 严重影响。 1 3 4 视频压缩引起的视频失真 综上所述，视频的压缩过程中导致恢复视频质量下降的根本原因是量化。但 我们必须看到，现有的视频压缩标准采用的预测变换等技术也会导致多种视觉上 的失真效应【5 l 【1 5 l 。这些失真效应主要有： 方块效应( b l o c k i n ga r t i f a c t s ) ：是基于块d c t 压缩算法( 如h 2 6 3 等) 编码后恢复视频的主要失真，是指图像中编码块边界的不连续性，这种不 连续性是由相邻块在编码中相互独立的d c t 系数量化过程造成的。块边 界不连续的程度反映了方块效应的大小。 模糊( b l u r t i n g ) ：是指视频内容空间细节的丢失和边缘清晰度的下降， 产生模糊的原因主要是高频系数的粗量化。 震荡效应( r i n g i n g ) ：是指失真图像中高对比度边缘处的抖动现象，在 对比度高的区域较明显，但不会出现在平滑区域。它同样是由于量化特别 是高频分量的粗量化引起的，对高频分量的粗量化等同于使用了一个锐截 止的低通滤波器对图像数据进行滤波。 色彩流失( c o l o r b l e e d i n g ) ：是指颜色差别明显的区域内色彩的丢失，由 色彩信息高频分量的失真引起。由于进行了色彩亚抽样，这种效应可扩散 至整个宏块。 蚊噪( m o s q u i t on o i s e ) ：视频中的一种时域效应，在同一序列各帧的相 同区域出现，主要出现在结构平滑的区域。当亮度或色彩信号随高对比度 区域的边缘或移动物体不断变化时容易产生蚊噪，主要是由采用了块匹配 的位移估值和运动补偿算法引起的。 闪烁( f l i c k e r i n g ) ：当视频中景物的纹理很复杂时，相邻图像内对应纹理 部分采用不同的量化因子压缩，往往会导致视频中该纹理部分的闪烁。 视频压缩是以质量为代价的，各种质量问题会集于一身。对视频序列进行编 码，必然引入帧间预测，采用了i ( 帧内) 帧、p ( 预测) 帧、b ( 双向预测) 帧。 第一章绪论 由于用于预测的图像内容来自经编码又解码的i 帧或p 帧，参考帧中的失真效应又 会在预测图像的块上出现，使p 帧和b 帧的模糊、方块效应、蚊噪等质量问题累 积，从而导致视频质量更加恶化 1 3 5 信道误码引起的视频失真 对于视频通信系统，由于受到视频信息数据量大和网络传输带宽的限制，我 们必须对视频图像数据进行压缩处理，以降低传输数字图像所需的比特率。由于压 缩编码去掉了视频图像大量的时间和空间相关性并且采用v l c 进行编码，使得编 码端输出的图像具有比原始图像较少的冗余信息，从而造成压缩后的视频数据对 于信道误码十分敏感，易受到信道误码的影响。当视频压缩码流在具有较大噪声 于扰的窄带信道( 无线信道) 或是在分组丢失信道上传输时，容易发生误码。码流 数据在传输时出现误码，有可能导致数据不能同步，解码器需要重同步码流数据， 这就要丢弃s l i c e 中出错宏块后面的宏块，这就引起了空域误码扩散( s p a t i a le r r o r p r o p a g a t i o n ) ：另外，编码端如果不知道误码的情况，还继续使用这些出错的宏块 傲运动估值，而解码端也使用这些发生误码的宏块做运动补偿，这就弓f 起了时域 误码扩散( t e m p o r a le r r o rp r o p a g a t i o n ) 误码扩散不但使出错帧的恢复图像质量 下降，而且将会给后续图像帧的质量造成损害，因此信道误码将引起恢复视频质 量的严重下降。 由于信道误码对于视频质量危害严重，视频编解码器使用了许多抗误码的方 法，如解码端采用误码掩盖技术等。虽然它们能一定程度减少误码对视频质量的 影响，但是信道误码还是会引起视频的失真和降低视频的主观质量，因此评价误 码对视频质量的影响有着十分重要的意义。 1 4 小结 本章主要介绍了视频质量评估的相关背景知识。笔者首先讨论了与视频质量 评估密切相关的人的基本视觉特性；然后介绍了目前主要的视频压缩编码标准； 最后着重论述了视频压缩和信道误码引起的视频失真效应以及产生机制。 第二章视频质量评估方法1 3 第二章视频质量评估方法 2 1 视频质量评估方法分类及简介 视频质量评估的方法可分为两大类：主观质量评估( s u b j e c t i v eq u a l i t y a s s e s s m e n t ) 和客观质量评估( o b j e c t i v eq u a l i t y a s s e s s m e n t ) 。 2 1 1 视频主观质量评估 由于人是各种图像、视频和多媒体业务的观测者和服务对象，所以他们对视 频质量的评价是最为准确和重要的方法。主观质量评估【1 6 j 就是选择一批非专家类 型的受测者，让他们在一个受控的环境中，连续观看一系列的测试序列大约1 0 至 3 0 分钟，然后采用各种统计方法让他们对视频序列的质量进行评分，最后求得平 均判分( m o s ，m e a no p i n i o ns c o r e ) ，并对所得数据进行分析。受控的环境包括： 观看距离、观测环境、测试序列的选择、序列的显示时间间隔等。 对于平均判分m o s 值，通常采用五分制来表征视频质量的好坏，具体定义见 表2 1 。 数值判分视频质量级别视频失真级剐 5优( p e r f e c t )没有察觉 4良好( g o o d )有察觉但不可厌 3还可以( f a i r )察觉且稍微可厌 2差( p o o r )可厌但不令人反感 l坏( u n u s a b l e )极可厌且令人反感 表2 1 视频主观质量的评分标准 下列是常用的几种视频主观质量评估方法： nd o u b l es t i m u l u si m p a i r m e n ts c a l e ( d s i s ) 【1 6 l 受测者观看多个原始参考图 像、失真图像对应组成的“图像对”，且每次总是先显示原始参考图像，然后显示 失真图像，对失真图像的总体失真程度进行打分。 2 ) d o u b l es t i m u l u sc o n t i n u o u sq u a l i t ys c a l e ( d s c q s ) t 1 6 受测者观看多个原 始参考图像、失真图像对应组成的“图像对”，与d s i s 不同的是，原始参考图像 和失真图像的显示顺序是随机的，让受测者参考每个“图像对”中的一个图像对 另外一个图像的质量进行打分。在d s c q s 方法中，如图2 1 所示，待评估的图像 1 4 基于特征提取与结构性失真的视频客观质量评估 和对应的参考图像都被分成1 0 s 长度的图像序列，序列之间由2 s 长度的灰画面间 隔。一个评分单元包含一个待评图像序列和对应的参考图像序列，在t l 、1 r 3 时间 段按随机顺序播放给受测者；播放第2 遍时，在t 3 、t 4 时间段，由受测者为两个 图像序列质量都进行打分。为了避免量化误差，这种方法提供了一个连续的评分 测度，为了与5 分制的评分标准一致，它也被等分成5 份，如图2 2 所示 t lt 2t 3t 2t 1t 2t 31 4 u 分b 图2 1d s c q s 测试过程 t i = 1 0 s 图像序列a t 3 = 1 0 s 图像序列b t 2 - - - 2 s 灰色背景 t 4 = 5 - 1i s 灰色背景 图2 2d s c q s 的评分测度 3 1s i n g l es t i m u l u sm e t h o d s ( s s m ) 1 6 1 以随机的形式显示多个测试视频，并 且对于不同受测者，视频序列的随机显示顺序也不同。受测者只观看测试视频。 对其质量进行打分。具体实现方式有两种：一种方法s s ( s i n g l e - s t i m u l u s ) ，即不 重复放映测试序列；另外一种是s s m r ( s i n g l es t i m u l u s w i t h m u l t i p l e r e p e t i t i o n ) ， 即把测试序列重复放映多次。 4 、s i n g l es t i m u l u sc o n t i n u o u sq u a l i t ye v a l u a t i o n ( s s c q e ) f 1 6 1 只显示测试序 列( 不显示参考序列) ，与上述几种采用较短独立序列段进行测试的方法不同， 该方法选择的序列段持续的时间较长，最短为5 分钟。受测者持续对观测序列进 行评分，最后从一系列的打分中得到一个统计数据，得分不仅考虑分值的大小， 还要考虑打分的时间。这种方法适用于视频质量具有时变特性的压缩系统，但是 测试序列的选取对实验结果有较大的影响。 主观质量评估的优点主要有：不仅适用于传统的模拟系统，也适用于数字系 统；得到的平均评分m o s ，能准确的反映各种静态和运动图像质量；是目前最好 b t十+上t上 a ttt十+上 咀 优 好 耐 差 坏 第二章视频质量评估方法 1 5 最准确的评估方法，没有客观的评估方法可与之比拟。 然而，主观质量评估也有许多不足之处：必须提供严格的测试环境，考虑大 量的影响因素和可能性，因而实现起来步骤复杂，代价昂贵，结果稳定性差，可 移植性差；实时性不好，不利于实时视频通信中视频质量的评估；对一个图像序 列，主观评估给出的只有一个总的评分，如果评测分数低，无法确切定位质量问 题的来源。 2 1 2 视频客观质量评估 由上节可以看出，由于视频主观质量评估有测试环境要求严格，步骤复杂， 持续时间长，代价昂贵，实时性差等缺点，使得主观评估无法适应当前多数视频 服务系统，因此在实际应用中需要一种客观的、易于实现的视频质量评估方法， 视频客观质量评估也就应运而生。 客观评估就是利用数学模型测量视频和图像质量，它与主观评估相比，具有 速度快、费用低、易于实现、自动实时监控和可以嵌入到数字视频通信系统等优 点，因此比较实用，是目前常用的视频质量评估方法并以成为当前视频质量评估 研究的重点。大部分的视频服务应用中，人是最终的视频观测者，人对视频质量 的主观感受最为真实和准确，所以在相同的视频系统和相同的测试序列条件下， 就要求任何客观评估的结果都应与主观评估的结果具有很好的相关性 对于一个视频质量客观评估方法来说，关键的是要找到一个或几个最合适的 视频质量量度来衡量视频质量的好坏。根据失真视频与其相应的原始参考视频的 需要程度，可以把视频客观质量评估方法分成三大类：全参考视频客观质量评估， 部分参考视频客观质量评估和无参考视频客观质量评估 2 j 1 1 全参考( f u l lr e f e r e n c e ) 视频客观质量评估 全参考评估方法需要完整的原始参考视频。通过比较失真视频和原始参考视 频，得到失真视频的质量，例如目前广泛使用的峰值信噪比( p e a ks i g n a l t o n o i s e r a t i o ，p s n r ) 等。原始参考视频序列可以提供大量的参考信息，有助于建立评估 失真视频质量的客观模型，因此大多数客观的质量评估方法是基于全参考模型的， 并且许多方法也取得了较好的性能。 在原始参考视频序列可用的情况下( 例如在编码器端) ，用全参考方法对视频 处理和压缩技术进行评估，有助于算法的设计和优化，还也可以监测传输前压缩 视频的质量，从而根据需要改变编码参数来调节视频质量。 2 ) 部分参考( r e d u c e dr e f e r e n c e ) 视频客观质量评估 部分参考评估方法是指分别在原始参考视频和失真视频上施加某种运算，各 自得到少量的统计数据，然后把提取出的统计数据按常规的回归法分析，从而评 1 6 基于特征提取与结构性失真的视频客观质量评估 价视频质量。 部分参考评估方法可以用于评估点远离原始参考视频序列的环境中，由于只 需要传输有限的统计数据，节省了带宽，它可以用于实时的监控连续视频传输流 的质量。但部分参考评估方法有以下不足：从理论上分析，很可能一些失真视频 序列的统计数据和无失真序列的完全相同，但在主观视觉上却大大不同，反之也 有可能。 3 ) 无参考( n or e f e r e n c e ) 视频客观质量评估 无参考评估方法不需要来自原始参考视频的任何信息，仅仅通过对视频空域 和频域的处理和分析来提取失真视频的特征，以发现诸如方块、模糊之类的视频 失真。由于不需要参考视频，无参考方法非常适用于对网络终端的视频质量进行 实时评价，如因特网上的点播和广播业务等。但无参考方法通常对某些类型失真 的敏感程度较低，特别是无法检测设计时未考虑到的失真类型。 尽管存在上述多种视频质量客观评估方法，且广泛的应用在实际视频通信系 统中，但由于各种限制，相对于主观评估方法来说，客观评估方法更多的是表明 失真图像或序列相对于原始图像或序列的失真程度，而不是表示出图像或序列的 真正质量，因而有必要迸一步深入研究与主观相结合的视频质量的客观评估方法。 2 2 视频质量评估的标准化组织及其制定的标准 近年来，国际标准化研究机构非常重视视频质量评估的研究，目前参与视频 质量评估研究的标准化小组有： i t u t 的s g 9 ( i n t e g r a t e db r o a d b a n dc a b l en e t w o r k sa n dt e l e v i s i o na n d s o u n dt r a n s m i s s i o n ) 和s 0 1 2 ( p e r f o r m a n c ea n dq u a l i t yo f s e r v i c e ) ： i t u - r 的w p 6 q , a n s i 的t 1 a 1 ： 髓e 的广播技术协会。 其中，r r u t 和i t u - r 标准化小组已经制定的关于视频质量评估的部分标准 见表1 2 所示；t 1 a 1 给出了t 1 t r p e 7 2 t 1 t r p p 7 4 系列的技术报告；而i e e e 的广播技术协会也给出了p 1 4 8 6 - d 0 6 的标准草案。 标准 名称 制定时间制定组织 s u b j