（通信与信息系统专业论文）数字视频客观质量评估方法研究.pdf

摘要 摘要 数字视频质量评估在视频压缩、处理以及视频通信领域中起着十分重要的作 用。本文深入研究了数字视频的客观质量评估方法，提出了几种新的数字视频客 观质量评估方法，以及- o o 基于水印技术的视频误码掩盖方法，并结合人的视觉 特性提出了一种适用于梯度一门限边缘检测算子的改进方法。 主要研究成果为： l 结合人类视觉的亮度掩盖和空间复杂度掩盖效应，首先提出了一种简单的 无参考方块效应测度；根据人眼对运动物体的跟踪特性，以及人眼视角的范围和 聚焦的能力，提出了方块效应群的概念，确定了新的方块效应空间联合机制，进 而给出了一个与入眼视觉特性较为一致的方块效应测度。 2 在分析方块效应的形成原因的基础上，提出了一种在编码端降低方块效应 的方法。该方法通过调整编码端d c t 系数的量化，平滑相邻块边界处的量化误差， 从而达到降低方块效应的目的。 3 提出了一种适用于自然场景压缩恢复视频的无参考质量评估方法。该方法 根据视频的时间相关性以及人眼对物体运动的视觉感知特性，利用序列中具有较 高空间复杂度的平动物体在相邻图像对应区域中的变化评价视频的质量。 4 基于脆弱性水印的特点，提出了种部分参考数字视频质量评估方法。在 视频序列中隐性嵌入所需的水印信息，在解码端提取可能受到损伤的水印，并与 原始水印比较，根据恢复水印的损伤程度评估恢复视频的质量。 5 利用数字水印传递额外信息的能力，提出了一种有效的视频误码掩盖方法。 在压缩视频码流中隐藏额外的运动矢量信息，通过比较从水印提取的运动矢量与 视频解码得到的运动矢量进行误码检测，并对恢复视频中的错误块进行时域误码 掩盖。 6 提出一种新的全参考视频质量评估方法，该方法根据失真图像与参考图像 梯度的相关系数来描述图像的内容失真，结合图像的亮度失真柬评价视频序列中 各图像的质量。 7 结合人的视觉特性，提出对图像的梯度进行亮度和空间复杂度掩盖的思想， 在此基础上提出了提高梯度一门限边缘检测算子性能的改进算法。图像梯度方向 的确定易受噪声的影响，容易导致错误的空间复杂度掩盖区域。本文提出了准确 确定空间复杂度掩盖区域的方法，提高了边缘检测算法的性能。 关键词：数字视频客观质量评估方块效应数字水印边缘检测 a b s t r a c t a b s t r a c t d i g i t a lv i d e oq u a l i t ya s s e s s m e n tp l a y si m p o r t a n tr o l e si nv i d e oc o m p r e s s i o n ，v i s u a l p r o c e s s i n ga n dv i d e oc o m m u n i c a t i o n s i nt h i sd i s s e r t a t i o n ，t h eo b j e c t i v ed i g i t a lv i d e o q u a l i t ya s s e s s m e n ti s s t u d i e di nd e p t h ，a n ds e v e r a ln o v e lo b j e c t i v ev i d e oq u a l i t y a s s e s s m e n tm e t h o d sa r cp r o p o s e db a s e do nt h ec h a r a c t e r i s t i c so ft h eh u m a nv i s u a l s y s t e m ( h v s ) i na d d i t i o n ，w ea l s op r o p o s ea ne r r o r c o n c e a l m e n tm e t h o df o rv i d e o r e c o n s t r u c t i o nb a s e do nw a t e r m a r kt e c h n i q u e ，a n da l li m p r o v e dm e t h o dw h i c hi ss u i t a b l e f o rg r a d i e n t t h r e s h o l de d g ed e t e c t o r s t h em a j o rc o n t r i b u t i o n so f t h i sd i s s e r t a t i o na r es u m m a r i z e da sf o l l o w s ： 1 t h ea s s e s s m e n to f b l o c k i n ga r t i f a c t so fr e c o n s t r u c t e dv i d e oi ss t u d i e df i r s t l y ，a n d a s i m p l em e t h o df o rm e a s u r i n gp e r c e p t i v eb l o c k i n ga r t i f a c t st a k i n ga c c o u n to ft h e c h a r a c t e r i s t i c so fl u m i n a n c em a s k i n ga n da c t i v i t ym a s k i n gi sp r e s e n t e d t h e n ，an e w c o n c e p to f b l o c k i n ga r t i f a c tc l u s t e ri sp r o p o s e d ，c o n s i d e r i n ge y em o v e m e n ta n df i x a t i o n , s o m ec l u s t e r sw i t l lm o s ts e r i o u sb l o c k i n ga r t i f a c t sa r ep o o l e da n du s e dt oa s s e s st h et o t a l b l o c k i n ga r t i f a c t so f t h er e c o n s t r u c t e dv i d e o 2 b a s e do nt h ea n a l y s i so fb l o c k i n ga r t i f a c t s ，an o v e lm e t h o df o rr e d u c i n gb l o c k i n g a r t i f a c t sa tt h ec o d i n gs i d ei sp r o p o s e d n l eq u a n t i z a t i o no ft h ed c tc o e f f i c i e n t si s a d j u s t e di nt h ep r o p o s e dm e t h o dt os m o o t ht h eq u a n t i z a t i o ne r l _ 0 r so fs p a t i a l l ya d j a c e n t b l o c k sd u r i n ge n c o d i n g 3 an o v e lo b j e c t i v en o r e f e r e n c em e t r i ci sp r o p o s e df o rv i d e oq u a l i t ya s s e s s m e n to f d i g i t a l l y c o d e dv i d e o s c o n t a i n i n gn a t u r a ls c e n e s t a k i n ga c c o u n to ft h et e m p o r a l d e p e n d e n c yb e t w e e na d j a c e n ti m a g e so ft h ev i d e o sa n dt h ec h a r a c t e r i s t i c so ft h eh u m a n v i s u a l s y s t e m ，t h ev i d e oq u a l i t yi s a s s e s s e d u s i n gt h ed i f f e r e n c e sb e t w e e nt h e c o r r e s p o n d i n gt r a n s l a t i o n a lr e g i o n so f h i g hs p a t i a lc o m p l e x i t yi na d j a c e n ti m a g e s 4 ar e d u c e d r e f e r e n c ev i d e oq u a l i t ya s s e s s m e n tm e t h o di sp r o p o s e da c c o r d i n gt o t h ec h a r a c t e r i s t i c so ff r a g i l ew a t e r m a r k ，n l ew a t e r m a r ki n f o r m a t i o ni se m b e d d e di nt h e e n c o d e dv i d e os t r e a mt h er e c o n s t r u c t e dv i d e oq u a l i t yc a l lb ea s s e s s e db yc o m p a r i s o n b e t w e e nt h ew a t e r m a r ke x t r a c t e df r o mt h et r a n s m i t t e dv i d e oa n dt h ec o p yo ft h eo r i g i n a l w a t e r m a r ki nt h ev i d e od e c o d e r 5 u t i l i z i n gt h ec a p a b i l i t yo fd i g i t a lw a t e r m a r kt oc o n v e ys i d ei n f o r m a t i o n ，a n e f f e c t i v ee r r o rc o n c e a l m e n tm e t h o df o rr e c o n s t r u c t e dv i d e oi sp r o p o s e d t 1 1 ei n f o r m a t i o n o fm o t i o nv e c t o r si sh i d d e ni nt h ec o d e dv i d e os t r e a m a tt h ed e c o d e r ，e r r o rd e t e c t i o n a n de r r o rc o n c e a l m e n ta r ep e r f o r m e du s i n gt h ee x t r a c t e di n f o r m a t i o n & m o t i o nv e c t o r s 数字视频客观质量评估方法研究 6 an e wf u l l - r e f e r e n c ev i d e oq u a l i t ya s s e s s m e n tm e t h o di s p r o p o s e d ，w h e r et h e c o r r e l a t i o nc o e f f i c i e n tb e t w e e nt h eg r a d i e n to ft h er e f e r e n c ei m a g ea n dt h ed i s t o r t e d i m a g ei su s e dt oa s s e s st h ed i s t o r t i o no fi m a g ec o n t e n t t h ec o m b i n a t i o no ft h ec o n t e n t d i s t o r t i o na n dt h el u m i n a n c ed i s t o r t i o no ft h ei m a g ei su s e dt oa s s e s st h ei m a g eq u a l i t y t h eo v e r a l lv i d e oq u a l i t yi sm e a s u r e db yp o o l i n gt h eq u a l i t yo fa l li m a g e si nt h ev i d e o 7a ni m p r o v e dm e t h o df o rt h eg r a d i e n t t h r e s h o l de d g ed e t e c t o r si sp r e s e n t e di n t h i sm e t h o dt h eb a s i cc h a r a c t e r i s t i c so fh v sa r et a k e ni n t oa c c o l i n ta n dt h eg r a d i e n t i m a g ei sm a s k e dw i t ht h el u m i n a n c ea n dt h ea c t i v i t yo fl o c a li m a g e b e c a u s et h e d i r e c t i o no fg r a d i e n ti se a s i l ya f f e c t e db yn o i s e ，i ti sv e r yh a r dt oc o r r e c t l yd e t e r m i n et h e r e g i o n sf o ra c t i v i t ym a s k i n g ，a ni m p r o v e dm e t h o df o rd e t e r m i n i n gt h er e g i o n sf o r a c t i v i t ym a s k i n gi sp r o p o s e d ，b yw h i c ht h ep e r f o r m a n c eo fg r a d i e n t - t h r e s h o l de d g e d e t e c t o r si sa l s os i g n i f i c a n t l yi m p r o v e d k e y w o r d s ：d i g i t a lv i d e oo b j e e t i v eq u a l i t ya s s e s s m e n tb l o c k i n ga r t i f a c t s d i g i t a lw a t e r m a r ke d g ed e t e c t i o n 声明 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 1 、 本人签名：荔勿蔓堡日期：2 1 1 ：笙鱼 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。 本人签名 导师签名 栩付正 磊江棒 同期：丝堕! 丝堡 r 魏j 4 ，； 第一章绪论 第一章绪论 1 1 引言 随着信息技术的发展和社会的进步，人类对信息的需求越来越趋于多元化， 人们希望无论何时何地都能够方便、快捷、灵活地通过语音、数据、图像以及视 频等多种方式进行通信。由于视觉信息能够呈现给人们直观、生动的形象，因此 图像视频的传输技术受到了人们广泛的关注。 近年来，随着宽带数字网络的飞速发展及广泛应用，以及超大规模集成电路 ( v l s i ) 技术的发展和高速多媒体专用芯片的问世，各类视频处理和视频通信技 术层出不穷，多媒体信息时代已经到来。数字视频是目前多媒体通信中最主要的 媒体形式，视频点播、视频会议、可视电话等都是基于视频的多媒体应用。由于 视频通信使用者和视频服务消费者对于视频的主观感受最终取决于所谓的视频质 量，因此对于数字视频质量评估技术的研究显得r 益重要。 数字视频质量评估在视频压缩、处理以及视频通信领域中起着十分重要的作 用：实时或非实时视频系统的性能和各种视频传输信道的服务质量( q u a l i t yo f s e r v i c e ，q o s ) 最终均可通过视频质量反映出来，系统可以根据评估的视频质量 给出反馈信息以调节编解码器或信道的参数，从而保证系统的服务质量；对各种 不同编解码器的输出视频质量给出易于理解的量度，有利于对编解码器进行性能 评估和优化；视频质量评估还有助于设计、优化符合人类视觉特性的图形图像显 示系统。同时视频质量评估对于视频通信设备制造商和电信运营商都有着非常重 要的意义。如果设备商能够提供有说服力的视频质量评估结果，对于其产品的销 售将会有很大推动作用；对于运营商，视频业务属于新型业务，视频质量的评估 数据可以用于其业务推广宣传，客户满意度调查等。显然对于一般客户来说，他 们不懂复杂的技术，只能通过质量评估结果来影响他们的决定。 传统的针对模拟视频信号的质量评估方法是测量信号幅度、定时关系、信噪 比等物理参数。某些情况下，为了表征信号传输和处理中的各种线性和非线性失 真，可以在视频中插入静态测试信号并在接收端进行分析，这种方法得到的数值 与主观质量的相关性很好，并已经制定了相关的标准【2 】。随着数字视频压缩技术 的引入，传统的视频质量评估方法己无法适应新的应用要求。一方面，数字视频 压缩算法的设计目标与模拟算法不同，它并不是力求完全地复制原始信号波形， 而是在视觉效果上逼近原始图像，因而用波形的相似程度来衡量质量的好坏是有 失偏颇的；另一方面，由于信道带宽的限制，通常需要根据人的视觉特性去除一 些冗余信息，实现视频数据压缩，引起视频质量的下降。另外，由于存在方块效 数字视频客观质量评估方法研究 应、震荡效应、边缘模糊等特征失真，使得对视频质量的评估更加困难。因此 需要针刘数字视频系统的特点，设计适用于数字视频质量评估的有效方法。 1 2 数字视频及其质量 i 2 1 简介 视频处理技术及其应用是2 0 世纪最激动人心的技术之一。近年来，视频压缩 算法的进步和视频处理设备的发展使得数字视频得到了广泛的应用。在现阶段， 高效的视频压缩算法和顽健的视频压缩传输系统仍是人们研究的热点口1 。 从信息论的角度看，描述视频信源的数据可以视为信息量( 信源熵) 和信息 冗余量之和。视频和图像的信息冗余量有许多种如空间冗余、时间冗余、视觉 冗余等，数据压缩的实质是减少这些冗余量。从数学的角度来说，图像和视频可 以视为时问和空问的多维函数，压缩视频数据量的实质是减少其相关性。此外， 根据人眼的视觉特性和实际应用的保真度要求，往往允许图像和视频有一定的失 真，因此视频编码系统通常采用有损压缩算法进行视频压缩以提高压缩效率。然 而，有损压缩算法会造成压缩视频质量的下降，特别是常用的基于块的编码技术 还会引起一些特有的编码失真效应，影响了编码恢复视频的主客观质量。另外， 由于采用了运动补偿和熵编码等技术，视频通信系统中出现的信道误码往往会引 起误码扩散，导致接收端恢复视频质量急剧下降。从上面的分析可以看出，引起 数字视频质量下降的原因主要是视频压缩和信道误码。 1 2 2 视频压缩 近年来，数字视频压缩编码技术得到了迅速发展和广泛应用，并且日臻成熟， 其标志就是多个国际视频压缩标准的制定，即国际标准化组织i s o 的视频压缩标 准m p e g 1 、m p e o 2 、m p e g 4 等1 7 “，以及国际电信联盟i t u t 制定的视频压 缩标准h 2 6 1 、h 2 6 3 、h 2 6 3 + 、h ，2 6 4 等 1 0 - 1 4 1 。这些视频压缩标准融合了各种性 能优良的视频压缩算法，尤其是新一代视频压缩标准h 2 6 4 ，代表着目前数字视 频压缩的最高水平。 现有的视频压缩算法大多数都采用了基于块的运动补偿和变换编码。图1 1 给出了该类视频编码器的基本算法框图。采样后得到的视频序列包含一系列的多 幅图像。一幅编码图像既可咀是一个完整的帧( f r a m e ) 也可以是一个场( f i e l d ) 。 视频压缩首先把每一幅图像分成固定大小的宏块，每个宏块覆盖的矩形区域通常 包含个1 6 1 6 的亮度采样分量和相应的两个8 x 8 的色度采样分量，然后以宏块 为基本单位对图像进行编码。 为基本单位对图像进行编码。 第一章绪论 图像 帧问，帧内指示 冈像数掘传输o y 台指示 蕾化器指示 最化变换系数 图1 1 视频编码器的基本算法框图 通常的视频压缩算法主要包括以下几个模块： 1 ) 预测 预测编码是利用像素之间的相关性，从时间域、空间域这两大方面去除冗余 信息。按其预测方式可以分为帧间编码模式和帧内编码模式。 帧间编码模式是利用视频的时间相关性，在参考图像内对编码宏块进行运动 预测，寻找与其匹配的图像块，并对预测得到的差值图像作进一步压缩处理。h 2 6 4 编码标准使用了多种复杂的帧间预测方式，如每个宏块都支持1 6 1 6 ，1 6 8 ，8 1 6 或8 x 8 四种划分形式，并且8 x 8 模式还可以进一步划分为8 8 ，8 4 ，4 8 或4 x 4 。 另外为了提高预测精度，h 2 6 4 还采用内插技术，使得亮度信号的运动矢量达到 1 “像素精度。复杂的帧间预测模式可以大大提高压缩效率，但也增大了视频压 缩数据间的相关性，致使压缩后的视频对误码特别敏感。 帧内编码模式不依赖于其它参考图像。传统的帧内编码模式直接对宏块数据 进行变换量化编码，因此传统帧内编码宏块不依赖于其它宏块，具有较好的抗误 码性能，也相应的需要较多的编码比特数。具有更高压缩性能的帧内预测方法利 用了图像的空间相关性，利用解码恢复的相邻图像块进行帧内预测。h 2 6 4 编码 标准中，帧内预测块可以是1 6 x 1 6 的宏块，或是4 x 4 的亮度块。1 6 1 6 的宏块有 4 个可选的预测模式，而4 4 的亮度块则有9 个可选的预测模式。帧内预测提高 了编码效率，却增强了各宏块编码数据的相关性，与传统帧内编码方式相比更容 易受到误码的影响。 2 ) 变换 变换编码的目的在于去除帧内或帧阳j 差值图像的内容相关性，然后根据变换 域系数的特点和人的视觉特性对变换系数进行编码来提高压缩效率。在数字视频 数字视频客观质鼙评估方法研究 压缩中，目前最常用的变换方法是离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ， d c t ) 。d c t 常常被认为是对自然场景图像信号进行变换的准最佳变换，具有较 好的去相关性能，其变换特性接近k l 变换( k a r h u n e n l o e v et r a n s f o r m ) f 5 j 。此 外，由于d c t 的计算量较k l 变换小得多，并且可以获得快速d c t 算法以适应 实时应用，因此d c t 已在视频编码标准中获得了广泛的应用。早期的压缩标准， 如h 2 6 3 、m p e g 一2 等都使用8x8d c t 和i d c t ，其公式分别定义如下： f “，v ) ：! c _ ) c ( v 伊7y 7rx ，y ) c o s ( 2 x + 1 ) u e rc o s ( 2 y + 1 ) w r l( 1 1 1 f 2 百c ( “) c ( v 曜0 善0 ，y ) c 。s 丁1 丁 ( 1 1 ) =ul u 厂g ，) = 言圭u = 0 杰v = 0 c o ) c 扩缸，v ) c 。s 垦三岽坦c o s 垒羔岽坦 ( 1 - 2 ) 1 1 u1 u 当嘉。 ( 1 - 3 ) 上式中的厂( x ，y ) 代表原图像( 帧内编码) 的像素值，或是帧差信号值( 帧间 编码) ，v ( u ，v ) 代表8 8 d c t 变换后的系数。尽管理论上d c t 能得到精确的变换、 反变换，但在实际中编解码器的精度是有限的，无法获得完全精确的交换；编解 码器精度的不致也会导致解码视频质量的下降。并且，浮点运算具有较高的计 算复杂度。因此h 2 6 4 标准中使用4 4 整数变换来近似d c t 和i d c t 算法。 3 ) 量化 为了达到压缩数据的目的，视频编码系统需要对d c t 系数进行量化处理。人 眼对恢复图像中低频信号的误差比对高频信号的误差更为敏感，而时域或空域中 高频信号的细节通常不易被察觉。因此视频压缩系统通常对d c t 系数中的高频信 息进行粗量化，在保证一定恢复图像质量的条件下尽量减少非零系数的个数，以 达到降低编码比特率的目的。具体的量化过程可以表示为： r c ：，。= 早生，0 m ， 7 ( 1 - 4 ) g 式中c m 。是d c t 的系数矩阵，q 卅。是量化矩阵，量化后的系数矩阵用q ，表 示。量化矩阵的设计可以结合人眼的视觉特性，对视觉敏感的频率分量进行精细 量化，对视觉不敏感的频率分量进行粗量化，并使总的量化失真保持在一定闽值 以下，从而提高恢复视频的主观质量。 4 ) 熵编码 为了进一步压缩数据，需要对量化后的d c t 系数作基于统计特性的熵编码。 视频压缩系统常用的熵编码主要为h u f f m a n 编码和算术编码，这两种编码方式都 上压， ，、【 = 、j p l c 、p0 c 第一章绪论 属于可变长码( v a r i a b l el e n g t hc o d e ，v l c ) 。h 2 6 4 中使用的自适应技术可以进 一步提高可变长码的压缩效率。然而，可变长码具有较差的同步性能，致使编码 后的码流对误码十分敏感；相应的，恢复视频质量也容易受到信道误码以及误码 扩散的严重影响。 5 ) 环路滤波 编码后的环路滤波具有两大功能：平滑了块边界，尤其是在高压缩率的情况 下，可以获得非常可观的主观质量改进；经过滤波后的图像用于运动补偿预测时， 可以减小预测后的差值信号。h 2 6 4 标准中的环路滤波算法具有尤其出色的性能。 1 2 3 压缩引起的视频失真效应 如前所述，视频的压缩过程中导致恢复视频质量下降的根本原因是量化。但 我们必须看到，现有的视频压缩标准采用的预测变换等技术也会导致多种视觉上 的失真效应【1 5 j 。这些失真效应主要有： 方块效应( b l o c k i n g a r t i f a c t s ) ：是基于块d c t 压缩算法( 如m p e g 2 、h 2 6 3 等) 编码后恢复视频的主要失真，是指图像中编码块边界的不连续性，这种不连 续性是由相邻块在编码中相互独立的d c t 系数量化过程造成的。块边界不连续的 程度反映了方块效应的大小。 模糊( b l u r r i n g ) ：是指视频内容空间细节的丢失和边缘清晰度的下降，产生 模糊的原因主要是高频系数的粗量化。 震荡效应( r i n g i n g ) - 是指失真图像中高对比度边缘处的抖动现象，在对比 度高的区域较明显，但不会出现在平滑区域。它同样是由于量化特别是高频分量 的粗量化引起的，对高频分量的粗量化等同于使用了一个锐截止的低通滤波器对 图像数据进行滤波。 色彩流失( c o l o rb l e e d i n g ) ：是指颜色差别明显的区域内色彩的丢失，由色 彩信息高频分量的失真引起。由于进行了色彩亚抽样，这种效应可扩散至整个宏 块。 蚊噪( m o s q u i t on o i s e ) ：视频中的一种时域效应，在同一序列各帧的相同区 域出现，主要出现在结构平滑的区域。当亮度或色彩信号随高对比度区域的边缘 或移动物体不断变化时容易产生蚊噪，主要是由采用了块匹配的位移估值和运动 补偿算法引起的。 闪烁( f l i c k e r i n g ) ：当视频中景物的纹理很复杂时，相邻图像内对应纹理部 分采用不同的量化因子压缩，往往会导致视频中该纹理部分的闪烁。 不同的编码方法，将产生不同程度的各种视觉失真效应。例如，基于块的编 码算法产生的方块效应较为严重，而基于小波变换的压缩编码，最易引起的视觉 失真是模糊和震荡效应。 数字视频客观质蜒评侍方法研究 1 2 4 信道误码引起的视频失真效应 由于信道带宽的限制，视频通信的数据往往是压缩编码以后的数据，而压缩 后的数据对误码非常敏感，信道误码将引起恢复视频质量的严重下降。另外，如 果视频码流在传输时出现了误码，编码端并不知道误码的情况，还继续使用这些 出错的宏块做运动估值，而解码端也使用这些发生误码的宏块做运动补偿，这就 引起了误码扩散( e r r o rp r o p a g a t i o no re r r o rs p r e a d ) 。误码扩散不但使出错帧的恢 复图像质量下降，而且将会给后续图像帧的质量造成损害 z 6 - l 8 】。 通常传输压缩视频码流的信道分为无线信道和有线信道两大类。有线i p 网络 的“尽力”( b e s te f f o r t ) 传输将引入包丢失，视频解码器对视频比特流进行解码前， 可以根据接收到的包序号准确地知道所丢失的压缩视频数据在视频流中的位置， 因此解码器可以直接采用误码掩盖技术来掩盖恢复视频的错误区域。不可靠的有 线无线信道将在传输视频比特流中引入随机误码，这种误码出现的位置是不可知 的，因此包含随机误码的视频比特流将直接进入视频解码器。要确定该类误码是 否发生只能依靠解码器进行误码检测。解码器可以利用视频信号具有平稳特征的 假设，进行时域和变换域的误码检测，还可以根据视频编码的语法规则对接收视 频码流进行语法检查。然而，这些方法都无法保证误码检测的准确无误，因此仅 仅依靠解码器的误码检测往往无法准确、及时地进行误码掩盖，而由于使用了变 长码编码，当前码字内的错误将会导致后续码字无法正确解出，从而产生更严重 的视频失真。 误码掩盖也无法保证正确恢复视频误码区域的内容，往往还会引起误码块内 容的错位，导致误码掩盖块边缘处内容的不连续严重影响了视频的主观质量。 另外漏检的误码会使解码视频中出现颜色怪异的图像块，称为贴片式误码。贴片 式误码对视频质量的影响更为严重，一幅清晰度很高的图像即使只出现一两块贴 片式误码，其主观质量也会急剧下降。目前还没有好的质量评估方法能够准确反 映误码对视频质量的影响，因此如何检测视频中的误码，以及评价误码对视频质 量的影响有着极其重要的意义。 1 3 人类视觉系统 视频通信的最终信宿是人，对视频质量的评价取决于人眼的主观感受t 因此 合理的视频质量评估方法必须符合人眼的视觉特性。可见，研究人眼视觉机制以 及与视频通信、图像处理相关的视觉特性，是准确建立视频质量评估模型的基础a 本节将简要讨论与视频通信密切相关的人类视觉系统( h u m a nv i s u a ls y s t e m ， h v s ) 1 9 之0 1 。 第一章绪论 1 3 1 人眼的光学结构 从光学的角度来看，人眼犹如一架高度自动控制的照相机。它由一系列“透镜” 和能将影像集中在视网膜上的“可变光圈”组成。下面首先简介一下人眼成像的基 本光学原理。 从物理学的角度来讲，眼睛的光学作用可以用折射来解释平行于光轴的 光线通过凸透镜后会聚成像。根据投影的特性，距透镜远近不同的物体在光轴后 成像的位置也不同，并且成倒像。上述关系可以近似用高斯透镜公式表示为： +：一1(1-5) 一= 一 d 。d ?f 其中，喀表示物体和透镜之间的距离，凶指像和透镜之间的距离。厂是透镜的焦距。 无穷远处的物体在焦距点处成像：d i = f 。焦距的倒数即入射光线的弯曲程度表 示透镜的光学能力，其单位为屈光度( d i o p t e r s ) 。 大部分的光学系统具有可变的光圈，以便适应不同的入射光强。光圈不但可 以限制入射光的强度，还可以影响成像平面的位景。然而光圈会导致衍射，引起 影像模糊，模糊的程度与光圈的直径和光的波长有关。 视角是光学中一个很熏要的概念，定义为a = 2 a r c t a n ( s 2 d ) ，表示直径为s 的像在距离透镜中心为d 处的覆盖角。视角常常用来表示与距离无关的成像范围。 相应的，实际中常用每度视角的周期数( c y d e sp e rd e g r e eo f v i s u a la n g l e ，c p d ) 束 表示空间频率。 图1 2 眼睛的结构 o p t i c n e r v e 人眼的光学结构包括角膜( c o r n e a ) 、水状体( a q u e o u sh u m o r ) 、晶状体( l e n s ) 和玻璃液( v i t r e o u sh u m o r ) ，如图1 2 所示，这四部分的折射率分别是：13 8 ，13 3 ， ! 数字视频客观质量评估方法研究 1 4 0 ，1 3 4 。眼睛总的光学能力可达6 0 个屈光度。因为空气和角膜之间的折射率差 别最大，所以光从空气到角膜的转换提供大部分的光学能力。晶状体与其周围组 织的特性相似，故只提供折射能力的三分之一。由于眼睛的光学参数因人而异， 并且其光学特性将随着人年龄的增长而发生改变，因此对眼睛的光学特性做出总 体的论述是很困难的，以上数据也仅为近似值。 另外，视网膜小凹区域( f o v e a ) 能够提供的视角大约为2 度。因此某一时刻 传入大脑的信息只是所观测物体的一个很小区域，大脑对整个受测物体的理解依 赖于人眼迅速运动( s a c c a d e ) 所形成的印象，人眼每秒钟一般只有2 3 次聚焦 ( f i x a t i o n ) 的能力。 1 3 2 视网膜( r e t i n a ) 图1 3 视网膜 图1 3 给出了视网膜的结构。视网膜主要包括光感受器( p h o t o r e e e p t o r ) 和视 网膜神经两部分。 光感受器是由光敏感化学物质构成的神经细胞组成，它将光信号转换为大脑 可解释的信号。光感受器由两类细胞组成：杆状细胞( r o d s ) 和圆锥细胞( c o n e s ) 。 杆状细胞是很敏感的光探测细胞，可接收到仅由一个光子发出的微弱信号，其代 价是牺牲了分辨率。因此，杆状细胞并不能分辨细节内容，它只在光线较弱时起 作用。 根据化学成分和对不同波长光的敏感性的差异，圆锥细胞可再分为三类：l 圆锥细胞、m 圆锥细胞和s 圆锥细胞。图1 4 给出了这三种细胞对不同波长光的 敏感程度。从图中可以看出，这三种圆锥细胞感光能力的峰值波长分别为4 4 0 ， 5 4 0 ，5 7 0 纳米。l 圆锥细胞和m 圆锥细胞对光的敏感特性相似，而s 圆锥细胞 第一章绪论 与二者的差异较大。光谱的重叠是f 确分辨色彩的必备条件，因此圆锥细胞对于 颜色分辨非常重要【2 “。 视网膜中圆锥细胞的分布密度差别很大，视网膜的小凹处圆锥细胞的密度最 大，它们紧凑地排列成规则的六边形。因此，小凹对物体的分辨率最高。光感受 器的结构决定了视觉系统的最大分辨率，假设屈光度为6 0 ，则此时眼睛的焦距约 为1 7 毫米，使用简单的正切变换，可将视网膜上的成像范围用可视角表示，整个 小凹覆盖的可视角是2 度。小凹上l 和m 细胞之间的距离是2 5 9 r n ，即可见角为 2 a r c m n ( 2 5 ( 2 1 7 ) ) * 3 0 秒，因此可获得的最大分辨率约为3 6 0 0 ( 3 0 2 ) = 6 0 c p d ， 这个分辨率几乎可捕捉物体所有的空间变化。而s 细胞之间的距离为5 0 啪，转 换成可视角为1 0 分，即分辨率仅为3 c p d 。这就解释了为什么眼睛对短波长色光 的接收能力较差 2 3 】。 w m 枷m g l h 抽m 】 图1 4 c o n e s 的二种分细胞对不同波长光的吸收强度 视网膜中含有多种神经细胞( h o r i z o n t a lc e l l s 、b i p o l a rc e l l s 、a m a c r i n ec e l l s 、 g a n g l i o nc e l l s ) ，各种神经细胞相互作用共同处理光感受器传来的视觉信号。其 中，g a n g l i o n 神经细胞形成的信号被传送到大脑的其它功能单元进行处理。神经 元的接受场( r e c e p t i v ef i e l d ) 定义为光可对神经元产生影响的视网膜区域。 g a n g l i o n 神经细胞的接受场是中心周边型( c e n t e r s u r r o u n d ) 的 2 ”，如图1 5 所示。对于o n c e n t e ro i f - s u r r o u n d 塑的g a n g l i o n 神经细胞，落在其中心位置的光 会刺激其产生兴奋，而落在周边位置的光会抑制该细胞的兴奋。与之相反，对于 o f f - c e n t e ro n s u r r o u n d 型的g a n g l i o n 神经细胞，落在其周边位旨的光会刺激其产 生兴奋，而落在中心位置的光会抑制该细胞的兴奋。因此对于均匀的光激励信号， g a n g l i o n 神经细胞产生的兴奋和抑制信号相互压制，而对于落在g a n g l i o n 神经细 胞接受场上的轮廓或边缘激励，其响应增强。 数字视频客观质量评估方法研究 另外，g a n g l i o n 神经细胞可进一步分为两类：具有较小接受场的p 型g a n g l i o n 神经细胞，主要反映成像的空间细节：具有较大接受场的m 型g a n g l i o n 神经细 胞，主要响应运动信息和光的强度信息。 ao n c e n t e ro f f - s u r r o u n d 酗 bo f f - c e n t e ro n s u r r o u n d 型 图1 5g a n g l i o n 神经细胞的中心- 周边型接受场 1 3 3 视束( o p t i ct r a c t ) 视束神经元将视网膜传来的视觉信息传递给大脑不同的处理部分，从眼睛延 伸至大脑的视神经在视交叉( o p t i cc h i a s m ) 处汇合并改变了各自的方向。视交叉是 由来自鼻子处的视觉纤维和普通皮层的纤维构成的。经过这样的交叉，右视网膜 传来的图像在左脑进行处理，左视网膜传来的图像在右脑进行处理。从视交叉出 来的神经又分叉成视束，其末端的突起成为侧屈细胞结( l a t e r a lg e n i c u l a t e n u c l e u s ，l g n ) 。从l g n 开始，视觉纤维以光辐射的形式到达视觉皮层。 0 0 姑cn e r v e l a t e r a lg e n i c u l a t en u c l e u s 图1 6 视觉通路 c o n e x 第一章绪论 l g n 主要由六层细胞组成。有两层主要是接受m 型g a n g l i o n 神经细胞传来 的信号，另外四层主要接受p 型g a n g l i o n 神经细胞传来的信号。m 型和p 型 g a n g l i o n 神经细胞分别响应运动和空间细节，并且这两种类型的信号在视觉皮层 中也是分开处理的，这晚明m 和p 型g a n g l i o n 神经细胞有各自的通路。 l g n 与g a n g l i o n 神经细胞相似，m 型l g n 细胞有较大的接受场，对颜色不 敏感，对运动敏感。p 型l g n 细胞的接受场较小，在色彩分辨中起到很重要的作 用，尤其是当某种颜色的光刚好照射在p 型l g n 神经细胞接受场的中心，而另 一种特定颜色的光照射在接受场的周边区域时，该细胞会异常兴奋。目前发现了 两对这样的光，红绿光和蓝黄光。 视觉皮层位于大脑的后半部分，l g n 传来的信号首先到达基本视觉皮层 ( p r i m a r yv i s u a lc o r t e x ) ，主要的处理任务都将在此进行。视觉皮层中有大量不同 类型的神经元，它们分别响应不同类型的信号，如某些细胞只响应特定方向的空 间模式或特定方向的运动信息，神经元的这种响应选择特性被认为是h v s 具有多 通道特性的根本原因。 1 3 4 光敏感性 人眼能够辨别光十分细微的变化，可接受1 2 种强度层次的光，是因为人眼具 有对光强的自适应特性。视网膜上的光敏感细胞以及视神经元都有自动适应光强 的能力。 图1 7 对比度门限随背景亮度的变化 h v s 的响应主要依赖于激励相对于背景区域的变化，而不是激励的绝对光 强，这种性质称为w e b e r - f e c h n e r 定律。亮度的相对变化通常用对比度进行衡量， 目前有多个对比度的定义形式，其中最常用的是w e b e r 对比度。w e b e r 对比