（计算机应用技术专业论文）视频质量客观评测.pdf

摘要 摘要 节目图像质量在交互式网络电视中占有非常重要的地位。由于各种编解码 器、网络和信道传输等都会造成节目图像质量下降；为了提高节目图像质量，对 接收视频的图像质量进行准确评估，便具有重大的意义。 本文首先介绍了人类视觉系统( h v s ) 和视频压缩技术，分析了主观图像质 量评测和客观图像质量评测；阐述了视频质量客观评测的全参考、部分参考和无 参考三个发展方向。重点研究了基于h v s 的d c tv 0 m 、s s i m 、v s s i m 和 s t - - v q m 全参考视频质量评测方法，并对v s s i m 全参考视频质量评测方法进行 了改进。 d c t - - v q m 视频质量评测方法采用d c t 变换，仿真h v s 的多通道结构特性、 对比灵敏度特性和掩盖特性，对图像质量的损失进行了评测。本文通过实验得出， 该方法比实际常用的p s n r 方法具有更高的准确率。s s i m 图像质量评测方法主 要基于人眼从图像中提取结构化信息原理，从亮度、对比度和结构失真度三个方 面，综合评测图像质量的损失。本文深入研究了由s s i m 改进的，用于视频质量 评测的v s s i m 方法。v s s i m 方法对视频序列每帧中不同的亮度分块分配不同的 权重；根据运动矢量的大小，对不同的帧分配不同的权重。本文提出了用菱形运 动估计代替传统的全搜索运动估计来计算运动矢量；同时提出裁剪图像的边缘等 改迸措施，来提高评测速度。s l v q m 方法仿真人类视觉的时间域特性和空间 域特性评测视频图像质量的损失。这种方法采用主观评测的图像质量5 分制，计 算量较小，可以在线实时评测视频图像质量。 通过实验得出：v s s i m 方法的评测结果稳定，与主观评测的相关系数为 0 9 9 8 2 ，相关性比传统的p s n r 方法提高了1 1 9 ，准确率最高；s s i m 和 d c tv o m 方法次之；s tv q m 方法的准确率较低。v s s i m 方法可以评测离线 和视频片断的图像质量；d c t _ i v q m 和s s i m 方法可以实时评测视频质量，分析 网络性能对图像质量的影响；s t _ - v q m 方法评测不稳定，偶尔会出现评测失误， 有待进一步改进。 关键词图像质量评测：视频质量评测；人类视觉系统；视频压缩技术 a b s t r a c t a b s t r a c t p r o g m m sq u a l i t yi sv e r yi m p o r t a n ti ni p t vm 柚y 印p l i c a t i o n sc a nd e g r a d e 出eq u a l i t yo f c o n t e n t ，s u c ha sc o m p r e s s i o na n dd e c o m p r e s s i o n ，i n t e m e ta n dc h a l l n e l 臼锄s p o r t a t j o na n ds oo n t 0e n h 锄c et 1 1 eq u a l i t yo fs e r v i c e ，i tm a l ( e sg r e a ts e 惦et oe v a l u a t et 1 1 er e c e i v e di m a g eq u a l i t y t m l m n l i sp a p e ri n 订o d u c e sh u m 卸v i s u a ls y s t e mc h a r a c t e r i s t i c sa n dv i d e oc o m p r e s s i o ns y s t e m ， 锄a l y s e ss u b j e 曲v ei m a g eq u a l i t y 船s e s s m e ma n do b j e c 廿v ei m a g eq u a l i 哆鹊s e s s m e n t ，i n t r o d u c e s m l l - r e f e r e n c e 、r e d u c e d - r e f e r e n c ea n dn o r e f e r e n c et h r e ed h c 廿o n so fv i d e oq u a l i t ya s s e s s m e n t ， m a l 【e sf b c u so nr e s e a r c ho f d c t _ - v q m 、s s i m 、v s s i m 、s t v q mf u l l r e f e r e n c ev i d e oq u a l i t y a s s e s s m e n t ，a n dp u t sf o n a r ds o m ea d v i c eo ni m p m v i n gv s s i m v i d e oq u a l i t ym e t r i c d i s c r e t e - c o s i n e - t r a l l s f o mi sa l w a y su di nv i d e oc o m p r e s s i o ns y s t e m d c t - v q mu s e s d i s c f e t e i c o s i n e - 1 h n s f o m ，e m u i a 把sh u m 舯v i s u a ic h a n n e l sc h a r a c t e s t i c ，c o n t r 豁ts e n s i t i v i l y c h a r a c t e r i m c ，a n dm a s k i n gc h a r a c t e r i s t i ct oe v a l u 砒ev i d e oq u a l i t y a c c o r d i n gt oe x p e r i m e n t ，血i s m e 她dh 嚣b e 仕e r 蹦f o m a n c el h a np s n r ，w h i c hi so f f e nu s e di np r a c t 魄s s i mm e l h o di s b a s e do nm et h e o r yt h a th u m a nv i s u a lp e r c 印t i o ne ) ( t r a c t ss t 九l c t u r a li n f o m l a t i o n 疔d mt h e v i e w i n gf i e l d t h i sm e t h o de v a l u a t ev i d e oq u a l i t y 胁ml u m i n a i l c e 、c o n ”甜a n ds t r u c t u r et h r e e c o m p 蕊s o n s t h i sp a p e rp a y sm o r ea n e n t i o nt ot h er e s e a r c h0 f d e o - s s i mm e m o d ，w h i c hi s i m p m v e do nt h eb 船eo fs s i m 柚du s 酣t oe v a l u a t ev i d e oq u a l i 吼v s s i mm e t h o d 弘s i g n se a c h b 1 0 c ki nv i d e oc l i pd i 位r e n tw e i g h t i n gv a l u e ，趾da s s i 印se a c hv i d e o 舶m ed i 疵r e n tw e i g l l t i n g v a l u ea c c o r d i n gt om o t i o nv e c t o rl e n g t h w h e nc o m p u t i n gm o t i o nv e c t o rl e n g 出，m ep 印e r i n t m d u c e sd i 锄o n dm o 廿o ne s t i m a t em e m o di n s t e a do f 仃a d i t i o n a lf u i is e a r c hm e t l l o d ，卸da tt h e s 啪et i m ec u t so u tt h ee d g eo fe v e r yf h m et oi m p r 0 v et h ea l g o r i t l l m i cs p e e d s p a t i a l - t e m p o r a l v i d e oq u a j n ym e 仃i cj sb a s e do nt h es p a t i a ia n dt e m p o r a lc h a r a c t e s t i c 。f h u m a nv i s u 8 ls y s t e mt o a s s e s sv i d e oq u a l i t y t h em e t h o da d o p t sf i v es c o r eg r a d et h es a r r i ea ss u b j e c t i v ev i d e oq u a l i t y s c o r eg r a d e ，a 王l d s 霉a s yt oc a l e u l a t e s oi tc a nb eu s e dt oe v a j u a t eo n - l i n ev i d e oq u a l i t y e x p e r i m e n ts h o w s 也a tv s s i mm e t h o dh 雏g r e a ts t a b m t y ，t h ec o r r e l a t i o n c o e f f i c i e mw i 恤 s u b j e n i v ea s s e s s m e n ti s0 9 9 8 2 ，a n di m p r o v e d1 1 9 c o n t r a s tw i t ht r a d i t i o n a l s e s s m e n tp s n r m e t h o d ，v s s i mm e t l l o dh a sb e s tv e r a c i 吼f o l l o w e db ya r es s i ma 1 1 dd c t v q m m e t h o d s t h e v e r a c i t yo fs t v q mi sr a t h e r l o wv s s i mm e t h o d sc a nb eu s e dt oe v a l u a t eo 尽i i n ea n dv i d e o t 北京工业大学工学硕士学位论文 c l i p sv i d e oq u a l i t y ；d c t v q ma n ds s i mc a n 鹊s e s so n - l i n ev i d e oq u a l i t yi nr e a l t i m e ，a 1 1 d 柚a l y s e sn e t w o r kp e r f o n l l a n c e si n n u e n c et oi m a g eq u a l i t y ；s t v q mi si i l s t a b l e ，e v a l u a t e s v i d e oq u a l i c y 印p e a r si n v a l i d a t i o no n c ei naw h i l e ，i tn e e dt oi m p r o v ei nt h ef i l n j r e k e y w o r d si m a g eq u a l i t ya s s e s s m e n t ；v i d e oq u a l i t y 髂s e s s m e n t ；h u m a nv i s u a ls y s t e m ； v i d e 0c o m p r e s s i o n 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名 椿缸受 日期： 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名 蝽缘 导师签名 日期l 注 掰 第1 章绪论 1 1 课题研究的目的和意义 i p t v 即交互式网络电视，是种利用宽带有线电视网，集互联网、多媒体、 通讯等多种技术于一体，向家庭用户提供包括数字电视在内的多种交互式服务的 崭新技术。i p t v 关键技术是利用计算机或“机顶盒+ 电视”完成接收视频点播节 目、视频广播及网络服务等功能。它采用高效的视频压缩技术，使视频流传输带 宽在8 0 0 k b s 时可以有接近d v d 的收视效果( 通常d v d 的视频流传输带宽需要 3 m b s 1 ，对今后开展视频类业务，如因特网上视频直播、远距离视频点播和节目 源制作等来讲，有很强的优势。 要使整个网络电视产业链顺畅运行，必须有内容提供商提供的节目片源。这 就推动节目提供商在可视信息的采集、显示、存储和传输等方面开发出更好的数 字图像、数字视频系统，衡量编码解码系统图像质量的优劣成为评测数字图像、 数字视频系统质量的重要指标。t v 系统对于用户的服务质量有很高的要求， 唾面质量至少要达到v c d 的水平，而且要保证播放的流畅，随着无线和i p 视 频业务的发展，基于h 2 6 4 和m p e g 系列的视频压缩标准得到了广泛的应用， 这些标准根据视频数据的相关性和人的视觉系统的特点，去除了大量冗余信息， 能够获得较高的压缩比。但是去除大量冗余视频信息后，节目内容在存储和传输 中容易引起误码，极易造成图像质量的剧烈下降。在数字化时代，继续沿用模拟 制式中的质量评测方法已不能为我们提供满意的结果，现在除了繁琐、耗时而且 相当昂贵的图像质量主观评测测试之外，使用最多的是均方差( m s e ，m e a n s q u a r e d e m r ) 和峰值信噪比( p s n p e a k s i g n a l - t o - n o i s e r 砒i o ) ，然而这两种方 法是逐像素计算出视频图像的统计误差，由于人的视觉系统存在掩盖等特性，上 述两种方法不能准确反映图像的具体失真位置，图像质量的评测结果与图像质量 的主观评测没有很好的一致性。 在i p 丁v 节日片源内容制作中，数据量巨大给信息的存储和传输造成较大的 困难，如今的视频技术普遍使用各种编码器对视频信号进行压缩，来实现在有限 带宽上有效地传输信息。这些编码器通过去除视频信号中的冗余，达到压缩数据 带宽上有效地传输信息。这些编码器通过去除视频信号中的冗余，达到压缩数据 北京工业大学工学硕士学位论文 的目的，但它们在提高压缩比的同时也带来了图像质量的下降，由于各地的网络 带宽并不相同，怎样根据实际应用情况，选择恰当的高图像质量的编解码系统， 这就需要对各种数字视频编解码系统的图像质量进行评测。所以准确评测接收视 频图像的质量，掌握信道的特点，有效地进行视频通信，已引起普遍关注。 本课题的研究可以用于评测编解码系统中编码器编码的图像质量，解码器解 码的图像质量，分析引起图像质量损失的因素，来改进编解码器及其编解码参数 的设置等：还可以用于监控图像质量，评测一些数码相机、摄像机等图像产品的 图像质量。 1 2 国内外研究状况及分析 在全数字播出系统中，一般的视频设备都是基于非压缩的s d i 信号进行处 理，不对信号数字码( o 、1 码) 进行任何转换，视频编码器对视频信号的处理 就是对基于信号的图像内容进行m p e g 编码压缩，m p e g 编码过程存在信息丢 失，该过程是有损压缩，对图像质量的评测就是对编码后图像的信息丢失进行损 伤评测( i m p a i m e n t a s s e s s m e m ) 。 影响图像质量的因素主要有两方面：一方面是硬件条件，就是视频编码器设 置的编码参数；另一方面就是图像内容，主要取决于视频图像的亮度、色度以及 在空间和时间方面的信息。图像的内容在实际应用中是我们无法选择的，所以我 们只有提高硬件方面的条件，通过设置合适的编解码参数和提高编解码器的性能 来提高图像质量。 目前国际上图像质量评测的研究分为两个方向，即主观评测“ 3 1 和客观评测 l 6 】： 主观评测就是让观察者观测一系列重建图像，然后按损伤的视觉效果评 分；这种方法劳动强度大、费时，且受观察者背景知识、观测动机、观 测环境等因素的影响，结果稳定性差，可移植性也差。 客观评测利用数学模型测量图像质量，与主观评测相比，具有速度快、 费用低和可以嵌入到数字系统等优点，因此比较实用，是目前常用的质 量评测方法。 当前对图像质量的客观评测主要采用峰值信噪比( p s n r ) 或均方误差( m s e ) 第】章绪论 这样的指标，但p s n r 和m s e 与主观评测的相关性较差。近年来，随着对人类 视觉系统h v s ( h 啪a nv i s u a ls y s t e m ) 研究的不断深入，人们对客观质量评测的 研究也由传统的误差统计方法转到结合视觉感知特性的方法上来，基于人类视觉 特性的视频质量评测模型得到很大发展。 虽然视频质量评测模型多种多样，但用来检验这些模型和主观评分相关性的 测试很少，测试需要对一套视频序列同时进行主观和客观评测。国际上于1 9 9 7 年成立了视频质量专家组( v q e g 。1 ，v i d e oq l l a l 埘e x p e ng m u p ) ，专门致力于评测 图像质量评测模型的优劣，把评测模型进行标准化。他们在19 9 8 年5 月的会议 上制定了测试视频质量客观评测模型性能的总体计划和过程，并向全世界广泛征 集具有较好性能的客观视频质量评测模型，共有来自不同国家提交的1 0 个模型 参与了评测。 2 0 0 0 年3 月，v q e g 完成测试并给出结果“1 ，其中7 个模型的性能统计相等， 他们的评测结果在大部分测试条件下与主观评测有很好的相关性。但有3 个模型 由于技术或者软件的原因，不能产生正确的结果。这次测试的所有模型都评测准 确率都偏低，参加测试的所有模型都没有成为客观测试方法的标准。 2 0 0 3 年8 月，v q e g 的f r t vp h 懿el i “3 ( f u l lr e f e r e n c et e l e v i s i o n ) 完成测 试并给出结果，其中根据a n o v a ( a n a l y s e so f v 盯i a i l c e ) 分析方法，2 个模型测 试5 2 5 行n t s c 制视频序列效果较好，4 个模型测试6 2 5 行队l 制视频序列效果 较好。 国内图像质量评测起步较晚，用于视频质量评测的技术刚刚起步，大多数也 只限于传统的图像质量评测方法，结合人眼视觉特性的评测工作仍有很大的发展 空间，在实际应用中还没有一种方法被广泛推广。 1 3 研究中的不足及发展趋势 传统的图像质量评测方法以m s e ( 均方误差) 、p s n r ( 峰值信噪比) 为代 表，由于他们计算方便，至今仍被广泛使用。虽然二者都能较好地评测重构图像 的随机误差，算法简单，但是不能反映图像的纹理、边缘等失真，尤其是不能描 述由于图像压缩处理造成的瑕疵，如方块效应、模糊和噪声等a 传统的图像质量评测方法和主观评测不一致，不能满足图像质量评测的要 北京工业大学工学硕士学位论文 求，所以人们开始寻求新的图像质量评测方法。为了能使评测与主观一致，就需 要考虑人类视觉特性，用数学模型来模拟人类的视觉，评测图像、视频的质量。 许多人依据人类视觉的一些特性提出了不同的图像质量评测模型。视频质量评测 是在图像质量评测的基础上，考虑了视频压缩解压时独自的特点，以及人眼对视 频序列的掩盖效应等视觉特性，所以视频图像质量的评测比图像质量评测更加复 杂。许多视频质量评测模型是在图像质量评测方法的基础上，结合人类视觉特性 实现的。如本文中的v s s b v i ( d e os s i m ) 方法是在s s i m ( s 订u c t u r a ls i i n i l a r i t y b a s e di m a g em e t r i c ) 图像质量评测的基础上，考虑了视频和人类视觉的特性来实 现的，与主观评测有很好的一致性。如何把人眼的一些视觉特性加以量化，用数 学的方法来研究实现是视频质量评测工作的一个发展方向。 1 4 视频质量客观评测涉及的理论 在i p t v 项目中，高质量的节日制作占有非常重要的地位，在制作节目的过 程中，不同的格式，不同的编码器都会对节目的质量有一定程度的损失。一般来 说，动态图像数据未经压缩就使用的话，数据量非常大，容易造成通信线路故障 及数据存储容量紧张。因此，在发送动态图像，把图像内容保存在d v d 上，以及 使用存储介质容量较小的数码相机或手机拍摄摄像时，都必须使用编解码器。 d v d 与微波数字电视等使用的主要是m p e g 2 编码方法，数码相机等摄像时主 要使用的是m p e g 4 编码方法。 视频技术的发展为其质量评测提出了新的课题，h 2 6 4 是最新的视频压缩技 术，由负责通信技术标准化的i t u t ( 国际电信联盟电信标准化部门) 与i s o ( 国 际标准化机构) 合作制订的相关标准，h 2 6 4 又名m p e g 4 a v c ( a d v a n c e d d e o c o d i n g ) ，h 2 6 4 的数据压缩率是m p e g 2 的2 倍以上，m p e g 4 的1 5 倍阻上。 评测图像质量的关键在于所用视觉模型是否符合人的感知特性，因此评测 图像质量必须考虑视觉非线性、对比敏感度、多通道结构和掩盖效应等人类视觉 特性。 人类的视觉系统是世界上最好的图像处理系统，但人类的视觉系统对图像的 认知是非均匀的和非线性的，并不是对图像中的任何变化都能感知，例如图像数 据块的量化误差引起的图像变化，在一定范围内是不能为人眼所觉察的。因此， 第1 章绪论 如果评测方案能利用人类视觉系统的这些特点，是可以得到广泛应用的。人眼视 觉特性的深入研究和建立的各种数学仿真模型，一直是图像评测算法的基础。 总之，视频质量评测建立心理物理学、图像处理、多媒体技术、数学和概率 统计等多种学科的基础上，其中视频压缩技术和人眼视觉特性是视频质量评测的 两个关键。 1 5 本文主要研究内容 在i p t v 实际应用中，节目内容的质量评测只是主观评测，这样对人的分辨 能力有很高的要求，而且主观评测劳动强度大、费时，且受观察者背景知识、观 测动机，观测环境等因素的影响，结果稳定性差，可移植性也差。因此，需要研 究客观的视频质量评测方法。 客观视频质量评测方法可以对编码器的编码性能进行评估，对各种编码参数 下编码的图像质量进行评测。结合公司实际需要和视频质量的客观评测方法的发 展，本文在全参考视频质量评测方面展开了研究： 本文介绍了简单的评测模型r m s e 、m s e 、s n r 和p s n r ，分析这些方法的 优点和缺点。重点研究了d c t _ - v q m 、s s i m 、v s s i m 、s t _ - v q m 评测方法。其 中d c tv q m 是基于d c t 变换的视频质量评测方法。s s i m 方法基于结构失真 的评测方法，计算简单，主要用于单幅图像质量评测。v s s i m 在s s i m 的基础 上，结合了视频的一些特性，用于视频图像质量评测。s t _ - v q m 是s t e p h e nw o l f 等提出的基于时间和空间综合考虑的视频质量评测方法。 本文中的v s s i m 方法计算相对比较简单，可以用于图像质量评测、视频质 量评测，对流媒体图像质量的评测等。随着人类对视觉系统的研究，相信视频质 量评测技术会有很好的应用和发展。 1 6 本文结构 本文共分为五部分，详细介绍了所研究的内容，通过实验论证和分析了本文 研究的各种评测模型； 第一章：介绍了研究课题的背景和意义，分析了国内外研究状况和研究中的 不足，阐述了研究内容所涉及的理论和本文的研究内容。 北京工业大学工学硕士学位论文 第二章：介绍了图像和视觉的原理，分析了人类视觉特性，介绍了视频压缩 技术和本文实验部分所用的测试视频序列的格式。 第三章：介绍了v q e g 组织和当前视频质量评测标准化工作的进展，对主 观视频质量评测技术和客观视频质量评测技术做了详细的分析和对比，阐述了 p s n r 传统客观质量评测方法。 第四章：总结了基于h v s 的图像质量评测方法，着重分析了本文实现的 d c l v q m 评测方法、s s i m 评测方法、s t v q m 评测方法和v s s i m 评测方法， 并对v s s i m 方法的改进之处进行了详细介绍。 第五章：介绍了实验流程和测试环境，对实验结果进行了详细的分析。 第2 章人类视觉特性与视频压缩技术 第2 章人类视觉特性与视频压缩技术 由于图像质量是人们的主观视觉感受，客观的评测图像质量是用些数学模 型来模拟人跟评估图像质量，所以有必要充分研究人的视觉系统。视觉研究可分 为视觉生理、视觉特性和视觉模型等方面，也可分为视觉基础和视觉应用研究， 近些年来已取得了不少成果。 2 1 图像与视觉 对图像认识或理解的程度是由感觉和心理状态来决定的，也就是说，和图像 内容及观察者的心理因素有关，这就要要去研究包括人的因素在内的信息理论。 人的左右视角约为1 8 0 度，上下约为6 0 度，人眼中心视力分辨率强，可以 进行图像细节的认识，但只能认识图像的少部分。而周边视力分辨率差，但可认 识图像的全貌，并且可以将所见目标特征部分检出。 视觉的空间频率特性是影响图像锐度的主要因素，视觉神经具有的微分效应 以及中枢神经的积分效应等是视觉信息处理的基础。由此可以将视觉和图像结合 起来研究，应用于图像编码及图像质量改善。 视觉生理主要是指从视觉信息的产生部分一视细胞( 图像信息感受器) 和其 它神经细胞以及大脑高级中枢的神经系统的信息产生、传输和处理的机理，这就 涉及神经生理学研究，它对图像工程技术是很有启发性的部分，现在已经能够对 部分神经网络进行模型分析，这方面研究的突破将会促进图像技术和人工智能研 究的进展。 2 2 视觉特性 视觉心理学是一个由无数有趣的实验探索组成的学术领域，在这里主要关心 人类视觉系统是如何局限了我们对图像的感知的。视觉心理学研究人员确定了人 眼刚刚能够感知图像失真的阈值，作为掩盖阈值，当图像中的失真在这些阈值以 下的时候，我们是无法察觉到图像失真的，一旦超过了阙值，图像失真就变成为 可见的了。 评测图像质量的关键在于所用视觉模型是否符合人的感知特性，因此评测 北京工业大学丁：学硕士学位论文 图像质量必须考虑以视觉锐度、多通道结构、对比敏感度和掩盖效应为基础的人 类视觉特性【3 6 3 9 1 。 视觉锐度 视觉锐度表征视觉系统分辨细节的能力，并以能分辨的相邻两点视角的倒 数h 表示，其值与该相邻两点在视网膜上的成像位置有关，即由于光敏细胞在视 网膜的黄斑区分布较密，故中央凹黄斑区中心分辨力最高，随着偏离中央凹距离 z 的增加，视觉锐度以1 詹形式单调、快速下降。且在视网膜外围区域，由于多 个光敏细胞连接在一条视神经上，故视觉锐度下降最快。 多通道结构 生理学、心理学的实验研究指出，视觉皮层细胞的响应在频域呈带通特性， 并给出了敏感度峰值位置和视觉细胞响应带宽。据此推知，人的大脑具有将独立 的视觉机制聚合起来的能力，而各视觉机制对频率域某部分敏感，故可用一组 滤波器来模拟人的视觉特性，而该滤波器组则是各视觉机制的近似，它们将可见 数据分解成一组各个方向、空间频率和时间频率带宽均有限的信号，通过研究认 为，可以按对数形式将空间频率域分为4 8 个频带，并且存在同样数目的方向 带，而时间频率则由2 个或3 个通道组成。在多数情况下，可将通道看成是彼此 独立的，但一些研究者认为，通道之间也存在着相互作用。另外，空间对比度函 数还存在着空间时间的可分性问题，例如运动物体的时间感知特性依赖于空间 特性，这种时间特性在低频端是带通，而在高频端是低通。如今有一种观点来解 释这种空间时间感知的相互关系，称为敏感度标度假设，它将这种关系解释为时 间滤波器的峰值敏感度与空间频率的依赖关系，按照这种假设，在时间域和空间 域中，可使用分离的滤波器组。 对比敏感度函数 对比度是对亮度相对变化的一种量度，对比度的基本定义有两种形式。一种 是韦伯定律w e b e r - f e c l m c r 定义的，称为w 曲e r 对比度；另一种是m i c h e l s o n 定 义的，称为m i c h e l s o n 对比度。 人类视觉系统的响应更主要地依赖于相对于背景亮度的局部变化，而不是绝 对亮度值。因此对比度就是这种亮度相对变化的测量，其数学表述为： c ；些，f 2 1 、 第2 章人类视觉特性与视频压缡技术 称为w 曲c r 对比度。式2 1 中，工为目标与背景的亮度差值( c d m 2 ) ；上为背 景的亮度( c d ，m 2 ) 。 m i c h e l s o n 认为，实际的图像视觉效果很大程度上依赖于激励的特征，最主 要的是颜色、空闻频率、对阅频率( 对视频两言) 。通常用c s 取c o n t r 8 s ts e n s i 蛀v i 押 f u n c t i o n ) 来量化这种依赖关系。c s f 定义为对比度门限( 观察者检测目标所必需 的最小对比度) 的倒数。c s f 具有时空特性，c s f 的时间空间可分离性直是 研究者们比较关心的问题。因为如果c s f 能被表示成时间和空间分量可分离的 形式，那么就可以大大简化视觉模型。在c s f 的测量中，认为激励是随着频率 而周期变化的，通常是正弦周期的，这种意义下的对比度称为m i c h e l s o n 对比度。 ， 一， c = 手皆， ( 2 2 ) 式2 2 中，上m 。为亮度最大值( c d m 2 ) ；上卅。为亮度最小值( c d ，m 2 ) 。 用这两种定义直接计算对比度是很困难的，实际应用是都是用反映此特性的 一些数学函数模型代替。 掩盖效应 掩盖效应( m a s k i n ge 自f b c 【s ) 反映了激励之间的相互作用，当一个原本可见 的激励，由于另一个激励的存在而变得不容易被觉察到，这种现象就是掩盖效应。 在质量评测领域中，把原始图像作为背景，考虑干扰或编码噪声被背景掩盖 的程度，可以使客观评测结果更接近主观评测的结果。图2 1 为纹理掩盖的例子， 我们在一幅图片( 见图2 1 ( a ) 图像) 的不同部位加入同样的高斯噪声，单色亮度 比较平坦的天空部分加入噪声后( 见图2 - l 图像) 很容易看出噪声效果，海岸 沙地图像中( 图2 1 ( c ) ) ，不容易看出噪声的存在。 许多视觉模型局限于通道内的掩盖效应，它们认为只有位于同一通道内的激 励间才存在掩盖效应；但是越来越多的心理物理学的实验指出不同通道间也存 在掩盖效应，只不过掩盖效应要弱些。 北京工业大学工学硕士学位论文 ( a ) 原图像 ( b ) 天空部分加入高斯噪声图像 ( c ) 海岸部分加入高斯噪声图像 图2 一l 掩盖效应示意图 f i g u r c 2 1m a s l 【i n ge 任b c t s 还有一种掩盖为时域掩盖，人眼对快速运动物体的细节往往难以觉察，时域 掩盖就是掩盖现象对于随时间变化的激励信号的感知。时域掩盖效应发挥着重要 作用，但是其效果却随着人眼是否跟踪着移动物体而大相径庭，因此处理起来就 很复杂。当一个小的测试激励出现在背景瞬变附近时，人眼对该激励的可见性将 大大降低，人眼对信号的可见阈值将会被该信号之后( 小于5 0 毫秒) 发生的背 景瞬变所提升。背景瞬变之后对信号可见闽值提升的时间范围远远超过瞬变之前 的时间掩盖区间，约为3 0 0 毫秒。这特点我们可以在视频编码中场景突变前 后的数帧信息进行较粗的量化，而不影响图像的主观质量。 综上所述，人类视觉掩盖特性可以归纳为以下几个方面： 第2 章人类视觉特性与视频压缩技术 人眼对图像边缘、轮廓信息的失真很敏感。 人眼对图像纹理细节的敏感度与它所处的背景亮度有关，对高低亮度背景中 的纹理细节人眼敏感度较低，而对中高亮度背景中的纹理细节敏感度较高。 人眼对不同方向的图像细节信息具有不同的敏感度，对水平方向上和垂直方 向上的细节敏感度大于其他方向的敏感度。 人眼对低频成分的敏感度高于高频成分。 2 3 视频压缩技术 2 3 1h 2 6 x 系列压缩技术 h 2 6 3 标准是在h 2 6 i 标准的基础上发展起来的。它在低码率条件和不增加 太多复杂度的情况下，能够获得更高的图像质量。原则上它只需一半的带宽就可 取得与h 2 6 l 同样的视频质量。目前，h 2 6 3 标准已经被各种可视电话终端协议 广泛采用。 h 2 6 3 标准基本模式编码器的结构框图与 l 2 6 l 标准相似，同样采用运动补 偿预测减少图像的时间域冗余度，对运动补偿预测的残差场进行离散余弦变换 ( d c t ) 编码，利用变长编码对量化的d c t 系数、运动矢量以及附加信息进行 熵编码。 h 2 6 4 a v c 是i t u t 和i s 0 ，i e c 联合制定的最新编码标准，全称是m p e g 4 a v c ，或称为m p e g 4 p a r t l 0 沱最先由1 1 1 j - t 的v c e g ( v i d c oc o d i n g e x p e n 掣o u p ) 于19 9 7 年提出，目标是提出一种更高性能的视频编码标准。 h 2 6 4 和h 2 6 1 、h 2 6 3 一样，也是采用d c t 变换编码和d p c m 差分编码， 即混合编码结构。同时，h 2 6 4 在混合编码的框架下引入了新的编码方式，提高 了编码效率，更贴近实际应用。 与先前的一些编码标准相比，h 2 “标准继承了h 2 6 3 和m p e g l 2 ，4 视频标 准协议的优点，但在结构上并没有变化，只是在各个主要的功能模块内部使用了 一些先进的技术，提高了编码效率。其主要表现在：编码不再是基于8 8 的块 进行，而是在4 4 大小的块上，进行残差的变换编码，所采用的变换编码方式 也不再是d c t 变换，而是一种整数变换编码。采用了编码效率更高的上下文自 适应二进制算术编码，同时与之相应的量化过程也有区别。h 2 6 4 标准具有算法 北京工业大学工学硕士学位论文 简单易于实现、运算精度高且不溢出、运算速度快、占用内存小、消除了块效应 等优点，是种更为实用有效的图像编码标准。 在相同的图像质量下，h 2 6 4 a v c 的算法比以前的标准如h 2 6 3 或m p e g 4 节约了5 0 左右的码率，h 2 6 4 的不同配置可以应用于实时通信，也可应用于对 时延要求不高的环境中。此外，该建议增加了网络提取层，负责将编码器的输出 码流适配到各种类型的网络中，从而对网络传输具有更好的支持功能。同时，它 具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。 总之，h 2 6 4 支持不同网络资源下的分级编码传输，从而获得平稳的图像质量， 能适应于不同网络中的视频传输，网络亲和性好。 2 3 2 m p e g x 压缩技术 m p e g 是运动图像专家组( m o v i n gp i c t u r ee x p e r t sg r o u p ) 的简称，其任务是制 定世界通用的视音频编码标准。该专家组基于帧内图像相邻像素间及相邻行间的 空间相关性和相邻帧间运动图像的时间相关性，采用压缩编码技术，将人眼视觉 图像和人耳听觉声音的冗余成分抛弃，从而缩减了存储、传输和处理的数据量， 提高了频谱资源利用率，制定了一系列m p e g 标准，使数字化变为现实。 m p e g 组织于l9 9 4 年推出m p e g 2 压缩标准，实现视音频服务与应用互操 作的可能性。m p e g 2 标准是针对标准数字电视和高清晰度电视在各种应用下的 压缩方案和系统层的详细规定，编码码率从每秒3 兆比特到1 0 0 兆比特，标准的 正式规范在i s 0 i e c l 3 8 1 8 中。m p e g 2 不是m p e g l 的简单升级，m p e g 2 在系 统和传送方面作了更加详细的规定和进一步的完善，m p e g 2 特别适用于广播级 的数字电视的编码和传送，被认定为标清电视和高清电视( h d t v ，h i g hd e f i n i t i o n t e l e v i s i o n ) 的编码标准。 m p e g 2 图像压缩的原理是利用了图像中的两种特性：空间相关性和时间相 关性。这两种相关性使得图像中存在大量的冗余信息，如果我们能将这些冗余信 息去除，只保留少量非相关信息进行传输，就可以大大节省传输频带。而接收端 利用这些非相关信息，按照一定的解码算法，可以在保证一定的图像质量的前提 下恢复原始图像，一个好的压缩编码方案就是能够最大限度地去除图像中的冗余 信息。 第2 章人类视觉特性与视频压缩技术 m p e g 2 的编码图像被分为三类，分别称为i 帧，p 帧和b 帧。i 帧图像采用 帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相关性。 p 帧和b 帧图像采用帧间编码方式，即同时利用了空间和时间上的相关性。p 帧 图像只采用向前时间预测，可以提高压缩效率和图像质量。p 帧图像中可以包含 帧内编码的部分，即p 帧中的每一个宏块可以是向前预测，也可以是帧内编码。 b 帧图像采用双向时间预测，可以大大提高压缩倍数。 运动图像专家组于1 9 9 9 年2 月正式公布了m p e g 4 ( i s 0 i e c l 4 4 9 6 ) 标准第 一版本，m p e g 4 第二版于2 0 0 0 年年初正式成为国际标准。 m p e g 4 与m p e g l 和m p e 0 2 有很大的不同：m p e g 4 不只是具体压缩算法， 它是针对数字电视、交互式绘图应用( 视频合成内容) 、交互式多媒体等及压缩 技术的需求而制定的国际标准。m p e g 4 标准将众多的多媒体应用集成于个完 整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起 一种能被多媒体传输、存储和检索等应用领域普遍采用的统一数据格式。 m p e g 4 标准同以前标准的最显著的差别在于它是采用基于对象的编码，即 在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编 码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所 需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法和表示方 法，又有利于不同数据类型间的组合，并且这样也可以方便地实现对各种对象地 操作及编辑。例如，我们可以将一个卡通人物放在真实的场景中，或者将真人置 于一个虚拟的演播室里，还可以在互联网上方便的实现交互，根据自己的需要有 选择的组合各种视频音频以及图形文本对象。 与m p e g l 、m p e g 2 相比，m p e g 4 具有如下独特的优点： 基于内容的交互性 m p e g 4 提供了基于内容的多媒体数据访问工具，、如索引、超级链接、下载 和删除等。利用这些工具，用户可以方便地从多媒体数据库中有选择地获取自己 所需的与对象有关的内容，并提供了内容的操作和位流编辑功能，可应用于交互 式家庭购物、淡入淡出的数字化效果等。m p e g 4 提供了高效的自然或合成的多 媒体数据编码方法，它可以把自然场景或对象组合起来成为合成的多媒体数据。 高效的压缩性 m p e g 4 基于更高的编码效率。同已有的其它标准相比，在相同的比特率下， 北京工业大学一：学硕十学位论文 它基于更高的视觉听觉质量，这就使得在低带宽的信道上传送视频、音频成为可 能。同时m p e g 4 还能对同时发生的数据流进行编码，一个场景的多视角或多声 道数据流可以高效、同步地合成为最终数据流。这可用于虚拟三维游戏、三维电 影、飞行仿真练习等。 通用的访问性 m p e g 4 提供了易出错环境的鲁棒性，来保证其在许多无线和有线网络以及 存储介质中的应用，此外，m p e g 一4 还支持基于内容的的可分级性，即把内容、 质量、复杂性分成许多小块来满足不同用户的不同需求，支持具有不同带宽，不 同存储容量的传输信道和接收端。 帧内( i n t r af m m e ) 压缩也称为空间压缩( s p a t 谢c o i n p r e s s i o n ) ，当压缩一 帧图像时，仅考虑本帧的数据丽不考虑相邻帧之间的冗余信息，这实际上与静态 图像压缩类似，帧内压缩一般达不到很高的压缩。采用帧间( i n t e rf 啪e ) 压缩 是基于许多视频或动画的连续前后两帧具有很大的相关性，或者说前后两帧信息 变化很小的特点，连续视频的相邻帧之间具有冗余信息，根据这一特性，压缩相 邻帧之间的冗余量就可以进一步提高压缩