（应用数学专业论文）图像及视频质量的若干研究.pdf

摘要 图像和视频的质量评价一直是图像处理技术中的难点。随着数字技术的提 高以及多媒体技术日趋广泛的应用，对图像和视频质量评价技术的要求也越来 越高。本文从灰度图像的质量评价入手，对灰度图像质量评价、彩色图像质量 评价以及视频的质量评价做了一些研究。首先本文简要的介绍了图像质量评价 技术的分类。图像质量评价方法可以分为两类：主观图像质量评价方法和客观 图像质量评价方法。虽然主观评价方法是最可以信赖的质量评价方法，但是由 于其本身的种种弊端，导致了客观质量评价方法的出现和发展。客观质量评价 方法的发展大致可以分为三个阶段：传统的客观质量评价方法、改进的客观质 量评价方法以及基于感知的图像质量评价方法。本文介绍了隶属于三个阶段的 几类评价方法中的代表性方法以及衡量客观评价方法优劣的标准：p e a r s o n 相 关系数和s p e a r m a n 等级相关系数。 然后，本文对一些代表性的客观图像质量评价方法进行了比较。结果发现 每种方法都有一定的适用范围。为了综合这些评价方法各自的优势，本文采用 多元线性回归分析的方法，对这些方法进行拟合，得到了一种基于多元线性回 归的图像质量评价方法。通过与其他方法的比较，发现此方法与主观评价方法 之间具有更好的一致性，之所以如此是因为方法中选用的图像信息符合人眼视 觉系统的特点。 通过对基于多元线性回归的图像质量评价方法的分析，发现了一种符合人 眼图像质量评价过程的图像质量评价模型。根据人眼视觉系统的特点，本文构 造了入眼进行图像质量评价过程中用到的三种重要图像信息的数学模型。模拟 了人眼视觉系统对三种图像信息模型的响应函数，最终通过多元线性回归的分 析方法将三种响应函数拟合起来，成为基于感知的图像质量评价方法。我们将 这种感知质量评价方法与其他的图像质量评价方法进行了比较和分析。 上述质量评价方法都只是适应于图像处理前后图像的大小不发生变化的情 况。但是在图像处理的过程中，特别是图像缩放技术中，图像的大小会发生交 化。针对这类的图像处理技术并没有专门的评价方法，因此我们提出了一种基 于h a u s d o r f f 距离的图像质量评价方法。实验表明这种评价方法能够直接应用 于大小发生变化的图像，并且能够很好的测试出处理之后图像的质量。 i v 图像及视频质量的若干研究 随着数字图像技术的发展，彩色图像日益广泛的被应用到各种领域中。不 同的色彩空间模型来构造彩色数字图像。对于图像质量评价方法来说，不同的 图像质量评价方法在不同的色彩空间中对于图像处理中图像质量损失的灵敏度 是不同的，即使是同一种图像质量评价方法在不同的色彩空间中对图像损失的 灵敏度也有所不同。考虑到计算量的问题，本文总共选取了七种简单的图像质 量评价方法，将它们在十种色彩空间模型中的表现进行比较。发现了适合不同 失真的色彩空间模型和质量评价方法。 数字压缩技术的提高使得视频的应用越来越广泛，而主观视频质量评价方 法要求有比较严格的实验环境和测试条件，并且要选择适当的主观视频质量评 价方法。这就促进了客观方法的发展。常用的视频质量评价方法可以分为三类： 全参考的视频质量评价方法，限制参考的视频质量评价方法和无参考的视频质 量评价方法。本文基于边缘度量，构造了空域和时域失真模型，在此基础上建 立了人眼对两种失真的响应函数并将其拟合为基于边缘失真的视频质量评价方 法。实验结果表明此方法对于视频序列具有很好的评价作用。 关键词：图像质量评价，人眼视觉系统，相关系数，色彩空间，视频质量评价 a b s t r a c t a st h ed e v e l o p m e n to ft h ed i g i t a lt e c h n o l o g y , e s p e c i a l l ym o r ea n dm o r e a p p l i c a t i o no fm u l t i m e d i a ，i m a g ea n dv i d e oq u a l i t ye s t i m a t i o nb e c o m em o r ea n d l i l o r ei m p o r t a n tw h i c hi sa l s oo n eo ft h em o s td i f f i c u l ti nt h ei m a g ep r o c e s s i n g b a s e do ng r a - yi m a g eq u a l i t ye s t i m a t i o n ，s o m er e a c hh a sb e e nd o n eo nc o l o r i m a g eq u a l i t ye s t i m a t i o na n dv i d e oq u a l i t ye s t i m a t i o n a st h eb e g i n n i n go ft h e p a p e r ，i m a g eq u a l i t ye s t i m a t i o ni si n t r o d u c e d i tc a nb ed i v i d e di n t ot w og r o u p s ： o b j e c t i v ei m a g eq u a l i t ye s t i m a t i o na n ds u b j e c t i v ei m a g eq u a l i t ye s t i m a t i o n f o r t h es h o r t c o m i n g so ft h es u b j e c t i v ei m a g eq u a l i t y e s t i m a t i o n ，f o re x a m p l e ，m o s ( m e a no p i n i o no fs c o r e ) ，m u c hr e a c hi sp a y e da t t e n t i o nt ot h eo b j e c t i v ei m a g e e s t i m a t i o n t h e r ea r et h r e es t e p si nt h ed e v e l o p m e n to fo b j e c t i v ei m a g eq u a l i t y e s t i m a t i o n ，o r i g i n a li m a g eq u a l i t ye s t i m a t i o n ，i m p r o v e do r i g i n a li m a g eq u a l i t y e s t i m a t i o na n dp e r c e p t i o nb a s e di m a g e q u a h t ye s t i m a t i o n s o m et y p i c a la s s e s s m e n t si ns e v e r a lt y p e so fi m a g ee s t i m a t i o na r es e l e c t e d a n dc o m p a r e di nt h i sp a p e r a n dt h e n ，i ti sf o u n dt h a te v e r ym e t h o dh a si t sd i s - a d v a n t a g e s om u 1 i t i - l i n e a rr e g r e s s i o na n a l y s i si su s e dt oi n t e g r a t et h e s em e t h o d s i n t oo n ew h i c hc o u l dh a st h ea d v a n t a g e so fa 1 1t h em e t h o d s d u r i n gt h ei n t e g r a t i o n ，a ni d e ao fi m a g eq u a l i t ym e a s u r e m e n ti sg o t t e na n d p r o v e d i nt h i si d e a ，t h r e ep i e c e so fi m a g ei n f o r m a t i o na r eu s e dw h i c hi sa l s o a g r e ew i t ht h ep r o c e s so fs u b j e c t i v eq u a l i t ye s t i m a t i o n a c c o r d i n g l y , t h r e em o d e l s w h i c hs t i m u l a t et h e s ei n f o r m a t i o na r eg i v e na n ds oa r et h ef u n c t i o n so ft h eh v s t ot h e s em o d e l s a f t e rt h e n ，t h ef u n c t i o n sa r ei n t e g r a t e di n t oae q u a t i o nw h i c h i su s e dt om e a s u r et h ei m a g eq u a l i t y s o m ec o m p a r i s o nw i t hp r o p o s e dm e t h o d s i sg i v e n a st h er e s u l t ，w ef i n dt h a tt h i sm o d e li sm o r ea g r e e a b l e a c c u r a t ea n d c o n s i s t e n tw i t ht h es u b j e c t i v ei m a g eq u a l i t ye s t i m a t i o n ，m o s a l lt h ea b o v em e t h o d sa r ep r o p e rt ot h ed i s t o r t e di m a g e sw h i c ha r eo ft h e s a m es i z ew i t ht h eo r i g i n a li m a g e s b u tt h e r ea r es o m eo t h e rp r o c e s s i n gw h i c h w o u l dc h a n g et h es i z eo ft h ei m a g e s ，s u c ha si m a g ez o o m i n g s oam e t h o di s g i v e nw h i c hi su s e di ns u c hk i n do fi m a g ep r o c e s s i n g a ne s t i m a t i o nb a s e do n 图像及视频质量的若干研究 h a u s d o f fd i s t a n c ei sg o t t e na n di n t r o d u c e dh e r e n o wc o l o ri m a g e sa r eu s e dm o r ea n dm o r ep o p u l a r s om a n yc o l o rs p a c e m o d e l sa r eu s e di nt h ed i g i t a li m a g ep r o c e s s i n g i nt h i sp a p e r ，a b o u t1 0k i n d s o fc o l o rs p a c em o d e l sa r ei n t r o d u c e d a n ds e v e r a ls i m p l ei m a g eq u a l i t ye s t i m a - t i o nm e t h o d sa r ec o m p a r e di nt h e s ec o l o rs p a c em o d e l s t h e nw ec a nf i n dt h a t d i f f e r e n tm e t h o d sh a v ed i f f e r e n ta p p e a r a n c ei nd i f f e r e n tc o l o rs p a c em o d e l sf o r d i f f e r e n td i s t o r t i o n w i t ht h ed e v e l o p m e n to fi m a g ec o m p r e s st e c h n o l o g y , v i d e oi su s e dm o r e a n d m o r eo f t e n f o rt h ec o m p l e x i t yo ft h es u b j e c t i v ev i d e oq u a l i t ye s t i m a t i o n ，m o r e a n dm o r er e s e a r c h e r sa r ep a ya t t e n t i o nt ot h ev i d e oq u a h t ye s t i m a t i o n i nt h i s p a p e r ，t w ok i n d so fs u b j e c t i v ev i d e oq u a u t ye s t i m a t i o na r ei n t r o d u c e d a n d t h e ns o m ek i n d so fo b j e c t i v ev i d e oq u a l i t ye s t i m a t i o na r ea l s oi n t r o d u c e dh e r e a f t e rt h a ta ne d g ed i s t o r t i o nb a s e dv i d e oq u a l i t ye s t i m a t i o nm o d e li sp r o p o s e d w h i c hi sp r o p e rt ot h eq u a l i t ye s t i m a t i o no fv i d e os e q u e n c e k e y w o r d s ：i m a g eq u a u t ye s t i m a t i o n ，h u m a nv i s u a ls y s t e m ，c o r r e l a t i o nc o e f o f i c i e n t ，c o l o rs p a c e ，v i d e oq u a d i t ye s t i m a t i o n 表格砷1 w 2 1 主观评价方法的测试条件 1 5 2 2 图像质量的一个绝对主观分类尺度1 7 3 1 相关客观方法列表2 6 3 2 压缩失真的相关系数2 7 3 3 噪声失真的相关系数2 8 3 4 综合失真的相关系数2 8 3 5 多元线性回归的结果 3 1 3 6 m l r e 相关系数分析3 2 4 1 试验的视觉结果描述5 1 4 2 信息熵和h a u s d o r l t 距离的比较5 1 5 1 噪声失真的p e a r s o n 相关系数6 7 5 2 噪声失真的s p e a r m a n 相关系数：6 7 5 3 压缩失真的p e a r s o n 相关系数8 0 5 4 压缩失真的s p e a r m a n 相关系数8 1 6 1 测试视频序列1 0 4 插图 2 1 灰度参考图像 1 6 3 1 压缩失真的相关性分析3 3 3 2 噪声失真的相关性分析3 3 3 3 综合失真的相关性分析3 4 4 1 视觉灵敏度函数3 8 4 2 感知亮度响应函数4 3 4 3 感知频率响应函数4 3 4 4 感知边缘响应函数4 4 4 5p i q e m 的评价结果4 6 4 6p i q e m 相关系数比较4 6 4 7 放大图像比较5 0 5 1 彩色参考图像。5 7 5 2c c 在噪声失真上的表现5 9 5 3i f 在噪声失真上上的表现6 0 5 4m a e 在噪声失真上的表现6 1 5 5m s e 在噪声失真上的表现6 2 5 6n c c 在噪声失真上的表现6 3 5 7s n r 在噪声失真上的表现 6 4 5 8p s n r 在噪声失真上的表现6 5 5 9c c 在各种压缩失真上的表现7 3 5 1 0i f 在压缩失真上的表现7 4 5 1 1m a e 在压缩失真上的表现7 5 5 1 2m s e 在压缩失真上的表现7 6 图像及视频质量的若干研究 5 1 3n c c 在压缩失真上的表现7 7 5 1 4s n r 在压缩失真上的表现 7 8 5 1 5p s n r 在压缩失真上的表现 7 9 6 1d s c q s 计分表9 0 6 2 d s c q s 装置示意图9 1 6 3d s c q s 测试单元9 1 6 4 s s c q e 测试过程9 3 6 5 s s c q e 的数据处理9 4 6 6 评价序列的平均值9 5 6 7 均值随时间变化的柱状图9 5 6 8 平均分数与所占比例变化柱状图9 6 6 9 空域响应函数1 0 6 6 1 0 时域响应函数1 0 6 6 1 1 其他方法与d m o s 散点图1 0 8 6 1 2e b m 与d m o s 散点图1 0 9 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝姿态堂或其他教育机构的学位或 证书而使用过的材料。与我一同丁作的同志对本研究所做的任何贡献均己在论文 中作了明确的说明并表示谢意。 学位论文作者签名：弗趁摒 签字日期：o 咄年占月j 日 学位论文版权使用授权书 本学位论文作者完全了解迸望盘堂有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝婆盘堂 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：韦陪揖 导师签名： 签字日期：栅婷莎月夕日签字日期： 琴乏多 么 。y 2 汐僻月 日 致谢 时光飞逝，五年的研究生生活如白驹过隙。在浙江大学的研究牛学习期间， 在浙江大学良好的学习氛围和学风环境中不仅在学业和各方面能力上有了很大 程度的提升，人生观和价值观方面更是有了显著的改善。取得的这些成绩与身 边各位老师、同学和朋友的帮助是息息相关的。 首先要感谢我的导师董光昌教授和陈刚教授。董先生渊博的知识，严谨的 治学态度使我终身受益。特别是他在学术研究上孜孜进取，学而不殆的念度更 是给我了莫大的激励。五年浙大求学过程中，不论是生活还是学习方面陈老师 都给予我很多的鼓励和热心的帮助，教会了很多为人处世的道理。在此论文完 成之际，谨向两位老师表示最衷心的感谢和深深的敬意! 并祝他们身体健康，吉 祥如意! 其次要感谢的是宁波大学的李均利教授。李老师在我整个的研究生学术研 究过程中给予了很多的指导，并给出了很多的意见和建议。在去年一年的宁波 大学学习过程中，李老师更是给予了无微不至的关心、照料和支持。在此也对 他表示衷心的感谢，并祝他阖家欢乐，万事顺利! 感谢我的师兄魏平、李澄清、赵晓宇以及陈北京。魏平师兄专业知识扎实， 帮我解决了很多学习和研究上的疑惑，赵晓宇师兄以及陈北京在计算机编程等 方面给了很多的帮助，李澄清师兄则对我给予了很多的督促和激励。在此对他 们表示衷心的感谢! 特别的，要感谢我的家人。是父母这么多年的辛苦和支持才让我能够顺利 的完成研究生阶段的学习；是爱人的理解和鼓励才能让我有今天的成功和进步。 在此，向我的父母表示深深的敬意，向我爱人表示衷心的感谢! 谢! 最后，谨向所有关心和帮助我的老师，家人，朋友和同学表示最诚挚的感 第一章绪论 1 1图像和视频质量评价研究简介 1 1 1客观评价方法的研究背景 数字图像和视频技术被应用到越来越多的领域中。不同的领域中应用的图 像和视频的类型是不同的，而且相应的，对图像处理技术的要求也各有些侧重， 这就造成了不同领域的不同应用过程中对图像和视频质量也有不同的要求。这 就要求图像或者视频服务的提供者们能够根据不同的要求提供不同质量的图像 和视频。于是，对图像和视频质量评价方法的要求也就越来越高。然而图像和 视频质量评价一直被认为是图像处理和分析领域中的一个难点。 在现实生活中，图像或者视频服务的接受者，也就是图像和视频的观察者 们，根据各自不同的经验，知识水平，生活经历等等养成了各不相同的审美观 念。同样的一幅图像或者一段视频，不同的观察者会有不同的感受。另外，观察 者们各自的观察环境，图像和视频演示的仪器，观察时间的各不相同等等因素 都能够影响主观质量的评价，造成对图像或者视频质量不同的评价结果。 由图像或者视频的观察者们给出图像或者视频质量评价结果的方法被称为 主观图像或者主观视频质量评价方法。主观质量评价方法在评价图像和视频的 过程中会受到很多因素的制约。第一类因素就是前面提到的，由于审美观念， 知识结构的不同造成的对图像和视频认识的不同，这类因素完全依赖人的主观 思想，是我们不可模拟的。所以在主观实验中为了避免这类因素造成的评价值 的局限性，要寻找处于各个年龄阶段，从事各种职业，尽可能多的观察者。第二 类因素是实验环境的影响，例如观察环境，图像显示器，观察时间等等。为了避 免这类因素中各个因素的不同而造成的图像或者视频质量评价值的不同，在主 观质量评价实验中对实验条件进行了详细的限定，具体情况，静止图像主观质 量评价实验条件见第二章，视频的主观质量评价实验条件见第六章。从上面的 描述中我们可以发现，对图像和视频质量进行主观评价要受到多种条件的限制， 而且在这个过程中需要花费大量的人力，物力和财力和时间。 为了弥补主观质量评价方法的不足，研究者们开始研究在没有入主观评 价图像或者视频时，仍能够度量图像或者视频质量的客观评价方法。研究者们 2 图像及视频质量的若干研究 陆续提出很多种客观质量评价方法。但是不同的客观质量评价方法，适用的范 围( 包括图像或者视频的类型以及图像处理技术的类型等) 是不同。 1 1 2图像质量评价研究的相关知识简介 数字图像的类型大致可以分为静止图像和移动图像也即视频序列。静止图 像又可以分为灰度图像和彩色图像。其中灰度图像和彩色图像根据图像中象素 值的不同继续进行分类。最简单的图像只有两种颜色：黑色和白色，也就是二 值图像，类似中国的山水画或者剪纸。二值图像具有运算简单，数据量小和方 便直观等优点，可以作为域值化后的图像，也可以用来作为嵌入的水印等。灰 度图像是指只含有亮度信息，不含彩色信息的图像。现在最常见的灰度图像是 2 5 6 色的灰度图像，也就是把亮度信息划分为2 5 6 个连续的灰度阶。常见的支 持灰度图像的图像格式有：j p e g 、p g m 和p n g 等。彩色数字图像的表示要 基于一定的色彩空间模型，最常见的有：r g b 色彩空间模型、y c b c r 色彩空 间模型、l a b 色彩空间模型等等。在普通显示器中，所有的彩色都是有红、绿、 蓝( r 、g 、b ) 三种原色组合而成的，其中任何一种原色不能由其他两种组合 而成。这是一种加性的色彩空间模型。y c b c r 色彩空间模型在图像压缩过程中 经常被应用，如j p e g 压缩。另外，视频压缩中，例如视频编解码的m e p g 系 列以及h 2 6 l 系列也都是在y c b c r 色彩空间模型中进行的。在第五章中，我 们对包括r g b 色彩空间，y c b c r 色彩空间在内的十种色彩空间模型进行了介 绍。 1 1 2 1实验的图像及失真类型的介绍 首先来考虑灰度图像。不同类型的灰度图像的成像原理不同，最常见的成 像原理是根据图像亮度的不同而成为具有不同灰阶的图像。但是另外有些类型 的图像则不是如此，例如，医学所用图像中的m r 等图像是根据人体组织器官 的密度不同而成像的，遥感图像的成像原理也有所不同。虽然不同类型图像的 成像原理各不相同，但是当它们转换为数字图像之后，进行图像处理时用到的 处理技术的原理却大致相同。而在图像处理过程前后，总会引起图像质量的一 些变化。例如图像压缩技术就是在压缩的过程中丢掉部分图像信息以达到压缩 的目的。而客观图像质量评价就是对图像处理技术前后图像质量变化的一种度 量。一般地，在图像质量评价中，我们认为在进行处理之前的图像，也就是原始 图像的质量是好的，而图像处理技术引起了图像质量的下降。虽然这可能违背 第一章绪论3 了一些图像处理技术的宗旨，例如图像增强技术。图像增强的目的是对图像进 行加工，以得到对具体应用来说视觉效果更“好”，更“有用”的图像。例如对医 学图像来说，就可能需要对病患部位进行局部增强技术，凸出局部的细节信息， 方便医生进行观察和判断。在对图像质量进行评价时，最经常用的图像处理技 术有：图像加噪( 就是在图像上加上不同类型不同程度的噪声，构成噪声图像) 和图像压缩( 也就是利用不同的压缩技术，例如，j p e g ，j p e g 2 0 0 0 等等，不同 程度的丢掉一些图像信息，来获得不同压缩率的图像) 。这两种图像处理技术处 理图像之后总会引起图像质量的损失。前者的质量损失是由于图像信息的增加 引起的，后者的则是由于图像信息的减少。另外图像的腐蚀、膨胀等也会引起 图像质量的改变。 图像的噪声主要是来源于图像的获取( 数字化过程) 和传输过程。噪声是 妨碍人们感觉器官对所接收的信源信息理解的因素，是不可预测，只能用概率 统计方法来认识的随机误差。噪声可以大致分为三类：首先加性噪声：噪声和图 像信号的强度不相关，如图像在传输过程中引入的信道噪声，摄象机扫描噪声 等。其次乘性噪声：噪声和图像信号相关，往往随图像信号的变化而变化，如飞 点扫描图像中的噪声、电视扫描光栅、颗粒噪声等：最后量化噪声：数字图像的 主要噪声源，其大小显示出数字图像与原始图像的差异。对这类噪声减小的最 好办法是采用按灰度级概率密度函数选择量化级的最优量化措施。在图像处理 中经常用到的噪声有高斯噪声、椒盐噪声，伽马噪声、瑞利噪声等等。由于高斯 噪声在空间和频率中数学上容易处理，因此这种噪声经常被应用于实践中，它 的随机概率分布密度服从高斯函数。在一幅图像中，高斯噪声的产生来源于电 子电路噪声和由低照明度或者高温带来的传感器噪声。椒盐噪声又称为脉冲噪 声，其值类似随机分布在图像上的胡椒和盐粉微粒，因此而得名。它主要表现 在成像中的短暂停留中，例如，错误的开关操作。伽马噪声又被称为爱尔兰噪 声，因为其随机概率分布密度类似于爱尔兰密度。这种噪声主要应用于激光成 像中。最后，瑞利噪声也是根据其概率密度函数来命名的。这种密度函数对于 近似偏移的直方图十分适用，另外对于在图像范围内特征化噪声现象也非常有 用。本文实验中用到的噪声图像也大致由上面的几种噪声类型组成。 我们采用几种压缩方式获取了不同压缩程度的失真图像，包括j p e g 压 缩、j p e g 2 0 0 0 压缩以及分形压缩。以上几种压缩方法都属于有损压缩。有 损压缩主要应用于对图像精度要求不高的情况下，它的压缩比很高，能够达 i l j l 0 ：1 ，2 0 ：1 甚至4 0 ：1 ，这是因为原始图像的象素值可以用一些近似值来代 4 图像及视频质量的若干研究 替。有损压缩是一种对图像数据的精确性、存储空间和带宽占用的折中处理方 式。 j p e g 是联合图像专家组( j o i n tp i c t u r ee x p e r tg r o u p ) 的英文缩写，是国 际标准化组织( i s o ) 和c c i t t 联合制订的静态图像的压缩编码标准。和相同 图像质量的其他常用文件格式相比，j p e g 是目前静态图像中压缩比最高的， 因此被广泛应用于多媒体和网络程序中。j p e g 有多种模式，其中最常用的是 基于离散余弦变换的顺序型模式，又称为基本系统( b a s e l i n e ) 。j p e g 使用的色 彩空间模型是y c b c r 模式。其中y 分量代表了图像亮度，c b 、c r 代表了图像 的色差信息。相比较而言，亮度信息y 更重要一些。关于色彩空间模型y c b c r 以及其他的色彩空间模型在的五章中会进行比较详细的介绍。 与j p e g 压缩模式不同，j p e g 2 0 0 0 是一种基于小波变换的最新静态图像 压缩标准。该标准的核心是小波变换压缩技术。通过实验比较分析发现，该技术 不仅能够取得比较高的压缩率，而且能够实现累积传输、随机访问等特性，能 很好的适应网络环境下的压缩传输需求，具有广泛的推广应用价值。它之所以 具有这些优越性是因为它采用的是离散小波变换算法为主的多解析编码方式。 并且j p e g 2 0 0 0 比j p e g 的压缩率提高了约3 0 ，能够同时支持有损压缩和无 损压缩。此外j p e g 2 0 0 0 可以任意指定影像上感兴趣的区域进行压缩，还可以 选择指定的部分先解压缩。 分形压缩方法是美国g e o r g i a 理工学院的m f b a r n s t e y 于1 9 8 8 年1 月 份在b y t e 上发表的。方法的目的是为了发掘自然物体，如天空、云雾、海岸 线等，在结构上的自相似性，而这种自相似性是图像整体和局部相关性的表现。 分形压缩正是利用了分形几何中的自相似原理来实现的。它首先对图像进行分 块，然后寻找各个块之间的相似性，这里的相似性主要靠仿射变换来确定。一 旦找到了块间的仿射变换，就保存下这个变换的系数，由于块的数量远远大于 仿射变换的系数，因此图像得以大幅度压缩。分形压缩方法由于其独特新颖的 思想，成为目前数据压缩领域的研究热点之一。 图像的腐蚀与膨胀属于一门新兴的学科：数学形态学( m a t h e m a t i c a l m o r p h o l o g y ) 。它在图象处理中的应用主要是： 利用形态学的基本运算，对图象进行观察和处理，从而达到改善图象质量 的目的： 描述和定义图象的各种几何参数和特征，如面积，周长，连通度，颗粒度， 第一章绪论 5 骨架和方向性 腐蚀是指把结构元素b 平移a 后得到b a ，若b a 包含于x ，我们记下这 个a 点，所有满足上述条件的a 点组成的集合称做x 被b 腐蚀的结果。用公 式表示为：e ( x ) = a l b acx ) = xeb 】- 。膨胀可以看做是腐蚀的对偶运算， 其定义是：把结构元素b 平移a 后得到b a ，若b a 击中x ，我们记下这个口 点，所有满足上述条件的a 点组成的集合称做x 被j e 7 膨胀的结果。用公式表 示为：d ( x ) = a l b a1x = f x0b _ 。 本文中进行的灰度图像质量评价方法以及彩色图像质量评价方法的研究中 使用的图像就是利用上面提到的各种图像处理技术得到的。 1 1 2 2 灰度图像质量评价研究的简介 本文对图像质量评价的研究是从灰度图像质量评价入手的。在第二章中首 先介绍了一些代表性的图像质量评价方法，这些都是针对灰度图像的质量评价 方法。众所周知，图像质量评价方法可以分为两类，主观图像质量评价方法和 客观图像质量评价方法。前面我们也介绍到了主观图像质量评价方法虽然比较 可靠，但是受到很多条件的制约，因此在进行实验的时候作出了很多限制。具 体限制条件见第二章。为了弥补主观评价方法的不足，客观质量评价方法相继 被提出来。 根据图像质量评价方法的发展过程可以大致将这些客观评价方法分为三 类：第一类是传统的客观图像质量评价方法，第二类是改进的图像质量评价方 法，第三类则是基于感知的图像质量评价方法。传统客观质量评价方法应用一 些物理参数来测试图像质量的失真，例如均方差，信噪比和峰值信噪比等等。 在第二章中针对不同类型的客观质量评价方法，给出代表性方法的例子以及计 算方法。这类图像质量评价方法的优点是计算简单，具有明显的物理意义，并 且与主观图像质量之间具有一定的相关性而且还给出了量化数值。但是此类方 法的不足在于这类方法没有考虑到图像本身除了可以被看作物理信号外所具有 的特点，也没有考虑到人眼对图像的反映机制。为了弥补传统质量评价方法的 不足许多新的图像质量评价方法被提出来，改进的传统质量评价方法就是其中 的一类。这类方法考虑到了图像本身的一些特点，利用图像的一些特点来度量 图像失真。例如图像的边缘信息作为图像相对而言比较重要的信息之一，经常 被用来测量图像失真，例如p r a t t 边缘测量评估方法。但是此类质量评价方法 6 图像及视频质量的若干研究 仍然没有考虑到人眼视觉系统( h v s ，h u m a nv i s u a ls y s t e m ) 对图像的反映机 制。近年来，基于感知的图像质量评价逐渐成为研究的热点。这种质量评价方 法能够在没有人进行主观评价图像的时候仍然能够给出图像主观质量评价的量 化值。它是一种主观质量评价方法和客观质量评价方法相结合的评价方法。这 类方法通常在人眼视觉系统的基础上，选取一系列影响图像主观质量的参数或 者图像特征，然后根据原始图像和测试图像中这些参数的不同，将各个参数以 不同的权重相结合来给出图像的质量评价。基于感知的图像质量评价方法的关 键在于参数的选取和结合。由于人是多媒体应用软件或者图像的最终使用者， 所以基于人的视觉感受的感知质量评价方法似乎更能够反应用户接受视频或者 图像的程度。这类失真测试方法通常能够对观察者在观察失真图像时的不满进 行量化。为了衡量客观质量评价方法的优劣，视频质量专家组给出了一些建议。 但是通常我们采用相关系数的方式对客观质量评价方法进行比较。本文中就用 到了两种相关系数：p e a r s o n 相关系数和s p e a r m a n 等级相关系数。在第二章 的最有一节中对这两种相关系数进行了比较详细的介绍。 为了考察某些客观质量评价方法的优劣，文章中选取了一部分有代表性的 方法，针对这些评价方法在噪声失真、压缩失真等等失真上的表现进行了比较。 这就是第三章的部分内容。本文中总共选择了2 1 种评价方法，并将他们分为六 组。实验用的图像选取了八幅，包括l e n a 、p e p p e r s 等等常用的经典测试图像。 将每一幅图像通过加上不同程度的噪声，进行不同程度的压缩，进行锐化、腐 蚀、膨胀等处理后得到2 0 幅失真图片，这样就得到了八组图像。将每一组中的 每一幅失真图像与原始的参考图像应用上面提及的评价方法进行质量评价。 论文中选出了2 1 种代表性的客观图像质量评价方法，将它们分为六类。考 察它们对不同失真的表现，比较了它们对不同失真的评价测量值与主观质量评 价值，m o s ，之间的p e a r s o n 相关系数和s p e a r m a n 等级相关系数。具体的比 较内容见第三章。最终可以发现不同的评价方法对不同类型的失真( 如压缩失 真、噪声失真等等) 的敏感度是不同。而且这些方法针对各种失真的p e a r s o n 相 关系数与s p e a r m a n 等级相关系数之间并不能保持一致。由此说明这些评价方 法不能很好的预测图像质量，特别是不能与主观质量评价方法保持很好的一致 性。而各种评价方法又具有各自的优点，有一定的适用范围。因此就希望能够 寻求一种新的图像质量评价方法，这种方法具有上述各种方法的优点，能够最 佳拟合出图像的感知质量。于是采用多元线性回归分析的方法，根据各种方法 对主观评价方法做出的贡献，对上述各种质量评价方法进行分析和拟合。多元 第一章绪论 7 线性回归分析方法的思想和步骤见第三章的第二节。通过多元线性回归中的逐 步线性回归分析方法本文得到了一种基于多元线性回归分析的图像质量评价方 法，m l r e ( m u l t i l i n e a rr e g r e s s i o nb a s e de s t i m a t i o n ) 。将m l r e 与前面选出 的2 1 种代表性的客观质量评价方法，分别针对噪声失真、压缩失真以及综合失 真等进行比较。结果发现：通过多元线性回归获得的新方法m l r e ，针对各种 失真类型以及在不同相关系数上的表现，都能够单调的连续的并且准确的反映 图像的主观评价分数，具有鲁棒性。特别是在图像失真类型不明确的情况下，能 够更精确的评价图像质量。关于各种方法的比较分析在第三章第二节的最后一 部分有详细的内容。 通过多元线性回归分析得到的图像质量评价模型之所以与主观评价值之间 具有很好的一致性是因为它与人眼在观察图像的过程中所感受到的视觉刺激信 息类似。于是适当的数学模型被寻找和构造出来以用于模拟人眼观察图像过程 中图像对人眼视觉系统产生刺激的主要的三种信息，并考察这三种图像信息的 数学模型对人眼视觉系统的响应函数。这就是第四章的内容。 在建立相关图像信息的数学模型之前，文章中对人眼视觉系统的一些特性 给出了简要的介绍。w e b - - f e c h n e r 提出的亮度对比度理论中指出人眼视觉系 统对图像的响应主要依赖于相对背景亮度的局部变化，而不是绝对亮度值，对 比度就是这种亮度相对变化的测量。根据这个理论，可以得出视觉亮度信息的 数学模型，而视觉亮度信息是图像信息中对人眼视觉系统在质量评价过程中的 第一个刺激信息。而人眼视觉特性中涉及到频率方面的特性，这与本文中提到 的在质量评价过程中起重要作用的第二类重要图像信息，频率信息，有关系。视 觉灵敏度函数( c s f ，c o n t r a s ts e n s i t i v ef u n c t i o n ) 通常被用来描述人眼视觉 系统与频域信息之间的关系。不同研究者给出的视觉灵敏度函数的表达式不同， 文章在第四章第一节里面给出了几种典型的视觉灵敏度函数的计算公式。本文 选取了n g a n 等人提出的c s f 函数模型来构造基于感知频率信息的数学模型。 首先计算一幅图像的空间频率信息，然后根据不同空间频率信息对人眼视觉系 统作用强度的不同，利用视觉灵敏度函数将空问频率信息划分为五个区域。最 后，结合不同空间频率信息对人眼视觉系统的重要性的不同，构造人眼视觉系 统对于空间频率的感知模型。 图像的边缘信息一向被认为是图像最重要的信息之一，也是人们在观察图 像时最感兴趣的重要区域。在提取图像边缘的时候有很多种方法，最常用的是 8 图像及视频质量的若干研究 借助空域微分算子通过卷积完成。常用的空域微分算子有：梯度算子、拉普拉 斯算子以及综合正交算子。其中最常用的是前两种算子，特别是梯度算子。最 简单的梯度算子是r o b e r t s 交叉算子，它由2 个2 2 的模板组成。比较常用 的梯度算子还有p r e w i t t 算子和s o b e l 算子。这两种算子都有2 个3 3 的模 板。在这两种算子中s o b e l 算子是效果比较好的一