（信息与通信工程专业论文）基于视觉选择性注意模型的图像质量评价和视频编码技术研究.pdf

卜海交通人学博十学位论文 基于视觉选择性注意模型的图像质量评价和视频编码 技术研究 摘要 人眼视觉系统中存在的选择性注意机制是一种引导我们目光注 视到场景中感兴趣物体的机制，可使人眼视觉系统能以有限的系统资 源获取尽可能有用的信息。视觉选择性注意模型已成为图像处理领域 的热点研究内容之一。本文研究工作围绕视觉选择性注意模型展开， 首先研究自下而上的视觉选择性注意计算模型，并提出一种结合图像 位置信息的视觉选择性注意计算模型；然后提出了一种基于视觉选择 性注意模型的图像质量评价方法；接着提出了一种结合亮度差和色度 差的运动目标检测算法；最后将视觉选择性注意模型和运动目标检测 算法应用到1 4 2 6 4 编码器中。 在已有的自下而上的视觉选择性注意模型中，主要是利用了图像 的颜色、纹理和边缘方向等特征来计算出各个像素点的显著度。研究 表明，人眼对图像中的不同位置区域具有不同的敏感度。本文根据像 素点在图像中的位置信息，对自下而上的视觉选择性注意模型计算出 的显著度进行二次计算，最终得到图像的显著度图。实验结果表明， 这种结合图像位置信息的视觉选择性注意计算模型更加符合人眼视 觉特性。 在图像质量评价中，传统的峰值信噪比( p s n r ) 是用得最多的评 价方法。但是在很多情况下，p s n r 的值高并不等于图像的主观质量 摘耍 好。本文在视觉选择性注意计算模型提取出的显著度图的基础上，提 出了一种基于视觉兴趣的图像质量评价方法。实验结果表明，对不同 质量等级的图像，使用本文提出的图像质量评价方法得到的结果比 p s n r 的计算结果更符合人眼主观评价的结果。 运动目标检测是与视频编码应用密切相关的一项关键技术。例如 在智能视频监控中，运动目标所在的区域就是“最感兴趣 的区域， 需要较高的编码质量。本文提出一种结合亮度差和色度差的运动目标 检测算法。在背景帧提取中，通过对各通道色度值的统计分析，解决 了视频帧数少、前景运动缓慢时，背景帧上易留下前景运动物体轨迹 的问题。在确定运动目标时，利用高斯模型计算亮度偏差的阈值，解 决了以往由人工来确定不同视频序列的亮度偏差阈值的问题。实验结 果表明，与已有的算法相比，本文提出的算法可以在视频帧数少、前 景运动较慢的情况下，准确地提取出不含前景信息的背景帧；能够根 据不同视频序列的特点，计算出用来确定前景物体的亮度差阈值；并 可准确地检测出视频序列中的运动目标。在此基础上，结合经视觉选 择性注意模型提取出的显著度图，本文探讨了种基于视觉选择性注 意模型和运动目标检测的视频编码方法。以最优化视频的主观视觉质 量为目标，考虑到人眼对视频中感兴趣区域和其他区域的误差敏感度 不同，本文提出了基于选择性注意模型和运动目标检测的空间区域码 率分配的视频编码方法。在所有的码率控制机制中，对单个宏块设定 量化级是最困难的问题，而本文提出的算法可根据显著度图和运动目 标区域对每个宏块都进行量化级的设定，从而提高视频的主观感知质 量。实验结果表明，这种基于视觉选择性注意模型和运动目标检测的 编码方法可以提供更好的主观视觉效果。 关键词：视觉选择性注意模型，显著度，注意焦点，感兴趣区域，图 像质量评价，运动目标检测 m 摘要 s t u d i e so ni m a g ea s s e s s m e n ta n dv l d e o c o d i n gb a s e do nv i s u a la t t e n t i o nm o d e l a b s t r a c t v i s u a la t t e n t i o ns c h e m ee x i s t e di nh u m a nv i s u a ls y s t e mi st h es c h e m e t ol e a do u rs i g h tt on o t i c et h ei n t e r e s t i n go b j e c ti nt h es c e n e i ta l l o w s h u m a nv i s u a ls y s t e mt og e tm o r eu s e f u li n f o r m a t i o nf r o mt h el i m i t e d s y s t e mr e s o u r c e s v i s u a la t t e n t i o nm o d e lh a sb e e no n eo ft h eh o tr e s e a r c h t o p i c si ni m a g ep r o c e s s i n g t h i sp a p e rf o c u s e so nt h er e s e a r c hw o r k a b o u tv i s u a la t t e n t i o nm o d e l f i r s t ，b o t t o m u pv i s u a la t t e n t i o nm o d e li s s t u d i e da n dt h e nan e wv i s u a la t t e n t i o nm o d e li n t e g r a t e dw i t hi m a g e l o c a t i o ni n f o r m a t i o ni sp r e s e n t e d s e c o n d l y , an e wi m a g ea s s e s s m e n t m e t r i cb a s e do nv i s u a la t t e n t i o nm o d e li sp r o p o s e d t h e n ，am o v i n g o b j e c t s d e t e c t i o n a l g o r i t h m b a s e do n b r i g h m e s s d i s t o r t i o na n d c h r o m a t i c i t yd i s t o r t i o ni sp r o p o s e d l a s t ，v i s u a la t t e n t i o nm o d e la n d m o v i n go b j e c t sd e t e c t i o na l g o r i t h ma leu s e di n t oh 2 6 4e n c o d e r i ne x i s t e dv i s u a la t t e n t i o nm o d e l ，c o l o r , t e x t u r ea n do r i e n t a t i o na r e u s e dt oc a l c u l a t et h es a l i e n c yo f e a c hp i x e l a tt h es a m et i m e ，h u m a nh a s d i f f e r e n ts e n s i t i v i t i e sf o rd i f f e r e n tl o c a t i o n si nai m a g e i nt h i st h e s i s ，w e b s et h el o c a t i o ni n f o r m a t i o no fe a c hp i x e lt oc a l c u l a t ei t ss a l i e n c ya n dg e t t h es a l i e n c ym a po ft h ei m a g e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ev i s u a l a t t e n t i o nm o d e li n t e g r a t e dw i t hi m a g el o c a t i o nc a nf i th v sb e t t e r i v 卜_ 海交通人学博f 学位论文 i ni m a g ea s s e s s m e n ta r e a ，t r a d i t i o n a lp s n ri st h em o s t l yu s e di m a g e a s s e s s m e n tm e t r i c b u ti nm o s tc a s e s ，h i g hp s n rd o s en o tm e a ng o o d i m a g eq u a l i t y i nt h i st h e s i s ，w eu s es a l i e n c ym a pt og e n e r a t ean e wi m a g e a s s e s s m e n tm e t r i cb a s e do np e r c e p t u a li n t e r e s t e x p e r i m e n t a lr e s u l t s s h o w 也a tt h en e wm e t r i ca c c o r d sw i t hh v sb e t t e rt h a np s n rf o rt h e i m a g e so fd i f f e r e n tq u a l i t y m o v i n go b j e c t sd e t e c t i o ni sak e yt e c h n i q u er e l a t e dw i t hv i d e oc o d i n g f o re x a m p l e ，t h ea r e ao fm o v i n go b j e c t sa r e em o s ti n t e r e s t i n g r e g i o n i ns m a r t v i d e os u r v e i l l a n c ea n dn e e dh i g h e rc o d i n gq u a l i t y an e w m o v i n go b j e c t sd e t e c t i o na l g o r i t h mb a s e do nb r i g h t n e s sd i s t o r t i o na n d c h r o m a t i c i t y d i s t o r t i o ni s p r o p o s e d s t a t i s t i c a la n a l y s i s o ft h e c h r o m a t i c i t yv a l u ei su s e di nb a c k g r o u n de x t r a c t i o n i tc a ns o l v et h e p r o b l e mo ft h er e m a i n i n gt r a c e so fm o v i n go b j e c t si nt h ec a s eo ff e w f la m e sa n ds l o wm o v e m e n t g a u s s i a nm o d e li su s e dt oc a l c u l a t et h e t h r e s h o l do fb r i g h t n e s sd i s t o r t i o nu s e di no b j e c td e t e c t i o n i tc a ns o l v et h e p r o b l e mo fm a n u a l l ys e t t i n gt h eb r i g h t n e s sd i s t o r t i o n so f d i f f e r e n tv i d e o s e q u e n c e s e x p e r i m e n t a lr e s u l t ss h o wt h a tc o m p a r e dw i t ho t h e rm o v i n g o b j e c t s d e t e c t i o n a l g o r i t h m s ，o u ra l g o r i t h m c a l l e x a c t l y e x t r a c t b a c k g r o u n df r a m eo fav i d e oi n t h ec a s eo ff e wf r a m e sa n dl o w m o v e m e n t i ta l s oc a na d a p t i v e l yc a l c u l a t eb r i g h t n e s st h r e s h o l da c c o r d i n g t ot h ec h a r a c t e r i s t i co fd i f f e r e n tv i d e os e q u e n c e sa n dt h e md e t e c tt h e m o v i n go b j e c t se x a c t l y t h e n ，an e wv i d e oc o d i n gm e t h o db a s e do n v 摘要 v i s u a la t t e n t i o nm o d e la n dm o v m go b j e c t sd e t e c t i o ni sd i s c u s s e d w ea i m a tt h eo p t i m i z a t i o no fs u b j e c ti m a g eq u a l i t y , c o n s i d e r i n gt h ed i f f e r e n c eo f t h es e n s i t i v i t i e so fr o ia n dn o n r o i ，p r o p o s ean e wr a t ec o n t r o l a l g o r i t h mb a s e do nv i s u a la t t e n t i o nm o d e l i na no ft h er a t ec o n t r o l s c h e m e s ，t os e tt h eq u a n t i z a t i o np a r a m e t e ro fas i n g l em i c r ob l o c ki st h e m o s td i f f i c u l tp r o b l e m i nt h i st h e s i s ，am e t h o di sp r o p o s e dt os e te a c h m i c r ob l o c k sq u a n t i z a t i o np a r a m e t e rb a s e do ns a l i e n c ym a pa n dm o v i n g o b j e c t s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ec o d i n gm e t h o dc a l lg i v eb e t t e r s u b j e c tq u a l i t y k e yw o r d s ：v i s u a la t t e n t i o nm o d e l ，s a l i e n c y , f o c u so fa t t e n t i o n ， r e g i o no fi n t e r e s t ，i m a g eq u a l i t ya s s e s s m e n t ，m o v i n g o b j e c t sd e t e c t i o n 卜海交通人学博十学位论文 m p e g i e c i s o i t u t h v s r o i s m 纾7 么 c t c s f s t t e p s f m t f 肿 t e l v q e g f o a m v f p s n r m s e m o s d m o s f r n r l 汛 英文缩略语 m o v i n gp i c t u r ee x p e r t sg r o u p i n t e m a f i o n a le l e c t r o t e c l m i c a lc o m m i s s i o n i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su i l i o n j o h a tv 讯e ot e a m h u m a nv i s u a ls y s t e m r e g i o no f i n t e r e s t s a l i e n c ym 印 w i n n e rt a k ea 1 l c o n t r a s tt h r e s h o l d c o n t r a s ts e n s i t i v i t yf u n c t i o n s u p e rt h r e s h o l d m s h o l de l e v a t i o n p o i n ts p r e a df u n c t i o n m o d u l a t i o nt r a n s f e rf u n c t i o n j u s tn o t i c e a b l ed i s t o r t i o n t o l e r a b l e e r r o rl e v e lv a h e v i d e oq u a l i t ye x p e r t sg r o u p f o c u so f a t t e n t i o n m o t i o nv e c t o rf i e l d p e a ks i g n a ln o i s er a t i o m e a ns q u a r ee r r o r m e a no p i n i o ns c o r e d i f f e r e n c em e a no p i n i o ns c o r e f u l l r e f e r e n c e n o - r e f e r e n c e r e d u c e d r e f e r e n c e v 运动图像专家组 国际电工委员会 国际标准化组织 国际电信联盟 联合视频工作组 人眼视觉系统 感兴趣区域 显著度图 获胜者得到一切 对比度阈值 对比度敏感函数 超阈值 阈值提升函数 点扩展函数 调制转移函数 恰可察觉失真 容差电平 视频质量专家组 注意焦点 运动矢量场 峰值信噪比 均方误差 主观质量评分 相对主观质量评分 全参考 无参考 半参考 摘要 p q s d c t r t c b i r p i c t u r eq u a l i t ys c a l e d i s c r e t ec o s i n et r a n s f o r m w a v e l e tt r a n s f o r m c o n t e n tb a s e di m a g er e t r i e v a l v i 图像质量尺度 离散余弦变换 小波变换 基于内容的图像检索 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 弓孩脚 日期：彻7 年歹月7 3e l 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密函。 ( 请在以上方框内打“4 ”) 一躲弓孩嘶 触 日期：砌7 年y 月f 孑日 日期：d7 年，月( f ：海交通人学博十学位论文 1 1 引言 第一章绪论 随着计算机技术、网络技术、信息技术和微电子技术的不断发展，数字图像 和数字视频的应用范围越来越广泛，数字图像处理技术已经渗透到信息技术所涉 及的各个领域，正在深刻地改变着人们的生活。面对高速增长的市场潜力和巨大 的产业效益，数字图像处理技术研究的重要意义在学术和产业界都已形成广泛的 共识。 以图像压缩编码技术为例，在产业界的强大推动下，国际标准化组织 ( i n t e m a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ，i s o ) 和国际电工委员会( i n t e r n a t i o n a l e l e c t r o t e c h n i c a lc o m m i s s i o n ，i e c ) 于1 9 8 8 年成立了运动图像专家组( m o v i n g p i c t u r ee x p e r t sg r o u p ，m p e g ) ，主要致力于制订运动图像的编码标准。1 9 9 1 年 正式公布的m p e g 1 国际标准【l 】，已经广泛应用于v c d 和c d r o m 等光盘产品中， m p e g 组织在1 9 9 4 年1 1 月又正式推出了m p e g - 2 音视频编码标准【2 】，并取得了巨 大成功，在数字电视、卫星电视和数字影院等许多领域得到广泛的采用。与此同 时，国际电信联盟( i t u ) 也相继制订了用于视频会议的h 2 6 1 标准【3 1 、用于可视 电话的h 2 6 3 标准【。另外，i s o i e c 和i t u - t 的联合视频工作组( j o i n tv i d e o t e a m ，t ) 在2 0 0 4 年公布了用于高效视频压缩的h 2 6 4 标准m 。这些视频编码 标准的制订，极大地推动了多媒体技术的广泛应用，使视频编码技术受到了前所 未有的重视。 同时，图像增强技术、图像复原技术和图像中的数字水印等也都已走向实用 化。 由于人眼是数字图像处理的最终的接收端，是图像服务质量的最终判据，所 以，人眼视觉系统( h u m a nv i s u a ls y s t e m ，h v s ) 特性的研究已成为提高图像服 务质量的关键突破口，具有重要的学术价值和实用意义。 人类有8 0 的信息通过视觉获得。在同一时刻内视觉系统会接收到大量信 息，但人们无法以同等程度的优先性对进入视觉系统的所有信息进行加工，只有 其中一部分信息可以通过筛选和加工后进入意识，这就是人眼中的选择性注意机 第章绪论 制。 在人眼视觉特性中，选择性注意机制是保证人眼高效率工作的重要机制，它 保证了人眼信息获取的高效性，可实现人眼对图像信息的高效获取和处理。因此， 将选择性注意机制用于图像处理方法的研究具有很好的前景，也必将促进视觉技 术在工程中的应用。本文的研究中心就在于，从基于人眼视觉选择性注意机制仿 生的思路，探索对图像处理中质量评价和压缩编码的解决方法。 1 2 本文研究背景及意义 ： 对选择性注意机制的研究最早是从心理学领域开始的。人类的视觉系统既要 求其具有处理大量输入信息的能力，又要求有准实时反应能力，两者实际上是相 互矛盾的。视觉心理学研究表明，在分析复杂的输入景象时，人类视觉系统采取 了一种串行的计算策略，即利用选择性注意机制，根据图像的局部特征，选择景 象的特定区域，并通过快速的眼动扫描，将该区域移到具有高分辨率的视网膜中 央凹区，实现对该区域的注意，以便对其进行更精细的观察与分析。这可看作是 将全视场的图像分析与景象理解通过较小的局部分析任务的分时处理来完成。 随着主动视觉研究的兴起，计算机视觉工作者也开始了对选择性注意的研 究。目前这一领域仍然充满了挑战，很多问题还有待解决。在心理及生物学领域， 出现了百家争鸣的状况，人们在很多问题上存在分歧与猜测。在计算机视觉领域， 选择性注意的研究方兴未艾，特别是关于计算模型的评价标准，以及选择性注意 机制的实际应用等问题还有待进一步深入研究。 在视觉选择性注意机制的作用下，人眼在观察时会不自觉地对某些区域产生 兴趣，这些区域就称为“视觉感兴趣区域( r e g i o no f i n t e r e s t ，r o d ” 8 4 2 】。通 常。整幅图像的视觉质最很大程度上取决于感兴趣区的视觉质量，而不感兴趣区 的图像降质常常不易被人觉察，对整幅图像视觉质量的影响较小。 事实上，人眼的视觉注意力受很多感知因素控制1 1 0 - 1 3 1 。在这些因素中，运动 对视觉注意力的影响最大。人眼会不由自主地被吸引到静止环境中发生了运动的 区域。运动区域巾的平稳运动很容易被人眼跟踪，人眼对该区域的灵敏度接近于 对静止区域的灵敏度。和周围背景有较大对比度差别的区域也会更容易吸引人眼 的视觉注意，因此也有更高的视觉重要性。另外，视觉目标的大小和形状对注意 2 r 海父通人博十学位论文 力也有着明显的影响，大尺寸的目标通常会比小目标更可能吸引我们的注意力， 那些有着长而窄形状的区域比圆形的区域有更强的视觉兴趣吸引力。某些颜色 ( 如红色) 更容易吸引人眼的注意，颜色和周围背景颜色明显不同的区域对人眼 的视觉吸引也比一般区域的吸引强。 除了上述因素以外，还有一些现象也会对视觉注意力产生影响【1 5 】。通过眼球 跟踪实验发现，观察者的主要注意力集中在屏幕中央约2 5 的区域。相对于背景 而言，观察者的注意力一般更容易被前景所吸引。并且，观察者很容易注意到场 景中的人物上，特别是脸、眼睛、嘴和手等部位。另外，如果在观察一幅图像之 前事先给观察者一些提示或指令，或者是观察者已经基于前面的图像形成一些经 验，那么观察者的视觉注意力可能会有所变化。 人眼视觉特性计算模型及其在数宁图像处理中应用的研究是涉及视觉神经 科学、视觉心理学和图像处理技术的交叉学科研究领域。 视觉心理学研究表明，人类视觉系统选择性注意机制主要包括两个子过程： ( 1 ) 快速的、采用b o t t o m - u p ( 自下而上) 控制策略的预注意机制，该机制 是基于输入景象的显著性计算的，属于低级的认知过程。 ( 2 ) 慢速的、采用t o p - d o w n ( 自上而下) 控制策略的注意机制，它通过调 整选择准则，以适应外界命令的要求，从而达到将注意力集中于特定目标的 目的，属于高级的认知过程。 上述两种过程均是基于显著性计算的，即通过计算输入景象的显著度图 ( s a l i e n c ym 印，s m ) 来突出感兴趣区域。这两种过程的不同之处在于：过程( 1 ) 仅以输入景象为依据计算其显著性，而过程( 2 ) 中还引入了外部命令的作用， 将视觉系统的注意力导向由外部命令所定义的感兴趣区域。目前视觉心理学对过 程( 1 ) 的研究较多，提出了许多计算模型1 1 引，在一些模型中还讨论了控制策 略的生理实现机理【1 8 】，而对过程( 2 ) 的研究相对较少，原因主要是研究外界命 令如何参与注意的计算方面存在较大的困难。与之对应，注意机制在计算机视觉 中的研究也较多地集中于从图像低层特征提取显著度图的控制策略的应用。 视觉选择性注意机制是个多学科交叉的问题，目前尚无统一的理论和框架， 普遍认为注意既可以是自下而上、图像数据驱动的，也可以是自上而下、任务驱 动的1 9 1 2 0 1 。其中，自下而上的引导主要来自图像中物体数据本身的显著性 3 第节绪论 ( s a l i e n c y ) ，这种显著性进一步分为自显著性( s e l f - s a l i e n c y ) 和相对显著性 ( r e l a t i v es a l i e n c y ) ，这点一个有力的实验证据就是在视觉搜索( v i s u a ls e a r c h ) 实 验中显著物体会自动跳出( p o p o u t ) ；自上而下的引导主要来自当前的视觉任 务以及场景的快速认证结果，其中最直接的例子就是观察者的自省 ( i n t r o s p e c t i o n ) ，即观察者“故意”地去注意一个“不起眼”的物体。同时，注 意和眼动关系十分密切，根据是否伴随扫视眼动，注意分为隐式注意和显式注意。 从计算模型角度看，隐式注意就是输入图像不变的情况，而显式注意则伴随着输 入图像的改变。 从2 0 世纪5 0 年代起，随着认知心理学和神经生理学等学科的发展，强调人 类心理活动的主动性和意识的重要性，并把注意作为人类大脑信息加工的重要机 制，因而促进了对注意机制的研究。在随后的发展过程中，注意的心理机制尚无 统一的结论，出现六种影响较大的理论模型假设f 2 l 】，包括过滤器模型、衰减模 型、反应选择模型、容量分配模型、特征整合模型和整合竞争假设等。这些心理 模型对仿生机器视觉有很重要的指导价值，但重要的是应该能从这些模型中建立 一个符合计算机运算模式的计算模型。 对视觉选择性注意机制，目前人们多数研究的是如何建立隐式注意的自下而 上的计算模型，这是因为显式注意更加复杂，涉及到更多目前还未知的东两，隐 式注意相对来说有更多的实验数据和认知模型可以参考。并且，引导注意的自上 而下因素主要来自视觉任务，而视觉任务是千变万化的，通常表现为知识，但对 知识，目前还没有很好的描述模型，而是具体问题具体对待，所以人们更多的研 究集中于自下而上方面。 在设计视觉注意计算模型时，必须考虑到以下几个步骤【2 0 】： ( 1 ) 确定模型中注意是否与视觉物体识别相交互? 在生物视觉系统中，注意所在的“w h e r e ”通道和识别所在的“w h t 通道 之间有着复杂的相互关系，注意和识别是密不可分的。但目前这两者交互的机理 还远远不为人们所了解，所以，在这个问题上，大多数都是建立一个自下而上的 模型，一般情况下，在神经科学研究中不考虑识别，多数是为了让模型能仿真视 觉搜索的实验结果；i f i i 在模式识别研究中则先借鉴一种注意模型，获得当前注视 点后，再采用各种识别模型。其结果是，在预注意阶段所进行的各种特征提取计 4 卜海2 通人学博十学位论文 算往往对识别没有作用，或没有有效利用。 ( 2 ) 确定模型是针对隐式注意还是显式注意而建立。 隐式注意下输入图像不变，显式注意中输入图像会改变，从而使得在以下后 续步骤中所进行的计算要随着输入图像改变而重复，增加了很大的计算量，并且 不同输入图像所产生的结果间如何交互的机理也不清楚。目前的模型都是针对隐 式注意。 ( 3 ) 预注意阶段。 这是任何计算模型实现时的第一个模块，主要进行各种早期视觉特征计算， 这可以是一些基本的特征，如颜色、运动、方向和尺度，也可以是特征的组合， 如2 d 图像或3 d 场景中的物体，甚至还可以是学习得到的特征。这些视觉特征 在预注意阶段是按并行方式在整个图像上进行计算的，不同的特征对注意引导的 作用依赖于它们在图像中的对比度，然后通过竞争来体现。 ( 4 ) 显著度图生成。 对于在预注意阶段提取出的各种视觉特征，几乎所有模型都是使用了基于显 著度图的方式来生成一个对图像的描述。所谓显著度图，就是一幅和原始图像大 小相同的二维“图像”，其中的每个像素值表示原图像对应点的显著性大小。现 有模型之间的不同之处正是在于如何由各种早期视觉特征来融合得到显著度图， 这是一个模型的核心和关键之处。 ( 5 ) “下一步向哪看”的控制策略。 在得到显著度图后，通常选取其最大值点作为首次注视点，“下一步向哪看” 取决于两点：对当前注视点的识别结果和对已被注视过物体显著性的抑制。对现 有大多数模型来说，它们都是用自下而上的方式对注意进行计算，一旦被注视过 的地方，则其显著性降为0 ，使用一个“获胜者得到一切( w i n n e r t a k e 舢l ，w 1 a ) 的策略在显著度图中转移。 从上面的分析可以看出，注意计算模型通常包括两大模块：1 ) 早期视觉特 征提取与显著度图生成模块，2 ) 注视区域物体选取与转移模块。这两个模块分 别对应于预注意阶段和注意阶段。而显著度图的生成则是计算模型的核心。 在已被提出的计算模型中，主要有四种不同的设计思路【2 5 】： ( 1 ) 基于空间观点和基于特征整合模型的思路【2 0 2 2 2 3 刀】 第帚绪论 毫量量曼量曼曼量鲁鼍鼍曼量毫量寡i| k o c h 和u l l m a n 在1 9 8 5 年提出第一个视觉选择性注意模型并提出显著度图 的概念。该模型利用颜色、方向等特征信息构造出一组特征图，由各种特征图融 合的显著度图来引导视觉注意，采用侧抑制机制和w t a 机制来实现注意点转移。 i t t i 在其2 0 0 0 年的博士论文中提出一个适合自然图像的自下而上的视觉注意计 算模型，首先采用8 层金字塔结构对输入图像进行多尺度表示，利用灰度、颜色 和方向信息来引导注意，采用中央周边的计算策略在每种特征图内部进行竞争， 然后通过线性组合得到总的显著度图来引导注意，最后采用w t a 机制进行注意 转移。 ( 2 ) 基于物体观点和基于整合竞争假设的思路2 b 2 9 1 em a h m o o d 在其1 9 9 3 的博士论文中，将视觉注意分为吸引注意模块和付出 注意模块，通过颜色、纹理和平行线特征来引导视觉注意。y a o r us u n 在其2 0 0 3 年的博士论文中，通过扩展整合竞争假设，使用一种基于分组的竞争策略，首先 假设输入图像的己经完成感知分类，然后利用灰度、颜色和方向信息来引导注意 在不同的区域之间进行竞争，形成显著度图来进行注意转移。 ( 3 ) 基于尺度空间表示和信息理论的思路 3 0 - 3 3 】 在上面的建模思路中，都是以仿生为主的、参照神经科学的研究结果来建立 计算模型，同时人们也从信息科学方面进行积极的探讨，主要以信息论为基础建 立计算模型。m a r t i nj a g e r s a n d 在1 9 9 5 年给出一个模型，首先选择一种图像描述， 如灰度图或方向图，然后建立其尺度空间表示。通过计算相邻尺度图像间的 k u l l b a c k 距离函数，该函数在空间维上集中就可以用来找当前图像中物体的最佳 尺度，在尺度维上集中就可以用来建立一个基于信息量度量的显著度图来引导注 意【3 0 1 。m f e r r a r o 和gb o c c i g n o n e 通过建立图像的尺度窄间表示，利用尺度维上 的熵来建立显著度图，从而引导注意 3 1 , 3 2 。t - k a d i r 在其2 0 0 2 年的博士论文中， 在统一框架下讨论了尺度、显著性和场景描述的问题，以灰度图作为图像的描述 模型，用香农信息熵作为特征空间的显著性度量函数，用相邻尺度间的差分作为 尺度空间的显著性度量，选择使得局部熵最大时的尺度为最佳尺度，从而完成对 图像的显著性度量3 3 1 。 ( 4 ) 基于图像布局和b a y e s 学习与推理的思路1 3 4 , 3 5 1 a o l i v a 和a t o r r a l b a 通过将整幅图像看作一个整体，建立其描述，对图像 6 卜海交通人学博十学位论文 所表示的场景进行分类，得到场景的全局和先验知识，从而可以用来对该场景中 哪些物体会出现、出现在哪里、有多大尺度有了一个限制；通过样本图像的训练 和b a y e s 推理来进行图像中显著物体提取，它是一种自上而下的引导视觉注意。 现有的计算模型的共同特点是： 都是用基于各种特征显著度图的方法； 大部分都是只对自下而上的机制建立计算模型： 都是针对隐式眼动的情况来做的。 并且，现有的计算模型在对某些图像进行计算时，都会出现与人眼主观判断 不相符的情况。 本文的研究工作是在国家8 6 3 专项课题“视觉选择性注意模型及其在视频处 理中应用的研究”和国家自然科学基金项目“人眼视觉特性计算模型及其在数字 图像通信中应用的研究”等项目的支持下开展的。在上述项目的研究中，作者主 要承担了视觉选择性注意模型的算法研究与实现等工作。 1 3 本文主要研究内容和创新成果 1 3 1 主要研究内容 本文围绕视觉选择性注意机制的计算模型展开研究，在研究视觉选择性注意 计算模型的基础上，探讨该模型在图像质量评价和视频编码中的应用。 本文的具体内容安排如下： 第一章为绪论，介绍本文的研究背景、主要工作和结构安排。 第二章介绍人眼视觉特性及其在图像处理中的应用，首先介绍人眼视觉系统 的基本构造，随后介绍典型的人眼视觉模型的结构，接着介绍常用的人眼视觉特 性，最后介绍人眼视觉特性在图像处理中的典型应用。 第三章研究视觉选择性注意机制的计算模型，并提出一种结合了图像位置信 息的视觉选择性注意模型。首先介绍视觉选择性注意模型的基本原理和基本结 构，随后提出结合图像位置信息的视觉选择性注意计算模型，并给出实验结果。 在已有的自下而上的视觉选择性注意模型中，没有考虑到图像中不同位置的信息 对视觉显著度的不同影响，可能会对一些图像中最显著区域的判断与人眼不一 7 第+ 章绪论 皇量鼍皇鼍i i l 一_ t - a 曼鼍曼量量暑皇曼曼皇_ 致。我们提出了一种对图像中的不同位置进行显著度的线性加权的方法，可以克 服已有模型的缺陷，实现对图像最显著区域的正确判断。 第四章研究基于视觉选择性注意机制的图像质量评价方法。首先介绍图像质 量评价方法的基本情况，并介绍几种代表性的图像质量评价方法。随后，提出一 种基于视觉选择性注意机制的图像质量评价算法，并给出实验结果。传统的图像 质量评价客观标准，如均方差( m s e ) 或峰值信噪比( p s n r ) ，其计算结果与 主观质量效果有着较大的分歧。所以，“与主观质量相一致的客观评价标准”一 直是图像质量评价研究领域的热点。本文在第三章提出的视觉选择性注意计算模 型的基础上，提出一种新的图像质量评价方法，其计算结果更符合人眼的主观评 价结果。 第五章研究如何将视觉选择性注意机制应用到视频压缩编码中，以提高视频 编码的主观质量，提出了一种结合自下而上和自上而下两种机制的编码方法。首 先介绍基于视觉特性的视频编码方法，接着提出一种结合亮度偏差和色度偏差的 运动目标检测算法，然后将运动目标区域作为最高级别的视觉感兴趣区，而由第 三章提出的视觉选择性注意计算模型得到的显著度图可以确定其他区域的视觉 感兴趣程度，在二者的基础上，可以确定每个宏块的感兴趣程度，从而设定每个 宏块的量化参数，实现宏块级的码率控制。该方法可以与已有的码率控制算法结 合，以达到码率与视觉质量的最优化。 1 3 2 创新成果 本文的主要创新性研究成果主要包括以下三个方面： l 、提出一种结合图像位置信息的视觉选择性注意计算模型。在已有的自下 而上的视觉选择性注意模型中，主要是利用了图像的颜色、纹理和边缘方向等特 征来计算出各个像素点的显著度。研究表明，人眼对图像中的不同位置区域具有 不同的敏感度。本文根据像素点在图像中的位置信息，对自下而上的视觉选择性 注意模型计算出的显著度进行二次计算，最终得到图像的显著度图。 2 、提出一种基于视觉选择性注意模型的图像质量评价方法。传统的p s n r 是用得最多的图像质镀评价方法，但是在很多情况下，p s n r 的值较高并不等于 图像的主观质量好。本文在视觉选择性注意计算模型提取出的显著度图的基础 8 卜海交通人学博十学位论文 上，提出了一种基于视觉兴趣的图像质量评价方法。实验结果表明：对不同质量 等级的图像，使用本文提出的图像质量评价方法得到的结果比p s n r 的计算结果 更符合人眼主观评价的结果。 3 、提出一种结合亮度差和色度差的运动目标检测算法。在背景帧提取中， 通过对各通道色度值的统计分析，解决了在视频帧少、前景运动缓慢造成的背景 上留下前景运动物体轨迹的问题。在确定运动目标时，利用高斯模型计算亮度偏 差的阈值，解决了以往由人工来确定不同视频序列的亮度偏差阈值的问题。实验 结果表明：与已有的算法相比，本文提出的算法可以在视频帧数少，前景运动较 慢的情况下较准确地提取出不含前景信息的背景帧，能够根据不同视频序列的特 点计算出确定前景物体时所用的亮度差阈值，并采用点集之间的投影方法保存了 运动目标的边界，从而准确地检测出视频序列中的运动目标。在运动目标检测的 基础上，结合基于视觉选择性注意模型的计算结果可以得到视频中每一帧的显著 度图，并实现了自下而上和自上而下两种机制的结合。我们设计一种简单的码率 控制方案，对单个宏块设定不同的量化级。实验结果表明：本文提出的编码方法 可以提供更好的主观视觉效果。 参考文献 【1 】i s o i e c j 1 l s c 2 9 w g1 1 ，“c o d i n go fm o v i n gp i c t u r e sa n da s s o c i a t ea u d i o f o rd i g i t a ls t o r a g em e d i aa tu pt oa b o u t1 5 m b i t s , ”i s o f l e cc dl117 2 ，n o v 1 9 9 1 【2 】i s 伽e c 胛cl s c